En alguna junta alguien dice la frase: "montemos nuestra propia IA, si tenemos servidores de sobra". El proyecto suele morir tres semanas después, cuando se descubre que esos "servidores de sobra" no traían lo único que de verdad importa para esto: una GPU capaz. Correr un modelo de lenguaje en tu propia infraestructura se puede —y para ciertos casos tiene todo el sentido—, pero conviene entrar sabiendo qué pide de verdad.
Por qué la GPU (y su VRAM) es el muro
Un LLM hace su trabajo cargando miles de millones de parámetros en memoria y operando sobre ellos en paralelo. Eso es justo lo que una GPU hace bien y un CPU no. Y el recurso que manda no es tanto la velocidad de la GPU como su VRAM: la memoria del propio acelerador. Si el modelo no cabe en la VRAM, o no corre, o se parte hacia RAM/CPU y el rendimiento se desploma. La primera pregunta de cualquier proyecto de IA local no es "¿qué tan rápida es la GPU?", sino "¿cuánta VRAM tiene?".
Cuánta VRAM según el tamaño del modelo
Los modelos se miden en parámetros (7B = 7 mil millones). Como referencia aproximada, cuantizados a 4 bits (más sobre esto abajo):
- 7–8B (Llama 3, Mistral): del orden de 5–6 GB. Corre en una GPU de consumo modesta.
- 13–14B: alrededor de 9–10 GB.
- 30–34B: unos 20–24 GB — ya pide una tarjeta tipo RTX 3090/4090 (24 GB).
- 70B: del orden de 40–48 GB — una GPU de datacenter de 48 GB, o dos de 24 GB repartiendo el modelo.
Y hay un detalle que casi todos olvidan: el contexto (cuánto texto le das de una vez) consume VRAM adicional por el llamado KV cache. Un contexto largo con varios usuarios simultáneos puede sumar tanto como el propio modelo. En precisión completa (fp16) todo lo anterior se multiplica por dos o más.
Cuantización: el truco que lo hace viable
La cuantización reduce la precisión de los parámetros (de 16 bits a 8 o 4) para que el modelo ocupe mucha menos VRAM. Un modelo de 70B en fp16 pediría ~140 GB; en 4 bits baja a ~40. ¿El costo? Una pérdida de calidad, casi siempre pequeña a 8 bits y notable-pero-tolerable a 4 bits para la mayoría de los usos. Es el trade-off que convierte "necesito un servidor imposible" en "me alcanza con una GPU real". No es gratis, pero rara vez es el cuello de botella de calidad.
¿GPU de consumo o de datacenter?
Una RTX 3090 o 4090 (24 GB) es sorprendentemente capaz para un solo usuario o poca concurrencia con modelos de hasta ~30B cuantizados. Cuando entras en muchos usuarios a la vez o modelos grandes, el terreno cambia: GPUs de datacenter (48–80 GB) y motores de inferencia que agrupan peticiones (batching) para exprimir el hardware. La diferencia entre "una GPU para el equipo" y "un servicio para toda la empresa" es real y hay que dimensionarla, no improvisarla.
CPU sin GPU: se puede, con asteriscos
Sí, un modelo pequeño puede correr solo en CPU con suficiente RAM. Funciona para pruebas, para uso ligero y de baja concurrencia. Pero es lento en comparación, y no escala a varios usuarios. Como solución de laboratorio, útil; como servicio productivo para una empresa, casi nunca alcanza.
Qué modelos open-source, y una expectativa honesta
El ecosistema abierto es hoy muy bueno: familias como Llama, Mistral/Mixtral, Qwen, Gemma o DeepSeek cubren de sobra muchas tareas internas —resumir, clasificar, redactar borradores, responder sobre tu documentación—. Ahora la parte honesta, que se omite en los discursos: para el razonamiento más complejo, los modelos frontera en la nube (como Claude o GPT) siguen llevando ventaja. La decisión no es "local es mejor" ni "la nube es mejor": es qué tarea vas a resolver y qué pesa más en ella —la capacidad máxima o el control total del dato.
No es solo comprar la GPU
El hardware es el titular, pero alrededor hay trabajo que sostiene todo: el motor de inferencia y su operación (herramientas como Ollama para empezar, o vLLM para servir con concurrencia), las actualizaciones de modelos, el monitoreo, y —si quieres que la IA responda sobre tu información sin filtrarla— una capa de RAG sobre tu documentación interna. Ese es un tema por sí mismo, sobre el que escribiremos aparte. Nada de esto es imposible; simplemente no termina en la factura de la tarjeta gráfica.
La pregunta que conviene hacerse
Antes de cotizar una GPU, la pregunta no es "¿qué tan potente la compro?", sino ¿qué tarea real quiero resolver, con qué modelo, y por lo tanto cuánta VRAM y qué presupuesto implica —comparado con seguir usando la nube con los controles adecuados? Ese dimensionamiento es parte de nuestros servidores de alto rendimiento, y el porqué de fondo —no regalar tus datos— lo tratamos en IA generativa y datos de empresa.