El escenario que casi toda empresa quiere: un asistente que responda "¿qué dice nuestra política de garantías para el caso X?" leyendo tus manuales y contratos, en segundos, y sin que esa información salga de tu red ni alimente a un tercero. Eso tiene nombre —RAG— y hoy es realista. También tiene límites que conviene conocer antes de prometer milagros.
Qué es RAG, sin siglas
RAG significa Retrieval-Augmented Generation, generación aumentada por recuperación. La idea, en una analogía: en vez de esperar que el modelo se "sepa" tu información de memoria (para lo cual habría que entrenarlo, caro y rígido), le das un examen a libro abierto. Cuando llega una pregunta, el sistema busca los fragmentos relevantes de tu documentación y se los entrega al modelo junto con la pregunta; el modelo redacta la respuesta usando ese material. El modelo no cambia; lo que cambia es que responde con tus documentos delante.
Cómo funciona por dentro
Sin tecnicismos innecesarios, el flujo es este:
- Preparación (una vez): tus documentos se parten en trozos (chunks), y cada trozo se convierte en un vector de números —un embedding— que captura su significado. Esos vectores se guardan en una base de datos vectorial.
- Consulta (cada vez): la pregunta también se convierte en vector, se buscan los trozos cuyo vector más se le parece (los más relacionados por significado, no por palabras exactas), y esos trozos se inyectan en el prompt del modelo local.
- Respuesta: el modelo redacta con ese contexto, y puede citar de qué documento salió.
Si los términos "vector", "embedding" o "inferencia" te suenan a chino, vale la pena pasar antes por IA 101; aquí los damos por entendidos.
La pregunta busca por significado en la base vectorial; los trozos recuperados alimentan al modelo local, que responde con ellos.
Con qué se arma (herramientas reales)
Todo esto corre en tu infraestructura. Las piezas típicas:
- El modelo local: servido con Ollama, que es la vía más sencilla para empezar, o con motores como vLLM para más concurrencia.
- La capa RAG: interfaces "llave en mano" como Open WebUI o AnythingLLM permiten cargar documentos y hacer RAG con poca configuración; para algo a medida, frameworks como LlamaIndex o LangChain.
- El hardware: principalmente una GPU para la inferencia —lo dimensionamos en qué hardware necesitas—.
Empezar es sorprendentemente accesible; hacerlo bien y a escala, ya es un proyecto.
Qué funciona hoy, y bien
Con documentación de texto razonablemente ordenada, RAG local ya resuelve casos muy útiles: responder preguntas sobre políticas y manuales, encontrar información dispersa en cientos de documentos, redactar borradores apoyados en tus propios lineamientos. Para una base de conocimiento interna, funciona de verdad —no es promesa a futuro.
Qué todavía no (la parte honesta)
Aquí es donde conviene bajar las expectativas a tierra:
- La respuesta es tan buena como la recuperación. Si el sistema no encuentra el fragmento correcto, el modelo no lo adivina bien —y a veces alucina—. Gran parte del trabajo está en el chunking y la calidad de los embeddings, no en el modelo.
- Basura entra, basura sale. Si tus documentos están desactualizados o desordenados, las respuestas también lo estarán. RAG no arregla una documentación mala.
- Los formatos difíciles siguen siendo difíciles: PDFs escaneados (piden OCR), tablas complejas, diagramas. Preparar los documentos es la mitad del proyecto.
- No razona sobre todo tu corpus a la vez: solo ve lo que se recuperó para esa pregunta. Preguntas que exigen "leerlo todo y sacar una conclusión global" no son su fuerte.
- No elimina las alucinaciones, las reduce. Para temas críticos, sigue haciendo falta verificar.
- Es un sistema vivo: cada vez que cambian los documentos, hay que reindexar. No es "instalar y olvidar".
Por qué local, precisamente para esto
El sentido de hacerlo con un modelo local es directo: tus manuales, contratos y políticas nunca salen de tu red. Es el argumento de privacidad del shadow AI hecho realidad —le das al equipo el asistente que quería, sin regalar la información—. Y encaja con tratar esos datos como lo que son, dentro de una estrategia de protección de datos.
La pregunta que conviene hacerse
Antes de lanzarte, la pregunta no es "¿pongo un chatbot con nuestros documentos?", sino ¿está mi documentación lo bastante ordenada y actualizada como para que valga la pena consultarla —y qué preguntas reales quiero que responda? Si la base documental está sana, RAG local rinde muchísimo; si no, el primer proyecto es ordenarla. Montar ese asistente sobre tu propia infraestructura es parte de lo que trabajamos junto con nuestros servidores de alto rendimiento.