Construyendo un sistema RAG local con Go, PostgreSQL y Ollama sin APIs en la nube
Ollama
El artículo explora la creación de un sistema RAG completamente local utilizando Go, PostgreSQL con pgvector y Ollama, evitando marcos de trabajo pesados como LangChain y APIs en la nube. Cubre la arquitectura, indexación, búsqueda semántica y generación, destacando los beneficios del procesamiento local para la privacidad y el control.
El artículo describe la construcción de un sistema RAG (Generación Aumentada por Recuperación) local sin APIs en la nube, utilizando Go, PostgreSQL con la extensión pgvector y Ollama. El sistema consta de dos componentes principales: una CLI de ingesta para indexar documentos sin conexión y una API REST para manejar consultas de usuarios en tiempo real. Los documentos se dividen en fragmentos, se incrustan utilizando el modelo nomic-embed-text y se almacenan en PostgreSQL con pgvector para búsqueda semántica. En el momento de la consulta, el sistema genera una incrustación para la consulta, encuentra fragmentos similares mediante búsqueda aproximada del vecino más cercano (HNSW) y pasa el contexto relevante al modelo llama3.2 a través de Ollama para generar la respuesta. Este enfoque garantiza la privacidad total de los datos y la autonomía, evitando llamadas a APIs externas. El artículo enfatiza la importancia de utilizar el mismo modelo de incrustación tanto para la indexación como para las consultas para mantener la consistencia del espacio vectorial.
Fuente: Habr — хаб NLP —
original