Construire un système RAG local avec Go, PostgreSQL et Ollama sans API cloud
Ollama
L'article explore la création d'un système RAG entièrement local utilisant Go, PostgreSQL avec pgvector et Ollama, évitant les frameworks lourds comme LangChain et les API cloud. Il couvre l'architecture, l'indexation, la recherche sémantique et la génération, en soulignant les avantages du traitement local pour la confidentialité et le contrôle.
L'article décrit la construction d'un système RAG (Retrieval-Augmented Generation) local sans API cloud, utilisant Go, PostgreSQL avec l'extension pgvector, et Ollama. Le système se compose de deux composants principaux : un CLI d'ingestion pour l'indexation hors ligne des documents et une API REST pour gérer les requêtes des utilisateurs en temps réel. Les documents sont divisés en morceaux, intégrés à l'aide du modèle nomic-embed-text, puis stockés dans PostgreSQL avec pgvector pour la recherche sémantique. Au moment de la requête, le système génère une intégration pour la requête, trouve des morceaux similaires en utilisant la recherche approximative du plus proche voisin (HNSW), et transmet le contexte pertinent au modèle llama3.2 via Ollama pour générer la réponse. Cette approche garantit une confidentialité totale des données et une autonomie, en évitant les appels API externes. L'article souligne l'importance d'utiliser le même modèle d'intégration pour l'indexation et les requêtes afin de maintenir une cohérence dans l'espace vectoriel.
Source: Habr — хаб NLP —
original