Construindo um Sistema RAG Local com Go, PostgreSQL e Ollama Sem APIs na Nuvem

O artigo descreve a construção de um sistema RAG (Geração Aumentada por Recuperação) local, sem APIs em nuvem, usando Go, PostgreSQL com a extensão pgvector e Ollama. O sistema consiste em dois componentes principais: uma CLI de ingestão para indexação offline de documentos e uma API REST para lidar com consultas de usuários em tempo real. Os documentos são divididos em partes, incorporados usando o modelo nomic-embed-text e armazenados no PostgreSQL com pgvector para busca semântica. No momento da consulta, o sistema gera uma incorporação para a consulta, encontra partes semelhantes usando busca aproximada por vizinho mais próximo (HNSW) e passa o contexto relevante para o modelo llama3.2 via Ollama para geração de respostas. Essa abordagem garante total privacidade e autonomia dos dados, evitando chamadas a APIs externas. O artigo enfatiza a importância de usar o mesmo modelo de incorporação tanto para indexação quanto para consultas, a fim de manter a consistência do espaço vetorial.