Membangun Sistem RAG Lokal dengan Go, PostgreSQL, dan Ollama Tanpa API Cloud

Artikel ini menjelaskan tentang pembangunan sistem RAG (Retrieval-Augmented Generation) lokal tanpa menggunakan API cloud, dengan menggunakan Go, PostgreSQL dengan ekstensi pgvector, dan Ollama. Sistem ini terdiri dari dua komponen utama: CLI ingest untuk pengindeksan dokumen secara offline dan REST API untuk menangani pertanyaan pengguna secara real-time. Dokumen dipecah menjadi potongan-potongan, di-embedding menggunakan model nomic-embed-text, dan disimpan di PostgreSQL dengan pgvector untuk pencarian semantik. Pada saat kueri, sistem menghasilkan embedding untuk pertanyaan, menemukan potongan serupa menggunakan pencarian tetangga terdekat aproksimatif (HNSW), dan mengirimkan konteks yang relevan ke model llama3.2 melalui Ollama untuk menghasilkan jawaban. Pendekatan ini memastikan privasi data penuh dan otonomi, menghindari panggilan API eksternal. Artikel ini menekankan pentingnya menggunakan model embedding yang sama untuk pengindeksan dan kueri untuk menjaga konsistensi ruang vektor.