Yerel RAG Sistemi Kurma: Go, PostgreSQL ve Ollama ile Bulut API'leri Olmadan
Ollama
Bu makale, LangChain gibi ağır çerçevelerden ve bulut API'lerinden kaçınarak Go, pgvector ile PostgreSQL ve Ollama kullanarak tamamen yerel bir RAG sistemi oluşturmayı inceliyor. Mimariyi, indekslemeyi, anlamsal aramayı ve üretimi kapsıyor ve yerel işlemenin gizlilik ve kontrol açısından avantajlarını vurguluyor.
Bu makale, bulut API'leri olmadan, Go, pgvector uzantılı PostgreSQL ve Ollama kullanarak yerel bir RAG (Getirme Artırımlı Üretim) sistemi kurmayı anlatmaktadır. Sistem iki ana bileşenden oluşur: belgelerin çevrimdışı indekslenmesi için bir ingest CLI ve kullanıcı sorgularını gerçek zamanlı işlemek için bir REST API. Belgeler parçalara ayrılır, nomic-embed-text modeli kullanılarak gömülür ve anlamsal arama için pgvector ile PostgreSQL'de saklanır. Sorgu anında, sistem sorgu için bir gömme oluşturur, HNSW (Hiyerarşik Gezinilebilir Küçük Dünya) kullanarak yaklaşık en yakın komşu araması yapar ve ilgili bağlamı, yanıt üretimi için Ollama aracılığıyla llama3.2 modeline iletir. Bu yaklaşım, harici API çağrılarını önleyerek tam veri gizliliği ve özerklik sağlar. Makale, vektör uzayı tutarlılığını korumak için hem indeksleme hem de sorgular için aynı gömme modelinin kullanılmasının önemini vurgulamaktadır.
Kaynak: Habr — хаб NLP —
orijinal