Obsidian Anlamsal Arama: Yerel Vektör Dizini, Vektör Veritabanı Olmadan Nasıl Çalışır
OpenAI
Ollama
OpenRouter
Makale, Obsidian eklentisi Vault Audit AI'daki anlamsal aramanın uygulanmasını açıklıyor. Yazar, Markdown notlarının vektörlere nasıl dönüştürüldüğünü, sistemin neden ayrı bir vektör veritabanı kullanmadığını ve artımlı dizinlemenin değişiklikleri nasıl verimli bir şekilde ele aldığını anlatıyor.
Vault Audit AI eklentisinin yazarı, not alma uygulamalarındaki tam metin aramanın sınırlamalarını gidermek için Obsidian Community Plugin'ine anlamsal arama ekledi. Eklenti, kullanıcıların notları yalnızca kelime eşleşmesiyle değil, anlamlarıyla da aramasına olanak tanıyor. Dizin, harici bir vektör veritabanı veya sunucu gerektirmeden Obsidian kasasının içinde saklanıyor. Sistem, Markdown notlarını parçalara bölerek, her parçayı bir modelle gömerek ve vektörleri özel bir LocalVectorStore'da saklayarak çalışıyor. Parçalayıcı, başlıklar ve listeler gibi doğal belge sınırlarını dikkate alıyor ve başlık yolu, içerik karması ve kaynak uzaklıkları gibi meta verileri koruyor. Gömme sağlayıcıları arasında OpenRouter, OpenAI uyumlu API'ler ve Ollama yer alıyor; hepsi ortak bir arayüzün arkasında. LocalVectorStore, vektörler için bir bildirim ve ikili dosya kullanıyor; tutarlılık için atomik yazma işlemleri yapılıyor. Artımlı dizinleme, değişmeyen parçalar için gömme işlemini yeniden hesaplamaktan kaçınmak amacıyla meta verileri ve içerik karmalarını karşılaştırıyor. Yazar, bileşenlerin ayrılmasının önemini vurguluyor ve testlerin geçmesine rağmen yakalanan eşzamansız yarış durumlarıyla ilgili zorluklardan bahsediyor.
Kaynak: Habr — хаб ИИ —
orijinal
