Obsidianのセマンティック検索：ベクトルデータベースを使わずにローカルベクトルインデックスが機能する仕組み

Vault Audit AIの作者は、ノート作成における全文検索の限界に対処するため、セマンティック検索を追加しました。このプラグインにより、ユーザーは正確な単語一致だけでなく、意味に基づいてノートを検索できます。インデックスはObsidianボールト内に保存され、外部のベクトルデータベースやサーバーは必要ありません。このシステムは、Markdownノートをチャンクに分割し、各チャンクをモデルで埋め込み、カスタムのLocalVectorStoreにベクトルを保存することで機能します。チャンカーは見出しやリストなどの自然な文書境界を尊重し、見出しパス、コンテンツハッシュ、ソースオフセットなどのメタデータを維持します。埋め込みプロバイダーには、OpenRouter、OpenAI互換API、Ollamaが含まれ、すべて共通のインターフェースの背後にあります。LocalVectorStoreはマニフェストとベクトル用のバイナリファイルを使用し、アトミック書き込みにより一貫性を確保します。インクリメンタルインデックスは、メタデータとコンテンツハッシュを比較して、変更されていないチャンクの埋め込みを再計算しないようにします。著者はコンポーネントを分離することの重要性を強調し、テストに合格したにもかかわらず、非同期レース（レースコンディション）の課題が発生したことに言及しています。