Winnie-the-Pooh dalam 768 Dimensi: Pencarian Semantik untuk Codex Pets di YDB

Katalog Codex Pets berisi 153 hewan peliharaan animasi yang disetujui dan menemani agen AI. Seiring bertambahnya katalog, pencarian berbasis tag menjadi tidak praktis, gagal menemukan hewan peliharaan yang dideskripsikan berdasarkan penampilan daripada tag yang tepat. Penulis menerapkan pencarian semantik: bidang teks (nama, deskripsi, tag) dienkode menjadi vektor 768 dimensi, dan model multimodal menghasilkan keterangan untuk empat bingkai animasi yang dipilih, yang juga diubah menjadi vektor. YDB menyimpan vektor-vektor tersebut dan menghitung kemiripan kosinus menggunakan Knn::CosineSimilarity. Empat tabel baru ditambahkan untuk menangani embedding, keterangan, rekomendasi, dan versi. Pencarian menggabungkan tiga daftar peringkat menggunakan Weighted Reciprocal Rank Fusion, dengan bobot leksikal dan tekstual sebesar 1 dan bobot visual yang disetel. Cabang visual dapat gagal secara independen, kembali ke hasil leksikal. Pengujian menunjukkan bahwa pencarian semantik meningkatkan NDCG@5 dari 0,539 menjadi 0,724 dan Recall@5 dari 0,528 menjadi 0,743 pada set lengkap 14 kueri.