Winnie-the-Pooh trong 768 Chiều: Tìm kiếm ngữ nghĩa cho Codex Pets trên YDB

Bộ danh mục Codex Pets gồm 153 con thú cưng hoạt hình đã được phê duyệt, đi cùng với các tác nhân AI. Khi danh mục phát triển, việc tìm kiếm dựa trên thẻ (tag) trở nên kém hiệu quả, không tìm được những con thú cưng được mô tả bằng ngoại hình thay vì thẻ chính xác. Tác giả đã triển khai tìm kiếm ngữ nghĩa: các trường văn bản (tên, mô tả, thẻ) được mã hóa thành vector 768 chiều, và một mô hình đa phương thức tạo ra chú thích cho bốn khung hình hoạt hình được chọn, các chú thích này cũng được vector hóa. YDB lưu trữ các vector và tính toán độ tương đồng cosine thông qua Knn::CosineSimilarity. Bốn bảng mới đã được thêm để xử lý embeddings, chú thích, gợi ý và phiên bản. Tìm kiếm hợp nhất ba danh sách xếp hạng bằng Weighted Reciprocal Rank Fusion, với trọng số từ vựng và văn bản là 1 và trọng số thị giác được điều chỉnh. Nhánh thị giác có thể thất bại độc lập, dẫn đến kết quả từ vựng. Thử nghiệm cho thấy tìm kiếm ngữ nghĩa cải thiện NDCG@5 từ 0.539 lên 0.724 và Recall@5 từ 0.528 lên 0.743 trên toàn bộ 14 truy vấn.