DeepPavlov

Cách tôi thu nhỏ một mô hình nhúng tiếng Nga xuống còn 24 triệu tham số — và suýt phá hỏng nó chỉ vì một chữ số

Một kỹ sư đã huấn luyện một mô hình truy xuất dày đặc tiếng Nga nhẹ, tên là STRIZH, với 24,4 triệu tham số và 4 lớp, dành cho hệ thống RAG cục bộ trên GPU dùng chung. Chỉ một con số sai trong cấu hình bộ mã hóa token (model_max_length=256) đã làm giảm Recall@10 từ 0,589 xuống 0,448, gần như phá hỏng toàn bộ công sức. Mô hình này được thiết kế để truy xuất nhanh ở giai đoạn đầu trên nền tảng AMD Strix Halo, cạnh tranh với bge-m3 trong các kịch bản sử dụng chung tài nguyên.

DeepPavlov BAAI Microsoft