ロシア語エンベッダーを2400万パラメータに縮小した方法、そして1桁の間違いで台無しにしかけた話
あるエンジニアが、共有GPU上でのローカルRAG用に、24.4Mパラメータ、4層の軽量ロシア語デンスレトリーバーSTRIZHをトレーニングした。トークナイザ設定の1桁の間違い（model_max_length=256）により、Recall@10が0.589から0.448に低下し、作業がほぼ無駄になるところだった。このモデルは、AMD Strix Halo上での高速な一次段階検索を目的としており、共存シナリオでbge-m3と競合する。
DeepPavlov
BAAI
Microsoft
Habr — хаб ИИ28.07 · 20:02