硬件与推理 — ИИ мировой Дайджест от ДНБ66

模型 🇷🇺

如何将俄语嵌入模型压缩至2400万参数——以及一个数字差点毁掉全部工作

一位工程师训练了一个轻量级俄语密集检索模型STRIZH，参数量为2440万，层数为4层，用于共享GPU上的本地检索增强生成。分词器配置中一个错误的数字（模型最大长度设为256）导致召回率@10从0.589降至0.448，几乎使工作付诸东流。该模型旨在AMD Strix Halo平台上实现快速第一级检索，在与bge-m3共驻内存的场景中竞争。