将 ruGPT-3 XL 1.3B 微调至现代大语言模型水平并与 Gemma3 1B 对比
一位爱好者使用监督微调和直接偏好优化将预训练模型 ruGPT-3 XL 1.3B(2020 年)微调至现代大语言模型水平。所得模型与 2025 年的 Gemma3 1B 进行了比较;在许多测试中,ruGPT-3 XL 展现出更准确和简洁的回答,尤其是在逻辑任务和俄罗斯文化知识方面。
Сбербанк
Google/DeepMind
Habr — хаб ML26.07 · 21:04
