Сбербанк

Дообучение ruGPT-3 XL 1.3B до уровня современной LLM и сравнение с Gemma3 1B

Энтузиаст дообучил pretrain-модель ruGPT-3 XL 1.3B (2020 года) с помощью SFT и DPO до уровня современной LLM. Полученная модель сравнивается с Gemma3 1B 2025 года; во многих тестах ruGPT-3 XL показала более точные и краткие ответы, особенно в задачах на логику и знание российской культуры.

Сбербанк Google/DeepMind