Ajustement fin de ruGPT-3 XL 1.3B au niveau des LLM modernes et comparaison avec Gemma3 1B
Un passionné a affiné le modèle pré-entraîné ruGPT-3 XL 1.3B (de 2020) en utilisant SFT (Supervised Fine-Tuning) et DPO (Direct Preference Optimization) pour atteindre le niveau des LLM modernes. Le modèle obtenu est comparé à Gemma3 1B de 2025 ; dans de nombreux tests, ruGPT-3 XL a montré des réponses plus précises et concises, en particulier dans les tâches de logique et la connaissance de la culture russe.
Сбербанк
Google/DeepMind
