Feinabstimmung von ruGPT-3 XL 1.3B auf modernes LLM-Niveau und Vergleich mit Gemma3 1B
Ein Enthusiast hat das vortrainierte Modell ruGPT-3 XL 1.3B (von 2020) mittels SFT und DPO auf modernes LLM-Niveau feinabgestimmt. Das resultierende Modell wird mit Gemma3 1B von 2025 verglichen; in vielen Tests zeigte ruGPT-3 XL präzisere und knappere Antworten, insbesondere bei Logikaufgaben und Kenntnissen der russischen Kultur.
Сбербанк
Google/DeepMind
