ruGPT-3 XL 1.3B を最新LLMレベルにファインチューニングし、Gemma3 1Bと比較

元々2020年のプリトレインモデルでテキストの続きしか生成できなかったruGPT-3 XL 1.3Bは、SFT（教師ありファインチューニング）とDPO（直接選好最適化）を用いてファインチューニングされ、現代的な指示追従型LLMに生まれ変わりました。saiga_preferencesから派生した4200万トークンのデータセットでSFTを行った後、モデルは指示に従い、質問に答え、マルチターンの対話を維持できるようになりました。その後、2兆トークンで学習された2025年のモデルであるGemma3 1Bと比較されました。ファインチューニングされたruGPTは、ロシアのロックバンドに関する知識、マルチステップの会話、量子物理学の質問、空間パズルなどのタスクで優れた性能を発揮しました。また、特定の単語を避けるといった否定的な指示に対しても、数回の再生成の後に対応できました。一方、Gemma3はロールプレイと端末シミュレーション（ruGPTが苦手とした）以外のほとんどのタスクで失敗しました。DPOによってさらなるアライメントが改善されましたが、記事ではSFTのデータセットが小さいために汎化が限定的だったと指摘しています。