Gemma 4 にロシア語の詩を書かせる試みが失敗した話：過学習と盲目的メトリクスに関する教訓

エージェンティック・ラボのAIエンジニアであるダニール・シェレメットは、ジェマ4にロシア語の詩を正しい弱強格の韻律と韻で書かせるために1か月を費やした。彼の計画には、ローラによるファインチューニング、批評家・修正者システム、制約付きデコーディング、その他の技術が含まれていた。彼は、イリヤ・コズイレフのRPSTツールに触発された独自の詩スキャナーを構築し、韻律と韻を評価した。彼はアルスポエティカからデータセットを厳選し、制御タグ付きの1万3342組のトレーニングペアを作成した。最初のローラ実行（v1）では、過学習とトレーニングターゲットでの強勢記号の使用によるトークンの断片化により、「ナゴスティ」や「グーンティ」などの無意味な単語が生成された。2回目の実行（v2）では、クリーンなターゲットと低い学習率により、より一貫性があるものの依然として欠陥のある詩が生成され、A/Bテストではベースモデルよりも優れていることが示唆された。しかし、評価グレーダーは盲目であることが判明した。つまり、詩と散文を区別できず、以前のランキングはすべてノイズだったのだ。ニューラルアクセント付与器（RUAccent）によるグレーダーの修正、より優れた韻の検出、再重み付けされたメトリクスにより、ベースのジェマ4モデルは、平均スコアとベスト4スコアの両方で、両方のファインチューニングバージョンを上回った。ファインチューニングされたモデルは、韻を犠牲にして韻律を最適化し、タグが強調したものを正確に学習した。このストーリーは、堅牢な評価の重要性と、ファインチューニングにおけるエキゾチックなトークン空間を避けることの重要性を浮き彫りにしている。