Как мне не удалось заставить Gemma 4 писать хорошие русские стихи: поучительная история о переобучении и слепых метриках

AI-инженер Даниил Шеремет потратил месяц на тонкую настройку Gemma 4, чтобы она писала русские стихи с правильным размером и рифмой, но все версии после тонкой настройки показали результаты хуже базовой модели. Настоящей причиной оказалась не модель, а ошибочный конвейер оценки: собственный оценщик, который не мог отличить стихи от прозы, плюс проблема с токенизацией знаков ударения. После исправления оценщика и проведения надлежащих A/B-тестов базовая модель победила, что подчеркивает важный урок об оценке выходных данных LLM.