Запоминание против обобщения: что действительно умеет языковая модель на 2160 параметров
Эксперимент с крошечной языковой моделью на 2160 параметров показал уверенное запоминание обученных шаблонов (99.93% вероятность токена), ограниченный перенос на перестановку знакомых токенов (81.69%) и провал на новой структуре вопроса (10.46%). Модель сохранила все 14 исходных отношений без катастрофического забывания.
В версии 1.1.0 проекта Tiny Language Model на Node.js, после обсуждения в ML-сообществе и фидбека от инженеров на Hashnode, было добавлено исследование границы между запоминанием и обобщением. С фиксированным seed 42 проведена frozen evaluation из четырёх проверок: точный обученный шаблон, знакомые токены в новом порядке, полностью отложенный шаблон и сохранение 14 отношений после adaptive SFT
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал