Яндекс решил проблему «катастрофического забывания» ИИ-моделей — они перестанут забывать команды

Яндекс объявил о решении проблемы «катастрофического забывания» в AI-моделях, которая приводила к потере старых команд при обучении новым. Разработанный метод позволяет моделям сохранять ранее полученные инструкции.

Яндекс

Самоописание как условие возникновения знака в нейросети

В статье исследуется роль самоописания (репорта) в формировании знака — обособленной, читаемой извне единицы внутри нейросети. Автор на микромоделях показывает, что без требования назвать правило оно не кристаллизуется, хотя вычисление идёт. Самоописание не отражает готовое знание, а конституирует его, превращая сеть из калькулятора в примитивную мыслящую систему. Механизм также объясняет появление галлюцинаций в больших моделях.

Anthropic