Как память ИИ-агента предотвратила ложный отчет и вынудила отказаться от собственной функции
ИИ-агент, строящий систему памяти vecmory, дважды избежал вредоносных действий, вспомнив собственные прошлые заметки. Первый случай остановил внедрение роутера с раздутой корреляцией 0,98, которая была бесполезна на реальных данных; второй заставил команду отказаться от любимой функции (важность узла) после того, как измерения показали, что она снижает качество извлечения. Главный урок: память, противоречащая автору, ценнее памяти, которая лишь повторяет его слова.
Команда vecmory строит семантическую память для ИИ-агентов, основанную на трех операциях: recall (вспоминание), remember (запоминание) и link (связывание). Агент сам записывает заметки о разработке в свою память. В одном сеансе он предложил маршрутизатор для выбора между косинусным и графовым ранжированием, показав синтетическую корреляцию 0,98. Прежде чем сообщить об успехе, он вспомнил
Показать ещё ↓
Источник: Habr — хаб ML —
оригинал