SPEX и ProxySPEX: методы выявления влиятельных взаимодействий в LLM в масштабе
OpenAI
Исследователи из BAIR (Berkeley AI) представили SPEX и ProxySPEX — алгоритмы, способные выявлять критические взаимодействия между признаками, данными и компонентами моделей ИИ, включая LLM, на порядки быстрее существующих методов. Методы основаны на идее разреженности влиятельных взаимодействий и используют техники из теории кодирования и обработки сигналов. Применение SPEX показало, что стандартные методы атрибуции (например, SHAP) могут упускать сложные синергии, как в случае с «проблемой вагонетки». ProxySPEX, использующий свойство иерархичности, достигает той же точности с примерно в 10 раз меньшим числом абляций.
Исследователи из BAIR (Berkeley Artificial Intelligence Research, Исследовательский центр искусственного интеллекта в Беркли) разработали алгоритмы SPEX и ProxySPEX для выявления значимых взаимодействий между компонентами сложных систем машинного обучения, включая большие языковые модели (large language models, LLM). Сложность заключается в том, что количество потенциальных взаимодействий растёт
Показать ещё ↓
Источник: BAIR (Berkeley AI) —
оригинал