FINESSE-Bench: обновлённый набор бенчмарков для оценки финансовых знаний LLM

Лаборатория искусственного интеллекта «Финама» обновила свой набор бенчмарков FINESSE-Bench для оценки финансовых знаний LLM. Обновлённая версия включает восемь датасетов общим объёмом 3993 вопроса: CFA-like Level 1, 2, 3, CMT-like Level 2, CFTe-like Level 1, VLigaBench-ru, Trading_TA и Trading_derivatives. Главные изменения: исправление 169 вопросов в CFA-like Level 1, добавление нового датасета CFTe-like Level 1 (781 вопрос по основам технического анализа), переход к оценке accuracy с 95% доверительными интервалами через бутстрап, использование стратифицированного бутстрапирования для агрегированных оценок по группам бенчмарков, а также анализ различающей способности и насыщения датасетов. Пул моделей расширен до 66 систем, из которых 49 имеют полное покрытие по всем 11 бенчмаркам; в сравнительных таблицах представлены 33 модели. По агрегированным результатам лучшие показатели у GPT-5.5 (0.906 на exam-like, 0.876 на trading/TA), Claude Opus 4.8 и GPT-5. Анализ показал, что специализированные датасеты FINESSE-Bench обладают высокой различающей способностью: например, на CFA-like Level 2 и Level 3 около 80% вопросов попадают в промежуточную зону (от 10% до 90% правильных ответов среди моделей), тогда как на открытом public-бенчмарке TAT-QA почти половина вопросов решается всеми моделями.