Лаборатория ИИ «Финама» обновила финансовый бенчмарк FINESSE-Bench для LLM
Anthropic
Moonshot AI
Google/DeepMind
MiniMax
OpenAI
Meta
DeepSeek
Mistral
Сбер
Яндекс
Т-Банк
Лаборатория искусственного интеллекта «Финама» представила обновлённую версию финансового бенчмарка FINESSE-Bench. В новую версию добавлен датасет по техническому анализу CFTe-like Level 1, исправлены 169 вопросов CFA-like Level 1, улучшен расчёт метрик с бутстрапированием и расширен пул моделей до 33 в сравнительных таблицах.
Лаборатория искусственного интеллекта Finam выпустила обновление финансового бенчмарка FINESSE-Bench, предназначенного для оценки знаний и навыков больших языковых моделей (Large Language Models, LLM) в финансовой сфере. Ключевые изменения: исправлено 169 проблемных вопросов в наборе данных уровня CFA первого уровня; добавлен новый набор данных уровня CFTe первого уровня, содержащий 781 вопрос по
Показать ещё ↓
Источник: Habr — хаб NLP —
оригинал