Finam AI Lab aktualisiert den finanziellen Benchmark FINESSE-Bench für LLMs
Anthropic
Moonshot AI
Google/DeepMind
MiniMax
OpenAI
Meta
DeepSeek
Mistral
Сбер
Яндекс
Т-Банк
Das Labor für Künstliche Intelligenz von Finam hat eine aktualisierte Version des finanziellen Benchmarks FINESSE-Bench veröffentlicht. Die neue Version fügt einen Datensatz für technische Analyse CFTe-ähnlich Level 1 hinzu, korrigiert 169 CFA-ähnliche Level-1-Fragen, verbessert die Metrikberechnung durch Bootstrapping und erweitert den Modellpool auf 33 in Vergleichstabellen.
Das Finam Artificial Intelligence Lab hat ein Update des FINESSE-Bench-Finanzbenchmarks veröffentlicht, das dazu dient, das Wissen und die Fähigkeiten großer Sprachmodelle (Large Language Models, LLMs) im Finanzbereich zu bewerten. Zu den wichtigsten Änderungen gehören: die Behebung von 169 problematischen Fragen im CFA-ähnlichen Level-1-Datensatz; die Hinzufügung eines neuen CFTe-ähnlichen Level-1-Datensatzes mit 781 Fragen zu den Grundlagen der technischen Analyse; der Übergang zur Berechnung von Konfidenzintervallen mittels Bootstrapping für einen robusteren Modellvergleich; die Verwendung von stratifiziertem Bootstrapping zur Aggregation der Ergebnisse nach Benchmark-Gruppen; die getrennte Bewertung der Diskriminationsfähigkeit und Sättigung von Datensätzen (es wurde festgestellt, dass die meisten FINESSE-Fragen in die mittlere Zone fallen, was einen guten diagnostischen Wert bietet). Der Modellpool wurde erweitert: insgesamt wurden 66 Systeme getestet, von denen 49 eine vollständige Abdeckung über alle 11 Benchmarks (8 FINESSE + 3 öffentliche) aufweisen, und 33 Modelle sind in den Haupttabellen enthalten. Die besten Ergebnisse erzielten GPT-5.5 (0,906 bei prüfungsähnlichen Fragen, 0,876 bei Handels-/TA-Fragen), Claude Opus 4.8 (0,860 bei prüfungsähnlichen Fragen, 0,856 bei Handels-/TA-Fragen) und andere.
Quelle: Habr — хаб NLP —
Original