6 Lektionen für die Erstellung von Benchmarks aus dem NeurIPS-Tutorial

Im NeurIPS-Tutorial „The Art of Benchmarking“ mit Autoren von SWE-bench, GPQA und Forschern von Google DeepMind, NYU und Berkeley wurden zentrale Probleme und Fallstricke bei der Erstellung von Benchmarks diskutiert. Dazu gehören die Tyrannei der Metriken, bei der Metriken „Honeypots“ aufweisen, die es Modellen ermöglichen, den Test zu „hacken“, während die Pearson-Korrelation diese Punkte nicht erkennt. Es wurde auch darauf hingewiesen, dass die Verwendung von großen Sprachmodellen (Large Language Models, LLMs) als Evaluierungsquellen gefährlich ist: Sie korrelieren mit Menschen nur im Kalibrierungssatz, und Eigenvoreingenommenheit führt zu überhöhten eigenen Ergebnissen. Der einzig korrekte Ansatz ist, Beispiele zu generieren, an denen das Modell scheitert. Zu den sechs großen Fehlern, die Benchmark-Ersteller machen, gehören: die Veröffentlichung eines Benchmarks mit einer Genauigkeit von 70–80 % beim besten Modell (anstatt 0–1 % anzustreben), fehlende Überprüfung der tatsächlichen Multimodalität der Aufgabe, Verlassen auf die eigene Theorie der Intelligenz, unzureichende Filterung von Crowd-Spam (bis zu 25 % zufällige Antworten), Konzentration der Arbeit auf einen einzigen Crowdworker und Veröffentlichung von Ergebnissen ohne p-Werte und Konfidenzintervalle. In Zukunft benötigen wir dynamische Benchmarks, Längsschnittstudien über die Auswirkungen von LLMs auf Menschen, Kalibrierung des Modellwissens und Aufgaben, die eine Katze lösen kann, GPT jedoch nicht.