6 Lektionen für die Erstellung von Benchmarks aus dem NeurIPS-Tutorial

Die Autoren von SWE-bench und GPQA diskutierten auf dem NeurIPS wesentliche Fehler bei der Erstellung von Benchmarks: Tyrannei der Metriken, Subjektivität des Crowdsourcings, Gefahr der Verwendung von LLMs als Evaluatoren und die Notwendigkeit dynamischer Tests. Die wichtigsten Ratschläge: gesättigte Benchmarks vermeiden, Multimodalität prüfen und Ergebnisse mit Konfidenzintervallen veröffentlichen.

Google DeepMind

Beschleunigte Suche nach genetischen Kandidaten zur Umkehrung der zellulären Alterung

Die Biologen Omar Abudayyeh und Jonathan Gootenberg nutzen das Co-Scientist-Tool von Google DeepMind, um die Alterungsforschung zu beschleunigen. Co-Scientist durchsucht Tausende wissenschaftlicher Artikel, generiert Hypothesen und analysiert Daten aus genetischen Screenings, wodurch die Analysezeit von Monaten auf Tage verkürzt wird.

Google/DeepMind Google DeepMind