Science One Framework: Ein überprüfbarer autonomer Forschungsrahmen mittels Chain-of-Evidence

Google Research hat das Science One Framework vorgestellt, einen autonomen Forschungsprototypen, der entwickelt wurde, um Halluzinationen durch die native Erstellung überprüfbarer Evidenzketten zu eliminieren, sowie das CoE Audit, ein automatisiertes Protokoll zur Bewertung der Integrität von KI-generierten Arbeiten. Das Framework basiert auf Chain-of-Evidence (CoE), einem neuen Konzept der Überprüfbarkeit, bei dem jede Behauptung in einem Forschungsergebnis eine aufgezeichnete Evidenzkette (Vollständigkeit) aufweisen muss und jede Kette die Behauptung tatsächlich stützt (Korrektheit). Das Science One Framework setzt CoE über drei Hauptmodule um: einen Ideen-Explorer, einen Problem-Investigator und einen Lösungsentwickler. Das CoE Audit wendet vier strenge Integritätsprüfungen an: Referenzverifikation, Ergebnisverifikation, Code-Reproduzierbarkeit und Methoden-Code-Abgleich. Bei der Evaluierung an 75 Arbeiten aus dem ADRS-Benchmark erzielte Science One null Phantomreferenzen im Vergleich zu einer Halluzinationsrate von bis zu 21 Prozent bei den Basislinien, eine perfekte Ergebnisverifikation und den höchsten Methoden-Code-Abgleich, während es bei allen fünf ADRS-Aufgaben die Leistung menschlicher Experten erreichte oder übertraf. Das Framework wurde auch an sechs externen komplexen Aufgaben, darunter MLE-Bench und Parameter-Golf, getestet und erzielte dabei Spitzenergebnisse.