OpenAI-Feldbericht: KI-Agenten schreiben fragile Forschungssoftware um, doch Forscher müssen streng prüfen

Ein Feldbericht von OpenAI und akademischen Partnern dokumentiert acht Fallstudien, hauptsächlich aus der Biologie, in denen Codierungsagenten wie Codex und Claude Code eingesetzt wurden, um Forschungsoftware zu warten, zu optimieren oder neu zu schreiben. Die Projekte reichten von einfacher Wartung bis hin zu vollständigen Neuschreibungen in modernen Programmiersprachen. Beispielsweise modernisierte GPT-5.5 den Build-Prozess für die Python-Bibliothek cyvcf2, während zwei Agenten, Claude Code und Codex, etwa 10.000 Zeilen von MHCflurry von TensorFlow zu PyTorch migrierten. Das Projekt rustar-aligner schrieb STAR, ein Tool mit mehreren tausend Zeilen C/C++, in Rust neu und erreichte eine Übereinstimmung von 99,815 % bzw. 99,883 % mit dem Original auf Testdatensätzen. RustQC, das 15 Qualitätskontrollwerkzeuge bündelte, reduzierte die Laufzeit von 15 Stunden 34 Minuten auf 14 Minuten 54 Sekunden – ein Faktor von über 60. HelixForge, ein Ersatz für BamSurgeon, war insgesamt 59,6-mal schneller, wobei die Kernberechnung 98,6-mal schneller war. Allerdings wirkten die Agenten oft selbstbewusst, lagen aber falsch; zum Beispiel enthielten bei der Neufassung von bayesm zwei Prozeduren subtile Fehler, darunter einen invertierten Steuerparameter und einen fehlerhaften Skalierungsfaktor. Die Forscher kamen zu dem Schluss, dass Menschen Ziele, Erfolgskriterien und Validierungsmethoden definieren müssen, während die Agenten die Implementierung übernehmen. Der Bericht schätzt erhebliche Zeitersparnisse – zum Beispiel könnte die Wartung von NumPy etwa 650 Stunden pro Jahr einsparen –, hebt aber langfristige Wartung und Verantwortung als zentrale Herausforderungen hervor. Einige Änderungen wurden in die Hauptversion übernommen, während andere, wie FastQC, vom ursprünglichen Autor abgelehnt wurden, was dazu führte, dass Verbesserungen stattdessen in die ursprüngliche Java-Version eingearbeitet wurden. Der Bericht ist retrospektiv und basiert auf Selbstauskünften, und er stellt fest, dass sich der Engpass von der Implementierung hin zur Validierung und wissenschaftlichen Überprüfung verlagert. Dieses Muster wird auch durch eine METR-Studie und eine Studie über die Frustration von Entwicklerteams mit KI-Code bestätigt. Der Bericht steht im Einklang mit OpenAIs breiterer Wissenschaftsstrategie, die ein dediziertes Team unter der Leitung von Kevin Weil und die Veröffentlichung von GPT-Rosalind umfasst.