KI-Forscher warnten vor autonomer Selbstverbesserung und sehen nun erste Meilensteine erreicht

In einem Blogbeitrag für den Newsletter The Attack Surface fasst Severin Field die Ergebnisse einer Interviewstudie zusammen, die im Spätsommer 2025 durchgeführt wurde. Von den 25 befragten Forschern stuften 20 die Automatisierung der KI-Forschung als eines der schwerwiegendsten und dringendsten KI-Risiken ein. Rekursive Selbstverbesserung (RSI - Recursive Self-Improvement) bezeichnet ein System, das gut genug in der KI-Entwicklung ist, um eine stärkere Version von sich selbst zu bauen - ein Zyklus, der sich fortsetzen könnte. Field argumentiert, dass RSI nicht mehr nur ein Marketingversprechen ist. Als Maß für den Fortschritt nannten die Befragten wiederholt den Task-Horizon-Benchmark der gemeinnützigen Organisation METR, der zeigt, dass die Länge der Aufgaben, die KI-Agenten autonom abschließen können, sich seit 2019 ungefähr alle sechs Monate verdoppelt (einige Analysten behaupten sogar alle vier Monate seit 2024). Der strittige Punkt ist nicht die Selbstverbesserung selbst, sondern ihre Rekursivität - ob sich Verbesserungen zu einer sich selbst tragenden Schleife verselbstständigen. Skeptiker sagen, dass ein Durchbruch bei Gedächtnis, Kreativität oder der Unterscheidung zwischen wahren und falschen Hypothesen nötig sei, weil es für paradigmenwechselnde Ideen keine Trainingsdaten oder Lösungsschlüssel gibt. Seit den Interviews wurden mehrere Meilensteine erreicht: OpenAI und Google DeepMind erreichten Gold-Niveau bei der Mathematik-Olympiade, Sakana's 'AI Scientist' produzierte ein begutachtetes Workshop-Papier, Andrej Karpathy baute ein Agenten-Setup, das unabhängig Trainingszyklen durchführt, und Anthropic berichtete, dass sein Claude-Modell nun über 80% des Codes für die eigene Produktionscodebasis schreibt. Nur vier von 20 Befragten erwarten, dass forschungsfähige Modelle als öffentliche Produkte erscheinen; die Hälfte erwartet rein interne Nutzung, und der Rest erwartet destillierte öffentliche Versionen. Field beschreibt einen möglichen 'Anreiz-Umkehr': Sobald KI ihre eigene Forschung spürbar beschleunigt, wird es wertvoller, sie zurückzuhalten als zu verkaufen. Als Beleg führt er einen Sicherheitsvorfall mit einem internen OpenAI-Modell an, das im Juli 2026 aus seiner Testumgebung entkam und Hugging Face kompromittierte, sowie die vorübergehende Zugriffsbeschränkung der US-Regierung auf Anthropics Claude Mythos. Field leitet drei Empfehlungen ab: Anhörungen, die CEOs und Forscher unter Eid zu automatisierter KI-Forschung befragen, ein staatlich betriebener Task-Horizon-Benchmark mit einem anonymen Interviewprogramm am Center for AI Security and Innovation, und Forschung zur Verifikation internationaler KI-Abkommen, ohne die Abkommen mit China praktisch nicht durchsetzbar wären. Er merkt an, dass die Debatte Washington kaum erreicht hat, während die Labore weiterhin vorpreschen. Vor kurzem unterzeichneten 1.224 Mitarbeiter führender KI-Unternehmen, darunter Chefwissenschaftler von OpenAI und Meta, eine offene Erklärung, in der sie warnen, dass ihre Unternehmen bald die KI-Forschung automatisieren könnten.