Günstig zu erzeugen, teuer zu verifizieren: Die versteckten Kosten von KI-Ausgaben

Der Artikel befasst sich mit der Herausforderung, KI-generierte Inhalte zu verifizieren, und betont die Asymmetrie zwischen niedrigen Generierungskosten und hohen Verifikationskosten. Forscher der National Taiwan University fanden heraus, dass Sprachmodelle verifizierbare Fakten über verschiedene Personen zu einer einzigen Biografie einer nicht existierenden Person kombinieren können; Standard-Faktualitätsmetriken übersahen dies, und nach Anpassung an die Mehrdeutigkeit von Entitäten sanken die Werte für vier offene Modelle um über 10 Prozent. Eine Studie namens "Verify with Caution" testete fünf Faktualitätsmetriken an elf Datensätzen und fand Inkonsistenzen und Fehler, insbesondere wenn der unterstützende Text weit von der Behauptung entfernt war. In menschlichen Experimenten beschleunigte KI-Unterstützung die Verifikation, führte aber zu übermäßigem Vertrauen, wenn das Modell überzeugende, aber falsche Erklärungen gab; das Aufzeigen von Vor- und Nachteilen milderte dies, bot jedoch keinen signifikanten Vorteil gegenüber der Suche. Der Artikel vergleicht die Verifikation über verschiedene Bereiche hinweg: Code hat Compiler und Tests, Mathematik verwendet formale Beweisverifikation (zum Beispiel lösten AlphaProof und AlphaGeometry 2 vier Probleme bei der Internationalen Mathematik-Olympiade 2024), aber Analytik und Strategie sind schwerer zu verifizieren. Vorschläge umfassen, Quellen zuerst zu präsentieren, wie bei "Attribute First, then Generate", und Prozessbelohnungen (ThinkPRM) zu verwenden, um Denkschritte zu überprüfen. Der Artikel erwähnt auch den risikobasierten Ansatz des National Institute of Standards and Technology (NIST) und den europäischen AI Act, die mehr Dokumentation und Aufsicht für Hochrisikosysteme erfordern.