Bon marché à générer, coûteux à vérifier : le coût caché des sorties d'IA

L'article traite du défi de la vérification des contenus générés par l'IA, en soulignant l'asymétrie entre le faible coût de génération et le coût élevé de vérification. Des chercheurs de l'Université nationale de Taïwan ont découvert que les modèles de langage peuvent combiner des faits vérifiables concernant différentes personnes en une seule biographie d'une personne inexistante ; les métriques de factualité standard n'ont pas détecté ce problème, et après ajustement pour tenir compte de l'ambiguïté des entités, les scores de quatre modèles ouverts ont chuté de plus de 10 %. Une étude intitulée "Verify with Caution" a testé cinq métriques de factualité sur onze ensembles de données, révélant des incohérences et des erreurs, en particulier lorsque le texte de soutien était éloigné de l'affirmation. Dans des expériences humaines, l'assistance de l'IA a accéléré la vérification mais a conduit à une confiance excessive lorsque le modèle donnait des explications convaincantes mais erronées ; montrer les avantages et les inconvénients a atténué ce problème mais n'a offert aucun avantage significatif par rapport à la recherche. L'article compare la vérification dans différents domaines : le code dispose de compilateurs et de tests, les mathématiques utilisent la vérification formelle de preuves (par exemple, AlphaProof et AlphaGeometry 2 ont résolu quatre problèmes aux Olympiades internationales de mathématiques 2024), mais l'analytique et la stratégie sont plus difficiles à vérifier. Les suggestions incluent la présentation des sources en premier, comme dans "Attribute First, then Generate", et l'utilisation de récompenses de processus (ThinkPRM) pour vérifier les étapes de raisonnement. L'article mentionne également l'approche basée sur les risques du NIST et la loi européenne sur l'IA, qui exigent davantage de documentation et de surveillance pour les systèmes à haut risque.