Les lecteurs notent les histoires de ChatGPT plus haut que celles des humains, jusqu'à ce qu'ils apprennent l'origine IA

Selon une étude de Sydney Sears et Deena Skolnick Weisberg publiée dans la revue Judgment and Decision Making, les lecteurs sont incapables de dire si une nouvelle a été écrite par un humain ou générée par ChatGPT. Dans trois expériences réunissant plus de 2500 participants, les sujets n'ont pas fait mieux que le hasard pour distinguer les nouvelles écrites par des humains de celles générées par l'IA. Dans la première expérience, chacun des 1682 participants a lu une histoire parmi six, trois provenant de magazines littéraires et trois générées avec ChatGPT 4.0, avec des consignes basées sur le thème, le style et la perspective narrative des originaux humains. La moitié a été informée que l'histoire était écrite par un humain, l'autre moitié qu'elle provenait de ChatGPT. Les histoires générées par l'IA ont obtenu des scores significativement plus élevés en qualité perçue et en immersion (qualité moyenne 1,54 contre 0,97 ; immersion 1,42 contre 1,00). Cependant, les participants informés qu'une histoire était écrite par un humain l'ont évaluée plus haut, indépendamment de la véritable paternité. Ceux ayant une attitude positive envers l'IA ont donné des évaluations généralement plus élevées, et leurs évaluations ont augmenté davantage lorsqu'on leur disait que l'histoire provenait de ChatGPT, tandis que les participants sceptiques à l'égard de l'IA montraient l'effet inverse. Dans deux autres expériences avec 905 participants, chacun lisait à la fois des histoires humaines et des histoires de l'IA et devait identifier laquelle était laquelle, mais ils n'ont toujours pas fait mieux que le hasard. L'expérience déclarée avec les systèmes d'IA était corrélée positivement avec l'attribution correcte, tandis que l'expérience avec la fiction n'aidait pas. Les auteurs suggèrent que les textes de l'IA sont généralement plus fluides, plus faciles à comprendre et émotionnellement plus positifs, ce qui peut expliquer des évaluations plus élevées sans être littérairement meilleurs, car la fiction de qualité est souvent délibérément difficile. Les chercheurs concluent que l'IA peut produire des œuvres créatives perçues comme au moins équivalentes au travail humain, mais que les gens ne créditent pas l'IA pour cela. Les données et les matériaux sont ouvertement disponibles sur l'Open Science Framework.