Les lecteurs préfèrent les histoires de ChatGPT sans le savoir
OpenAI
Une étude menée par des chercheurs de l'université de Villanova a révélé que les lecteurs ont attribué une note plus élevée aux nouvelles générées par ChatGPT qu'à celles écrites par des humains, mais qu'ils ont également mieux évalué les histoires étiquetées comme étant écrites par des humains, indépendamment de leur véritable auteur. Les participants n'ont souvent pas réussi à distinguer les deux, ce qui souligne l'influence de la paternité perçue sur le jugement.
Dans une étude publiée dans Judgment and Decision Making, les chercheurs Sydney Sears et Deena Skolnick Weisberg de l'université de Villanova ont examiné comment les lecteurs évaluent des nouvelles en fonction du contenu réel et de la paternité perçue. La première expérience a impliqué 1 682 adultes américains recrutés via Prolific, qui ont chacun lu une nouvelle d'environ 1 000 mots. La moitié des nouvelles étaient écrites par des humains et déjà publiées, tandis que l'autre moitié était générée par GPT-4, chaque nouvelle générée par l'IA correspondant à une nouvelle humaine en termes de thème et d'éléments. Les participants étaient informés que l'auteur était soit un humain, soit ChatGPT, mais cette information n'était exacte que dans la moitié des cas. Les résultats ont montré que les nouvelles générées par l'IA ont reçu des notes plus élevées pour l'absorption (1,42 contre 1,00) et la qualité perçue (1,54 contre 0,97) par rapport aux nouvelles humaines. Cependant, quel que soit l'origine réelle, les nouvelles étiquetées comme écrites par un humain étaient systématiquement évaluées plus favorablement, et cet effet était plus fort chez les participants ayant des opinions négatives sur l'IA. Dans deux autres expériences avec 905 participants qui devaient identifier l'origine de nouvelles appariées, seulement 40 % et 52 % ont respectivement réussi, montrant que les lecteurs ne pouvaient pas distinguer de manière fiable un texte généré par l'IA d'un texte humain. L'expertise littéraire autodéclarée n'a pas aidé, bien que la familiarité avec les outils d'IA ait donné un léger avantage. Les chercheurs suggèrent que les textes générés par l'IA pourraient être plus fluides et plus faciles à comprendre, ce qui pourrait expliquer leurs meilleures évaluations. Cependant, l'étude se limite à trois paires de nouvelles réalistes et courtes et à un échantillon en ligne américain, et ne signifie pas que l'IA écrit mieux en général. Les résultats soulignent que l'expertise ne garantit pas une discrimination précise et que la paternité perçue influence significativement la réception du texte.
Source: Numerama —
original