Leitores avaliam histórias do ChatGPT melhor que as humanas até saberem a origem na IA
OpenAI
Um novo estudo mostra que os leitores não conseguem distinguir histórias curtas geradas por ChatGPT das escritas por humanos, e até avaliam os textos da IA melhor em qualidade e imersão — mas apenas enquanto acreditam que as histórias foram escritas por um humano. O estudo envolveu mais de 2500 participantes em três experimentos, com resultados publicados na revista Judgment and Decision Making.
De acordo com um estudo de Sydney Sears e Deena Skolnick Weisberg publicado na revista Judgment and Decision Making, os leitores são incapazes de dizer se um conto foi escrito por um humano ou gerado pelo ChatGPT. Em três experimentos com mais de 2500 participantes, os sujeitos não tiveram desempenho melhor do que o acaso em distinguir contos de ficção escritos por humanos daqueles gerados por IA. No primeiro experimento, cada um dos 1682 participantes leu uma de seis histórias, três de revistas literárias e três geradas com o ChatGPT 4.0, com instruções baseadas no tema, estilo e perspectiva narrativa dos originais humanos. Metade foi informada de que a história era escrita por humano, metade de que era do ChatGPT. As histórias geradas por IA obtiveram pontuações significativamente mais altas em qualidade percebida e imersão (qualidade média 1,54 vs 0,97; imersão 1,42 vs 1,00). No entanto, os participantes que foram informados de que uma história era escrita por humano a avaliaram mais alto, independentemente da autoria real. Aqueles com atitudes positivas em relação à IA deram avaliações geralmente mais altas, e suas avaliações aumentaram ainda mais quando informados de que a história vinha do ChatGPT, enquanto os participantes céticos em relação à IA mostraram o efeito oposto. Em dois experimentos adicionais com 905 participantes, cada um leu histórias humanas e de IA e teve que identificar qual era qual, mas ainda assim não foram melhores do que o acaso. A experiência autorrelatada com sistemas de IA correlacionou-se positivamente com a atribuição correta, enquanto a experiência com ficção não ajudou. Os autores sugerem que os textos de IA são tipicamente mais fluentes, mais fáceis de entender e emocionalmente mais positivos, o que pode explicar avaliações mais altas sem serem literariamente melhores, já que a ficção de qualidade é muitas vezes intencionalmente desafiadora. Os pesquisadores concluem que a IA pode produzir obras criativas percebidas como pelo menos equivalentes ao trabalho humano, mas as pessoas não creditam a IA por isso. Dados e materiais estão abertamente disponíveis no Open Science Framework.
Fonte: The Decoder (DE) —
original