Leitores Preferem Histórias do ChatGPT, Mas Não Sabem Disso

Em um estudo publicado na revista Judgment and Decision Making, as pesquisadoras Sydney Sears e Deena Skolnick Weisberg, da Universidade Villanova, investigaram como leitores avaliam contos com base no conteúdo real e na autoria percebida. O primeiro experimento envolveu 1.682 adultos americanos recrutados por meio do Prolific, que leram cada um um conto de cerca de 1.000 palavras. Metade das histórias foi escrita por humanos e já havia sido publicada, enquanto a outra metade foi gerada pelo GPT-4, com cada história de IA correspondendo a uma história humana em tema e elementos. Os participantes foram informados de que o autor era um humano ou o ChatGPT, mas essa informação era precisa apenas metade das vezes. Os resultados mostraram que as histórias geradas por IA receberam avaliações mais altas em absorção (1,42 contra 1,00) e qualidade percebida (1,54 contra 0,97) em comparação com as histórias humanas. No entanto, independentemente da origem real, as histórias rotuladas como humanas foram consistentemente avaliadas de forma mais favorável, e esse efeito foi mais forte entre os participantes com visões negativas da IA. Em dois experimentos adicionais com 905 participantes que tiveram que identificar a origem de histórias pareadas, apenas 40% e 52%, respectivamente, conseguiram fazê-lo, mostrando que os leitores não conseguiam distinguir de forma confiável textos de IA de textos humanos. A expertise literária autodeclarada não ajudou, embora a familiaridade com ferramentas de IA tenha dado uma leve vantagem. As pesquisadoras sugerem que os textos gerados por IA podem ser mais fluidos e fáceis de compreender, o que poderia explicar suas melhores avaliações. No entanto, o estudo se limita a três pares de contos realistas curtos e a uma amostra online americana, e não implica que a IA escreva melhor em geral. Os resultados ressaltam que a expertise não garante discriminação precisa e que a autoria percebida influencia significativamente a recepção do texto.