Los lectores puntúan los relatos de ChatGPT mejor que los humanos hasta que descubren su origen de IA

Según un estudio de Sydney Sears y Deena Skolnick Weisberg publicado en la revista Judgment and Decision Making, los lectores no son capaces de distinguir si un relato breve fue escrito por un humano o generado por ChatGPT. En tres experimentos con más de 2500 participantes, los sujetos no obtuvieron resultados mejores que el azar a la hora de distinguir entre relatos de ficción breves escritos por humanos y los generados por IA. En el primer experimento, cada uno de los 1682 participantes leyó una de seis historias, tres de revistas literarias y tres generadas con ChatGPT 4.0, con indicaciones basadas en el tema, el estilo y la perspectiva narrativa de los originales humanos. A la mitad se les dijo que la historia había sido escrita por un humano, y a la otra mitad que provenía de ChatGPT. Las historias generadas por IA obtuvieron puntuaciones significativamente más altas en calidad percibida e inmersión (calidad media 1.54 frente a 0.97; inmersión 1.42 frente a 1.00). Sin embargo, los participantes a los que se les dijo que una historia era de autor humano la valoraron más alto, independientemente de la autoría real. Aquellos con actitudes positivas hacia la IA dieron en general puntuaciones más altas, y sus valoraciones aumentaron aún más cuando se les dijo que la historia provenía de ChatGPT, mientras que los participantes escépticos con la IA mostraron el efecto contrario. En otros dos experimentos con 905 participantes, cada uno leyó tanto historias humanas como de IA y tuvo que identificar cuál era cuál, pero seguían sin acertar más que por azar. La experiencia autodeclarada con sistemas de IA se correlacionó positivamente con la atribución correcta, mientras que la experiencia con ficción no ayudó. Los autores sugieren que los textos de IA suelen ser más fluidos, más fáciles de entender y emocionalmente más positivos, lo que puede explicar las puntuaciones más altas sin ser literariamente mejores, ya que la ficción de calidad suele ser deliberadamente desafiante. Los investigadores concluyen que la IA puede producir obras creativas percibidas como al menos equivalentes a las humanas, pero la gente no le atribuye el mérito a la IA. Los datos y los materiales están disponibles abiertamente en el Open Science Framework.