Los Lectores Prefieren los Relatos de ChatGPT pero No lo Saben
OpenAI
Un estudio realizado por investigadores de la Universidad de Villanova encontró que los lectores valoraron más los cuentos generados por ChatGPT que los escritos por humanos, pero también calificaron de manera más favorable los relatos etiquetados como escritos por humanos, independientemente de su verdadera autoría. Los participantes a menudo no lograron distinguir entre ambos, lo que pone de manifiesto la influencia de la autoría percibida en el juicio.
En un estudio publicado en Judgment and Decision Making, las investigadoras Sydney Sears y Deena Skolnick Weisberg, de la Universidad de Villanova, analizaron cómo los lectores evalúan relatos breves según su contenido real y la autoría percibida. El primer experimento involucró a 1.682 adultos estadounidenses reclutados a través de Prolific, quienes leyeron un relato de aproximadamente 1.000 palabras. La mitad de las historias fueron escritas por humanos y publicadas previamente, mientras que la otra mitad fue generada por GPT-4, y cada relato de IA coincidía con uno humano en tema y elementos. A los participantes se les indicó que el autor era un humano o ChatGPT, pero esta información era precisa solo en la mitad de los casos. Los resultados mostraron que los relatos generados por IA recibieron calificaciones más altas en absorción (1,42 frente a 1,00) y calidad percibida (1,54 frente a 0,97) en comparación con los humanos. Sin embargo, independientemente del origen real, los relatos etiquetados como humanos fueron valorados de manera consistentemente más favorable, y este efecto fue más fuerte entre los participantes con opiniones negativas sobre la IA. En dos experimentos adicionales con 905 participantes que debían identificar el origen de pares de relatos, solo el 40% y el 52%, respectivamente, lo lograron, lo que demuestra que los lectores no podían distinguir de manera fiable entre texto de IA y texto humano. La experiencia literaria autopercibida no ayudó, aunque la familiaridad con herramientas de IA ofreció una ligera ventaja. Las investigadoras sugieren que los textos generados por IA podrían ser más fluidos y fáciles de comprender, lo que podría explicar sus mejores evaluaciones. Sin embargo, el estudio se limita a tres pares de relatos realistas cortos y a una muestra estadounidense en línea, y no implica que la IA escriba mejor en general. Los resultados subrayan que la experiencia no garantiza una discriminación precisa y que la autoría percibida influye significativamente en la recepción del texto.
Fuente: Numerama —
original