Is ChatGPT helpful for graduate students in acquiring knowledge about digital storytelling and reducing their cognitive load? An experiment

Abstract

This study examines the impact of ChatGPT on narrative scriptwriting abilities and cognitive load in a sample of 41 master's students enrolled in a Digital Narratives course. Using a randomized experimental design, participants were divided into two groups: an experimental group (n = 20) that interacted with ChatGPT and a control group (n = 21) that did not. Our methods involved pre- and post-tests to assess changes in digital storytelling skills and cognitive load, as defined by intrinsic, extraneous, and germane load measures. The results indicated no significant improvement in digital storytelling skills for the experimental group compared to the control group, suggesting that the use of ChatGPT does not markedly enhance narrative writing abilities in the short term. However, a significant reduction in germane cognitive load was observed among the experimental group, pointing to ChatGPT's potential to facilitate the learning process by reducing the mental effort required for task integration and application. The study underscores the complexity of integrating AI into learning environments and highlights the need for strategic AI implementation tailored to specific educational objectives. It also points to the importance of longitudinal research to fully understand the long-term effects of AI on learning and cognitive development. Este estudio examina el impacto de ChatGPT en las habilidades de escritura de guiones narrativos y la carga cognitiva en una muestra de 41 estudiantes de maestría matriculados en un curso de Narrativas Digitales. Utilizando un diseño experimental aleatorio, los participantes se dividieron en dos grupos: un grupo experimental (n = 20) que interactuaba con ChatGPT y un grupo de control (n = 21) que no lo hacía. Nuestros métodos incluyeron pruebas previas y posteriores para evaluar los cambios en las habilidades de narración digital y la carga cognitiva, según lo definido por medidas de carga intrínsecas, extrañas y pertinentes. Los resultados no indicaron una mejora significativa en las habilidades de narración digital para el grupo experimental en comparación con el grupo de control, lo que sugiere que el uso de ChatGPT no mejora notablemente las habilidades de escritura narrativa a corto plazo. Sin embargo, se observó una reducción significativa en la carga cognitiva relevante entre el grupo experimental, lo que apunta al potencial de ChatGPT para facilitar el proceso de aprendizaje al reducir el esfuerzo mental requerido para la integración y aplicación de tareas. El estudio subraya la complejidad de integrar la IA en entornos de aprendizaje y destaca la necesidad de una implementación estratégica de la IA adaptada a objetivos educativos específicos. También señala la importancia de la investigación longitudinal para comprender plenamente los efectos a largo plazo de la IA en el aprendizaje y el desarrollo cognitivo.