ChatGPT und halluzinierte Referenzen in Artikeln aus ausgewählten Bereichen der Betriebswirtschaftslehre

Abstract

Zusammenfassung Der vorliegende Aufsatz untersucht die Problematik von Halluzinationen in vier wissenschaftlichen Aufsätzen aus verschiedenen Bereichen der Betriebswirtschaftslehre, die von ChatGPT-4 verfasst wurden. Konkret soll geprüft werden, ob die von ChatGPT generierten Quellennachweise existieren und, wenn dies der Fall ist, ob sie korrekt sind. Ein erstes überraschendes Ergebnis ist, dass fast 40 Prozent der 174 in den Artikeln referenzierten Quellen, deren bibliografische Angaben nach den einzelnen Hauptkapiteln ausgegeben wurden, nicht im für jeden Aufsatz eigens generierten Literaturverzeichnis ausgewiesen waren. Eine Überprüfung aller bibliografischen Angaben ergab, dass in den einzelnen Artikeln zwischen 18 und 100 Prozent der Quellen in Google Scholar nicht gefunden werden konnten. Die Hälfte der gefundenen ChatGPT-Quellen war in unterschiedlichem Ausmaß fehlerhaft (falscher Dokumenttyp, falscher Zeitschriftenname, falsche Seitenangabe). Im Durchschnitt war nur ein Viertel der bibliografischen Quellenangaben vollständig korrekt. Im Web of Science konnte nur ein Viertel der Quellenangaben nachgewiesen werden, diese waren aber größtenteils korrekt. Obige Ergebnisse zeigen, dass ChatGPT-4 für das Verfassen von wissenschaftlichen Arbeiten – nicht nur aufgrund von ethischen und rechtlichen Bedenken – nicht empfohlen werden kann, da ein großer Teil der (zum Zeitpunkt des Verfassens dieser Arbeit gültigen Version) von ChatGPT generierten Referenzen nicht existiert oder teilweise fehlerhaft ist. Es ist weiter davon auszugehen, dass auch die erzeugten Texte teilweise erfunden sind oder von nicht referenzierten Quellen (Plagiate) stammen. Von ChatGPT erzeugte Texte müssen daher einer umfassenden Überprüfung unterzogen werden, die vor allem auf inhaltlicher Ebene nicht immer einfach sein dürfte. Die Autoren schließen sich daher der Empfehlung von Gimpel et al. (2023) an, dass ChatGPT beim Schreiben primär nur ergänzend (z. B. Rechtschreibkontrolle, Erstellung von Zusammenfassungen, Unterstützung bei der Ideengenerierung) verwendet werden sollte.