IRT-basierter Vergleich zweier Varianten automatisiert erstellter Matrizentestaufgaben

Abstract

Zusammenfassung: In der vorliegenden Arbeit wird über 2 Pilotstudien im Vorfeld der Entwicklung eines Itemgenerators zur vollautomatisierten Herstellung von Matrizentestaufgaben berichtet. Besonderes Augenmerk wurde auf den Vergleich zweier theoriegeleitet erstellter Varianten von Items gelegt und ob sich diese als geeignet erweisen, bei automatisierter Itemgenerierung mit erwünscht hoher psychometrischer Qualität (Geltung des Modells von Rasch, 1960/1980 ) erstellt werden zu können. Die durchgeführten Studien weisen aus Sicht der IRT auf prinzipielle Gleichwertigkeit der beiden Itemvarianten bei unterschiedlicher Robustheit der erzielbaren psychometrischen Qualität hin. Dieses Ergebnis wird im Lichte von “affordances” und “constraints” im Hinblick auf Konstruktrepräsentativität der beiden Itemvarianten diskutiert ( Greeno, Moore & Smith, 1993 ). Zusätzlich konnten wertvolle Erkenntnisse für die Erweiterung des generativen Regelwerks zur Einbindung in den Itemgenerator gewonnen werden. Abschließend werden mögliche weitere Entwicklungsrichtungen kurz skizziert.