Abstract
ZusammenfassungDer Beitrag präsentiert eine Studie, in der analytische und holistische Einstufungen von Teilnehmendenleistungen im Prüfungsteil Schreiben des digitalen TestDaF untersucht wurden. Dabei wurde der Frage nachgegangen, welchen Einfluss das Beurteilungsverfahren auf die Ergebnisse der Teilnehmenden hat und inwieweit die Ergebnisse zweier unterschiedlicher Verfahren vergleichbar sind. In einer ersten Beurteilungsphase wurden die Leistungen von erfahrenen Beurteilenden analytisch anhand einer 6-stufigen Beurteilungsskala nach jeweils sechs Kriterien bewertet. In der nächsten Phase wendeten neun Beurteilende aus der ersten (analytischen) Phase der Studie die neue (holistische) Skala bei der Bewertung derselben Leistungen an. In beiden Phasen wurden Unterschiede in der Qualität der Einstufungen nach beiden Beurteilungsmethoden untersucht und sowohl die Inter-Rater- als auch die Intra-Rater-Reliabilität für beide Beurteilungsmethoden separat berechnet. Die Analysen zeigten keine signifikanten Unterschiede zwischen den Beurteilungsmethoden hinsichtlich des Verhaltens der Beurteilenden. Die Anwendung des holistischen Verfahrens führte allerdings zu tendenziell niedrigeren Einstufungen.
Reference26 articles.
1. Adams, Raymond (1981): The reliability of marking of five June 1980 examinations. Mimeo: Associated Examining Board, Guildford.
2. Al Hattami, Abdulghani A.; Ghalib, Thikra K. (2015): „Holistic versus Analytic Evaluation of EFL Writing: A Case Study“. In: English Language Teaching 8 (7), 225–236.
3. Bangdiwala, Shrikant (1988): The Agreement Chart. Department of Biostatistics. University of North Carolina at Chapel Hill (Institute of Statistics Mimeo Series).
4. Bangdiwala, Shrikant; Shankar, Viswanathan (2013): „The agreement chart“. In: BMC Medical Research Methodology 13 (1): Artikel 97.
5. Chi, Eunlim (2001): „Comparing holistic and analytic scoring for performance assessment with many-facet Rasch model“. In: Journal of Applied Measurement 2 (4), 379–388.