Author:
Cígler Hynek,Ježek Stanislav,Širůček Jan,Lacinová Lenka
Abstract
V roce 2020 epidemie covid‑19 znemožnila konání přijímací zkoušky do navazujícího magisterského studia psychologie na Masarykově univerzitě formou běžného písemného znalostního testu. Zvolili jsme proto náhradní formu v podobě hodnocení bakalářských prací. Tento článek je "psychometrickou kazuistikou", která dokumentuje celý postup od tvorby hodnoticích kritérií s ohledem na obsahovou validitu přes volbu designu až po výsledky. Každou práci hodnotili dva náhodně vylosování hodnotitelé, jejichž "přísnost" byla vyvážena využitím logistického lineárního testového modelu (LLTM) v rámci paradigmatu teorie odpovědi na položku (IRT). Výsledkem byl jednodimenzionální skór, férově vyvážený napříč dvěma přijímacími termíny (n1 = 82, n2 = 48) a 18 hodnotiteli. Jeho reliabilita, rxx' = 0,869, byla srovnatelná s písemnými testy v jiných letech. Přísnost hodnotitelů a obtížnost kritérií se nelišily napříč oběma termíny, výsledné hodnocení se zdá být validním ukazatelem a srovnatelně férové s písemným testem. Navržená procedura tak může posloužit jiným pracovištím a k jiným účelům, než je jen přijímací test; z těchto důvodů sdílíme analytický skript a veškeré materiály nezbytné pro replikaci celé procedury.
Reference34 articles.
1. [1] AERA, APA, & NCME. (2014). Standards for educational and psychological testing. American Educational Research Association.
2. Fitting linear mixed-effects models using lme4;Bates;Journal of Statistical Software 67(1) https,2015
3. Inequalities among lower bounds to reliability: With applications to test construction and factor analysis;Bentler;Psychometrika 45(2) 249-267 https,1980
4. Alpha, dimension-free, and model-based internal consistency reliability;Bentler;Psychometrika 74(1) 137-143 https,2009
5. [5] Bond, T. G., & Fox, C. M. (2009). Applying the Rasch model : Fundamental measurement in the human sciences. Lawrence Erlbaum Associates, Inc.