A Delphi Study and Verification of Assessment of Chemistry Experiments Videos / Delfi-metoda istraživanja i verifikacija procjene videozapisa o kemijskim eksperimentima

Abstract

The purpose of this study was to use the Delphi method to combine consensus opinion to develop indicators for pre-service chemistry teachers to assess videos of chemical experiments. This study had two stages. The first was to construct the Video Assessment Questionnaire using a modified Delphi consensus process delivering three rounds of face-to-face or online surveys. The 50 participants included professors, associate professors, undergraduate students, and middle school teachers. The Video Assessment Questionnaire has a high degree of consensus as shown by the coefficients of variation and Kendall's W of the second and third rounds. The final version included 20 indicators in three major aspects: content organization, experiment operation, and video quality. In the second stage, a quasi-experiment was designed to test the effect of using the questionnaire in Chemistry Teaching Methodology Course. The experimental group (n = 22) used the questionnaire to evaluate their own videos and reflect on their performance, whereas the control group (n = 11) carried out the same tasks without the tool. We found that the pre-service teachers who used the Video Assessment Questionnaire had better laboratory instruction (t(31) = 4.25, p<.001), especially the operation in experiments (t(31) = 4.95, p<.001) than those who only made videos. This study verified the effectiveness of the Video Assessment Questionnaire in terms of helping pre-service chemistry teachers to improve experiment operations skills.Keywords: assessment; chemistry education research; laboratory instruction; multimedia-based learning---Cilj ovoga istraživanja bio je primijeniti Delfi-metodu za dobivanje i kombiniranje podudarnih mišljenja, kako bi se izradili pokazatelji pomoću kojih budući nastavnici kemije mogu procijeniti videozapise o kemijskim eksperimentima. Ovo istraživanje provedeno je u dvije faze. U prvoj je izrađen Upitnik za procjenu videozapisa o kemijskim eksperimentima pomoću modificirane Delfi metode. Na taj su način utvrđena podudarna mišljenja i provedena tri kruga anketiranja uživo ili u online obliku. Uzorak se sastojao od 50 ispitanika – profesora, docenata, studenata dodiplomskih studija te srednjoškolskih nastavnika. Upitnik za procjenu videozapisa pokazao je visoku razinu konsenzusa, što potvrđuju koeficijent varijacije i Kendallov W koeficijent podudarnosti u drugom i trećem krugu anketiranja. Finalna verzija obuhvaća 20 pokazatelja za tri glavna aspekta: organizaciju sadržaja, izvođenje eksperimenta i kvalitetu videozapisa. U drugoj fazi provedenen je kvazieksperiment kako bi se testirao učinak primjene Upitnika u kolegiju Metodika nastave kemije. Eksperimentalna skupina (n = 22) koristila je upitnik kako bi procijenila vlastite videozapise i provela refleksiju o izvedbi eksperimenta, dok je kontrolna skupina (n = 11) odradila iste zadatke, no bez upitnika. Utvrđeno je da su budući nastavnici koji su koristili Upitnik za procjenu videozapisa o kemijskim eksperimentima izvodili bolje nastavu u laboratoriju (t(31) = 4,25, p < .001) i kemijske eksperimente (t(31) = 4,95, p < .001) od onih koji su samo izrađivali videozapise. Istraživanje je potvrdilo učinkovitost Upitnika za procjenu videozapisa o kemijskim eksperimentima kao pomoć budućim nastavnicima kemije u poboljšanju vještina izvođenja kemijskih eksperimenata. Ključne riječi: procjena; istraživanje u nastavi kemije; nastava u laboratoriju; učenje temeljeno na multimediji