Analyse de la validité du contenu et de la qualité formelle des questions isolées des épreuves classantes nationales informatisées (ECNi) de l’année universitaire 2015–2016

Abstract

Contexte : Les premières épreuves classantes nationales informatisées (ECNi) clôturant le deuxième cycle des études médicales en France ont eu lieu en juin 2016 et ont comporté des dossiers cliniques progressifs (DCP), des questions isolées (QI), ainsi qu’une épreuve de lecture critique d’articles (LCA). Les QI représentaient une nouveauté de cet examen puisque les DCP et la LCA étaient utilisés depuis 2004. But : Analyse de la validité du contenu et de la qualité formelle des QI des premières épreuves ECNi. Méthodes : Un questionnaire contenant les critères docimologiques à recueillir a été défini et validé au préalable. Les 120 QI de l’ECNi 2016 ont été analysées par un binôme indépendant. Les discordances entre les évaluateurs ont été interprétées. Toutes les analyses ont été colligées sur tableur Excel puis les statistiques ont été réalisées sur Graphpad Prism version 6 et Stata v12. Résultats : Les rédacteurs des QI ont majoritairement respecté les consignes de forme. Les niveaux d’habiletés intellectuelles requis concernaient majoritairement les processus de mémorisation, de simple récupération de l’information et de compréhension (82 % des QI). Dans 7 à 23 % des QI, l’utilisation de distracteurs était jugée inappropriée. Une prédominance de QI portait sur les disciplines médicales (72,5 %). L’unité d’enseignement (« Circulation – Métabolismes ») était la plus représentée (26 %). Les discordances étaient faibles (6,2 % des évaluations). Conclusion : Il s’agit de la première analyse de la validité du contenu et de la qualité formelle des QI des ECNi. Leur format de rédaction a été largement respecté par les auteurs. Elles ont peu fait appel à des processus de raisonnement complexe. Il semblerait utile de favoriser les courtes vignettes cliniques pour améliorer cet aspect.