¿Es capaz “ChatGPT” de aprobar el examen MIR de 2022? Implicaciones de la inteligencia artificial en la educación médica en España

Abstract

Artificial intelligence and natural language processing models have made an entrance into the field of medical education. Among them, the ChatGPT model has been used to try to solve different international medical exams. However, there is no literature which addresses this phenomenon in Europe or other Spanish-speaking countries. The present paper aims at evaluating the ability to answer questions of the ChatGPT model in the 2022 MIR, which grants access to the Spanish postgraduate training system. To this end, a cross-sectional descriptive analysis has been carried out in which all the questions of the 2022 MIR exam have been solved by this technology. ChatGPT was able to answer 51.4% of the questions correctly, which is approximately 69 net answers on said exam. According to estimates for this year, it would have obtained a 7688 position, which would be slightly below the population’s median, but would allow it to pass the cut-off score and choose a large number of specialties. These results are similar to those obtained in the existing literature, slightly worse to those obtained  by this tool in the American USMLE exams. The development of AI is  an opportunity for medical students and residents to learn, but it is also a risk in many ways. It is essential to train future specialists in the new reality of artificial intelligence so that they are able to use them and obtain benefits in a reasoned and safe manner. La inteligencia artificial y los modelos de procesamiento de lenguaje natural han irrumpido con fuerza en el ámbito de la educación médica. Entre ellos, el modelo ChatGPT ha sido utilizado para intentar resolver distintos exámenes de medicina a nivel internacional. Sin embargo, prácticamente no existe literatura en Europa ni países de habla hispana. El presente trabajo pretende evaluar la capacidad de responder preguntas del modelo ChatGPT en el examen MIR 2022. Para ello, se ha llevado a cabo un análisis transversal y descriptivo en el que se han introducido la totalidad de las preguntas del examen MIR 2022 en dicho modelo. ChatGPT ha sido capaz de responder de manera acertada un 51,4% de las preguntas, lo que supone aproximadamente 69 netas en el examen MIR. Según estimaciones para este año, obtendría un 7688, lo que estaría ligeramente por debajo de la mediana de la población presentada, pero que le permitiría pasar la nota de corte y escoger un gran número de especialidades. El resultado es similar a los obtenidos en la bibliografía previa, ligeramente por debajo de los resultados obtenidos por dicha herramienta en los exámenes americanos USMLE. Este tipo de modelos suponen una oportunidad para el aprendizaje de los estudiantes de medicina y los residentes, pero también supone un riesgo en muchos sentidos. Es fundamental formar a los futuros especialistas en la nueva realidad de la inteligencia artificial para que sean capaces de utilizarlas y obtener beneficios de manera razonada y segura.