APPLICATION OF META-ANALYSIS METHOD IN HUMANITARIAN AND PEDAGOGICAL RESEARCH

Abstract

Введение. Реализация современной модели образования требует от педагогических работников владения определенными навыками научно-исследовательской работы и использования научно обоснованных форм и методов в своей профессиональной деятельности. Опора на науку должна позволить достичь требуемого качества образования и тем самым обеспечить выполнение социального и государственного заказа перед системой образования. В настоящее время существуют серьезные проблемы, касающиеся воспроизводимости процесса и результатов педагогических исследований. В этой связи при исполнении требования достижения качества образования педагоги сталкиваются с серьезной проблемой, а именно с кризисом воспроизводимости. Кризис воспроизводимости – это серьезный методологический кризис, суть которого заключается в невозможности повторить результаты исследований, которые были ранее опубликованы, или невозможность повторить само исследование (по техническим и иным причинам). Чаще всего это обусловлено отсутствием или недостаточной представленностью следующих элементов педагогических исследований: наличие эксперимента, четкое описание планирования и хода эксперимента, проверяемые данные – когда непонятно, что, каким образом и в каких условиях воспроизводить. Цель – научно обосновать целесообразность экстраполяции метода метаанализа из доказательной медицины в педагогические исследования в качестве инструмента для повышения воспроизводимости как экспериментов, так и получаемых результатов в педагогических исследованиях. Материал и методы. Основой методологии исследования стали следующие методы: изучение и анализ литературы, аналитического обобщения, прогнозирования, абстрагирования, аналогии, измерения, синтезирование данных, обобщение, моделирование, аналогии, статистической обработки полученной информации. После того, как были рассмотрены основные причины, вызывающие кризис воспроизводимости в науке, в качестве средства минимизации негативного влияния кризиса воспроизводимости обосновано применение метода метаанализа в педагогических исследованиях. Результаты и обсуждение. Проанализирована актуальная литература по проблематике исследования. Изучены и обобщены сущностные черты и причины кризиса воспроизводимости в педагогических исследованиях. Установлено, что кризис воспроизводимости носит междисциплинарный характер. Актуализирована проблема поиска средств минимизации негативного влияния кризиса воспроизводимости на развитие педагогических исследований. В качестве такого средства рассмотрен метаанализ и выдвинуто предположение о целесообразности его экстраполяции из медицины в педагогические исследования. Проанализированы теоретические и практические аспекты применения метода метаанализа. Выведены определения понятий «метаанализ» и «систематический обзор». Установлено, что метаанализ пересекается и частично включает в себя элементы таких методов и технологий, как контент-анализ, прикладная наукометрия, блокчейн. Рассмотрены организационные и содержательные особенности метаанализа, позволяющие применять данный метод для оценки качества педагогических исследований. Предложен контурный план метаанализа научных публикаций, отражающих результаты педагогических исследований. Выдвинут ряд дискуссионных положений, которые могли бы стать основанием для дальнейших исследований. Намечен путь комплексного изучения инструментов минимизации негативного влияния кризиса воспроизводимости в педагогических науках. Заключение. Обосновано применение метаанализа в качестве эффективного инструмента: 1) оценки качества педагогических исследований; 2) планирования и организации эксперимента; 3) представления результатов эмпирических исследований в педагогике. Introduction. The implementation of the modern model of education requires teaching staff to possess certain skills in research work and to use scientifically grounded forms and methods in their professional activities. It seems that reliance on science should make it possible to achieve the required quality of education and thereby ensure the fulfillment of the social and state order for the education system. In particular, it is necessary to fix the fact that in empirical research used in science, there are, today, serious problems regarding the reproducibility of the process and the results of pedagogical research. In this regard, in fulfilling the requirement to achieve the quality of education, which is verified, first of all, by empirical research, teachers are faced with a serious problem, namely, with a crisis of reproducibility. The reproducibility crisis is a serious methodological crisis, the essence of which is the impossibility of repeating the results of studies that were previously published or the impossibility of repeating the study itself (for technical and other reasons). Most often, this is due to the absence or insufficient representation of the following elements of pedagogical research: the presence of an experiment, a clear description of the planning and course of the experiment, verifiable data – when it is not clear what, how and in what conditions to reproduce. The goal is to scientifically substantiate the feasibility of extrapolating the meta-analysis method from evidencebased medicine to pedagogical research as a tool to increase the reproducibility of both experiments and the results obtained in pedagogical research. Material and methods. The research methodology is based on the following methods: study and analysis of literature, analytical generalization, forecasting, abstraction, analogy, measurement, data synthesis, generalization, modeling, analogy, statistical processing of the information received. After the main reasons causing the crisis of reproducibility in science were considered, the use of the meta-analysis method in pedagogical research was substantiated as a means of minimizing the negative impact of the crisis of reproducibility. Results and discussion. The current literature on the research problem is analyzed from different positions. The essential features and causes of the crisis of reproducibility in pedagogical research have been studied and generalized. It was found that the crisis of reproducibility is interdisciplinary in nature. The problem of finding means to minimize the negative impact of the crisis of reproducibility on the development of pedagogical research is actualized. As such a tool, a meta-analysis is considered and an assumption is made about the advisability of extrapolating the method of meta-analysis from medicine to pedagogical research. The theoretical and practical aspects of the application of the meta-analysis method are considered. The definitions of the concepts of meta-analysis and a systematic review are derived. It was found that meta-analysis intersects and partially includes elements of such methods and technologies as content analysis, applied scientometrics, blockchain. The organizational and substantive features of the meta-analysis are considered, which make it possible to apply this method to assess the quality of pedagogical research. As a practical justification for the applicability of the method, a contour plan for the meta-analysis of scientific publications reflecting the results of pedagogical research is proposed. A number of controversial provisions that could become the basis for further research is put forward. A way is outlined for a comprehensive study of tools to minimize the negative impact of the crisis of reproducibility in pedagogical sciences. Conclusion. The has been substantiated the use of meta-analysis as an effective tool for: 1) assessing the quality of pedagogical research; 2) planning and organizing the experiment; 3) presentation of the results of empirical research in pedagogy.