Expert Evaluation-Based Generation of Synonymic Sets for Sentiment Analysis

Abstract

представлен результат экспертной оценки машинного перевода онлайн-сервисом «Reverso Context» в задаче формирования синонимичных рядов. Данные ряды формируют кортежи слов, предназначенные для проведения процедуры анкетирования методом «наилучшее-худшее масштабирование» и расчёта коэффициентов эмоциональности слов в новом тональном словаре. Номинальные оценки экспертов были переведены в связанные ранги, на основании которых рассчитан коэффициент согласованности экспертов. Обработанные оценки экспертов показывают адекватность подобранного данным сервисом перевода. this study presents the expert evaluation of machine translation by the Reverso Context online service as applied to the generation of synonymic sets. These sets are used for a ”best-worst” survey and estimation of emotionality levels to make a sentiment dictionary. The expert scores were converted into ranks. We also estimated the consistency index for the experts. The expert evaluations indicated that the machine translation offered by the online service is adequate.