Emotion recognition in images and artificial immune systems

Abstract

В статье приведены результаты применения одного из методов искусственных иммунных систем к задаче распознавания эмоций человека по его мимике на изображениях. Искусственные иммунные системы – специальная концепция, в основе которой лежат различные принципы естественной иммунной системы млекопитающих. За счет своего разнообразия, подобным системам удалось достигнуть высоких результатов во множестве различных задач. Поэтому весьма интересным является вопрос об их эффективности в такой задаче, как распознавание эмоций. Так, в данном исследовании, используя один из методов искусственных иммунных систем, удалось достигнуть максимальной точности в 80 % для задачи распознавания 7 базовых эмоций Пола Экмана. Эти показатели были достигнуты на наборе данных Cohn–Kanade+. Для построения подобной системы, в исследовательской работе были рассмотрены наиболее популярные подходы к распознаванию эмоций на изображениях, а также ключевые концепции типизации эмоций. В предлагаемой модели использовался подход на основе компьютерного зрения, с использованием лицевой разметки по 68 точкам. Полученные координаты точек лица были преобразованы в 136 вещественных признаков, а затем, их число было сокращено до 25 признаков при помощи метода главных компонент. Дальнейшим направлением исследования будет являться поиск наиболее эффективного метода из класса методов искусственных иммунных систем для задачи распознавания эмоций на изображениях. This research paper presents the results of applying a method of artificial immune systems to the problem of recognizing human emotions by facial expressions in images. Artificial immune systems are a special concept based on a different principles of the natural immune system in mammals. Due to their diversity, artificial immune systems have managed to achieve high results in many different tasks. Therefore, the question of their effectiveness in such tasks as the problem of emotions recognition is very interesting. In this study, using a method of artificial immune systems, it was possible to achieve a maximum accuracy of 80% for the task of recognizing Paul’s Ekman 7 basic emotions. These metrics were achieved on the Cohn–Kanade+ dataset. To build such a system, the research work considered the most popular approaches of recognizing emotions in images along with the key concepts of emotion classification. In the proposed model, a computer vision-based approach was utilised using 68-point facial landmarks. The obtained coordinates of the points on the face were transformed into 136 real features, and then, their number was reduced to 25 features with the means of principal components method. A further direction of research will be the search for the most effective method of artificial immune systems for emotion recognition in images.