Mathematical model to detect anomalies using Sensitivity Analysis applying to neural network

Abstract

Переход к цифровизации в различных сферах экономической и социальной деятельности сопровождается возникновением больших массивов данных, обрабатывая которые, необходимо выявлять определенные зависимости, строить модели процессов и систем. Актуальной является задача поиска аномальных значений в больших массивах данных. Существующие алгоритмы выявления аномалий основываются на использовании различных подходов и имеют свои преимущества и недостатки. Однако базовые схемы работы всех методов схожи на начальном этапе происходит разделение данных на типичные для системы или процесса и те, которые не вписываются в общую картину, затем происходят структурная и параметрическая идентификация модели, на заключительном этапе обученная модель используется для разделения данных. Для повышения точности работы алгоритмов возможны их модификации, учитывающие структуру данных или позволяющие комбинировать разнородные математические модели. В статье приводится описание комбинированного подхода к построению системы обнаружения аномальных реализаций на основе алгоритма изолирующего леса и последовательного применения нейросетевого классификатора. Для снижения размерности входного вектора нейросетевой модели синтезирован и описан подход к анализу чувствительности по факторам нейросетевой модели, основанный на применении анализа конечных изменений. Приведен численный пример, показывающий адекватность применимости предлагаемого подхода к анализу данных. The transition to the digitalization in various spheres of economic and social activity is accompanied by the emergence of large amounts of data, processing which it is necessary to identify certain dependencies and build models of processes or systems. The task to identify anomaly values in dig data sets is relevant. Existing algorithms to detect anomalies are based on different approaches and have their own advantages and disadvantages. However basic schemes of all methods are similar and use at the initial stage the separation of data in a typical for system or process and those that are not, then follow structural and parametric identification of the model, and at the final stage the trained model is used to separate the data. To improve the accuracy of algorithms, they can be modified to take into account the data structure or to combine heterogeneous mathematical models. The paper describes a combined approach to build the system for detecting anomalies based on the Isolation Forest algorithm and sequential application of a neural network classifier. To reduce the dimension of neural network input vector, the approach to Sensitivity Analysis based on applying Analysis of Finite Fluctuations to the neural network model is synthesized and described. It is presented the numerical example that shows the adequacy of the proposed approach to data analysis.