phonogram insertion detection by background noise analisys

Abstract

В работе представлен метод анализа фрагментов фоновых шумов фонограммы для установления, были ли фрагменты фонограммы записаны в сходных условиях. Предложенный метод разрабатывался для решения прикладных задач криминалистики. Он предполагается для использования в качестве вспомогательного средства для эксперта при проведении криминалистической экспертизы звукозаписей, имеющих доказательное значение. При помощи предложенного метода можно определить наличие вставки в аудиозапись, так как фоновые шумы вставленного фрагмента будут отличаться от остальных. Метод состоит из трех последовательных этапов. Сначала производится предобработка исследуемых фрагментов звукового сигнала – из фрагментов удаляется голосовая составляющая, после чего полученные фрагменты фонового шума преобразуются в формат, подходящий для их последующей обработки с помощью нейронных сетей. В результате такого преобразования получается псевдо-изображение из мел-спектрограмм фрагментов фонового шума. Далее полученные псевдо-изображения поступают на вход нейросетевой модели, использующейся для выделения признаков. В итоге, между полученными векторами признаков вычисляется расстояние. Если расстояние оказалось выше эвристического порога, то условия записи фрагментов считаются различными, если меньше - аналогичными. В работе проведено экспериментальное исследование как различных методов предобработки фрагментов звуковых сигналов, так и нейросетевых моделей для выделения векторов признаков из предобработанных фрагментов шума. На основании анализа полученных результатов для исследованных этапов работы метода выбираются конкретные реализации метода предобработки и нейронной сети. Также в заключении работы авторы приводят направления дальнейших исследований для улучшения предложенного метода. In this paper, authors are considering a method for analyzing background noise fragments of a phonogram to determine whether its fragments were recorded under similar conditions. The proposed method was developed to solve applied problems of criminalistics. It is supposed to be used as an aid for the expert in the sound recordings forensic examination of evidentiary value. Using the proposed method, one can determine the presence of an insertion in an audio recording since the background noise of the inserted fragment will differ from the rest. The method consists of three successive stages. First, the preprocessing of the audio signal fragments is performed - the voice component is removed from the fragments, after which the resulting background noise fragments are converted into a format suitable for their subsequent processing using neural networks. As a result of such a transformation, a pseudo-image is obtained from the chalk spectrograms of background noise fragments. Further, the resulting pseudo-images are fed to the input of the neural network model used for feature extraction. As a result, the distance between the obtained feature vectors is calculated. If the distance turned out to be higher than the heuristic threshold, then the conditions for recording fragments are considered different, if less, they are similar. In this work, an experimental study of both methods for audio signal fragments preprocessing and neural network models for extracting feature vectors was carried out. Based on the analysis of the obtained results for the examined stages of the method, particular implementations of the preprocessing method and the neural network are selected. Also, in the conclusion of the work, the authors describe plans s for further research to improve the proposed method.