Ефективність статистичних критеріїв для визначення стильових характеристик текстів

Abstract

Проаналізовано особливості підвищення достовірності встановлення звичайної та стильової атрибуції текстів, застосовуючи статистичні критерії Лемана-Розенблатта та Стьюдента. Запропоновано методологію застосування поєднання статистичних критеріїв Лемана-Розенблатта та Стьюдента для здійснення атрибуції текстів на основі визначення довжини слів та стильової атрибуції текстів на фонологічному рівні. Визначено залежність ефективності статистичних критеріїв від трьох основних чинників: обсягу вибірки, рівня мови, на якому здійснюється атрибуція текстів, та лінгвістичного матеріалу дослідження. Наведено алгоритм здійснення атрибуції текстів та стильової атрибуції текстів мовою програмування Java. Запропоновано поєднання двох основних підходів до здійснення стильової атрибуції текстів, яке може використовуватися і для авторської атрибуції. Перший підхід ґрунтується на визначенні розподілу довжини слів за допомогою критерію Лемана-Розенблатта, другий – на визначенні відмінностей у частоті вживання груп приголосних фонем, використовуючи критерій Стьюдента. Встановлено оптимальний обсяг вибірки. У першому випадку обсяг вибірки становить 50 000 літер, у другому – 30 000 фонем. Проведено атрибуцію текстів на матеріалі статистичних даних, отриманих з художніх творів Данієля Дефо "Робінзон Крузо" (XVIII ст.) та Пауліни Сари Джо Моєс "Я перед Вами" (XXI ст.). Стильову атрибуцію проведено на матеріалі статистичних даних, отриманих з газетного (The Daily Telegraph) (XXI ст.) та наукового стилів (Acta Physica Polonica) (XXI ст.). Встановлено ефективність статистичних критеріїв Лемана-Розенблатта та Стьюдента для здійснення атрибуції та стильової атрибуції текстів, визначаючи розподіл довжини слів та частоту вживання груп приголосних фонем. Результати отримано з довірчою ймовірністю 95 %. Розроблено структуру програмної системи атрибуції тексту та стильової атрибуції. Структура ґрунтується на модульному принципі. Введено модулі атрибуції текстів та стильової атрибуції. Розроблене програмне забезпечення має широкий спектр застосування. Його можна використовувати і для авторської атрибуції. Практичне застосування атрибуції текстів та стильової атрибуції здійснюється у галузі філології та у галузях, що стосуються визначення атрибуції текстів та стильової приналежності тексту. Авторська атрибуція має практичну цінність у кожній галузі людської діяльності, в якій потрібно встановити авторство тексту. Це дослідження є розширеним і доповненим щодо наших попередніх досліджень, присвяченим авторській атрибуції.