О выборе значимых признаков, основанном на теории информации

Abstract

Показано, что широко применяемые субоптимальные алгоритмы выбора значимых факторов, основанные на понятиях теории информации, необязательно идентифицируют набор (в определенном смысле) значимых факторов, влияющих на изучаемый случайный отклик. Это можно рассматривать как отражение явления эпистаза, известного в генетике, когда отдельные факторы оказывают малое влияние на повышение риска сложного заболевания, а их определенные комбинации могут обеспечивать существенное воздействие. Демонстрируется, что подобный эффект проявляется и при выводах, использующих статистические оценки взаимной информации.