Ensemble Learning through Rashomon Sets

Abstract

Criar modelos a partir de observações e garantir sua eficácia em novos dados é a essencia do aprendizado de máquina. No entanto, selecionar modelos que generalizem bem para dados futuros continua sendo uma tarefa desafiadora. Neste trabalho, investigamos como os modelos se comportam em conjuntos de dados com funções de geração de dados distintas mas ainda correlacionadas. A motivação é estudar o Efeito Rashomon, que ocorre quando um problema admite a existência de vários modelos distintos com desempenho semelhante. Problemas do mundo real frequentemente exibem múltiplas estruturas locais nos dados, resultando em múltiplos modelos de alto desempenho sujeitos ao Efeito Rashomon. Propomos estratificar durante treino o espaço de soluções em grupos de modelos coerentes ou contrastantes. A partir desses grupos de Rashomon, contruimos um comitê onde cada constituinte cobre uma região distinta do espaço. Validamos nossa abordagem em conjuntos de dados abertos e reais. Nossa abordagem supera o estado-da-arte, melhorando a AUROC em até 0,20+ nos cenários onde a razão de Rashomon é alta.