Investigação da Eficácia de Técnicas de Nicho e Diferenciação Ambiental aplicadas a Algoritmos da Robótica Evolutiva

Abstract

O algoritmo Estratégias Evolutivas (ES) têm se mostrado uma técnica eficiente de otimização ao longo das décadas. Recentemente, uma adaptação do método, proposta por pesquisadores da empresa OpenAI, demonstrou as vantagens de se usar técnicas de ES de forma paralelizada como uma importante alternativa ao também relevante método de Aprendizado por Reforço. Técnicas que utilizam abordagens populacionais de otimização como é o caso das estratégias evolutivas, se beneficiam da diversidade das soluções candidatas no processo evolutivo. Por este motivo, mecanismos que preservam a diversidade como, por exemplo, a criação de ilhas e nichos durante o processo evolutivo foram propostos e investigados em outros algoritmos evolutivos. Este trabalho tem o objetivo de analisar como a adição de técnicas de nicho, que incluem diferenciação ambiental entre as subpopulações, podem ser relevantes a algoritmos da Robótica Evolutiva utilizando a versão do algoritmo ES recentemente proposto pela OpenAI. Utilizando como tarefa de teste o bem conhecido problema do baleancemento de mastros duplos (\textit{double-pole balancing}), comparamos a efetividade das soluções geradas com e sem o mecanismo de nichos nos algoritmos OpenAI-ES e Stochastic Steady State (SSS). Os resultados obtidos demonstraram aumentos de performance de aproximadamente 8,6\% e 53.5\% para OpenAI-ES e SSS, respectivamente, quando o mecanismo de nichos é utilizado.