Evolutionary algorithms for learning ensembles of interpretable classifiers

Abstract

Classificação é a tarefa de Aprendizado de Máquina que visa categorizar instâncias em classes. Existem diversos algoritmos na literatura que realizam classificação, com diferentes graus de sucesso. Nos últimos anos, o desempenho preditivo foi o objetivo priorizado entre praticantes de Aprendizado de Máquina e a comunidade acadêmica. Todavia, mais recentemente, interpretabilidade tem ganhado cada vez mais atenção. Uma área de aprendizado de máquina que pode se beneficiar de um ganho em interpretabilidade é a de ensemble learning. Ensemble learning visa reunir modelos que, quando agrupados em comitês, podem fornecer alto grau de desempenho preditivo, mesmo que os classificadores que façam parte do grupo não sejam (em média) muito melhores que preditores aleatórios. Doravante, os benefícios são duplos: ensembles podem melhorar o desempenho preditivo de modelos interpretáveis caixa branca (que são, em média, piores que modelos caixa preta); e o uso de modelos caixa-branca aumenta a interpretabilidade de ensembles. Nesta tese, através do projeto de algoritmos evolutivos, uma poderosa classe de algoritmos de soft computing, desenvolvemos dois métodos para aprendizado de ensembles interpretáveis: EDNEL e PUMA. Enquanto os dois métodos são semelhantes, a diferença entre eles ainda assim é significativa: PUMA aprende ensembles de classificadores sem levar a interação entre variáveis em consideração, enquanto EDNEL calcula a correlação das variáveis. Todavia, nos experimentos que conduzimos para avaliar o desempenho dos métodos, detectamos que a abordagem mais simples de PUMA gerou ensembles com melhor desempenho preditivo em média do que EDNEL, enquanto aquele é estatisticamente equivalente à dois bem-estabelecidos métodos de aprendizado de ensembles, Adaboost e Random Forests.