Assessing perceptual data in images : a computational aesthetics approach

Abstract

A percepção humana é o processo que captura estímulos físicos mensuráveis e os converte em compreensão do mundo. O estudo da percepção humana, no que tange estímulos visuais, é uma ampla área de pesquisa que tem sido estudada de forma multidisciplinar. Com os diversos avanços da computação e da capacidade de processamento e análise de imagens, a percepção humana passou a ser estudada computacionalmente. Uma das áreas que aborda essa discussão é a área da estética computacional, um subcampo da visão computacional, que visa pesquisar métodos computacionais que tomem decisões estéticas semelhantes às dos humanos. Uma das aplicações da estética computacional hoje é a previsão de classificações de imagens e vídeos e sua popularidade. Outra área muito explorada pela estética computacional é a área de análise de artes e pinturas. Para construir esses algoritmos, características (features) visuais extraídas de imagens são usadas como forma de descrever seu conteúdo. A interpretabilidade dessas features é de grande valor para áreas como a estética empírica e experimental, assim como para gerar insights a partir dos resultados encontrados. No presente trabalho, exploramos três problemas diferentes com a abordagem de estética computacional. No primeiro problema, desenvolvemos um modelo para prever a popularidade de vídeos postados no Facebook usando um conjunto de dados de features visuais. No segundo problema, usamos também features visuais e informações de categoria de imagem (animação ou live-action) para criar um sistema de recomendação de filmes, baseado em conteúdo. No terceiro problema, propomos uma metodologia para identificar e sugerir relações de influência entre pintores a partir de features visuais extraídas das faces de suas obras de arte. Nossos principais objetivos neste trabalho são: explorar diferentes problemas envolvendo diferentes tipos de imagens do ponto de vista da estética computacional; usar apenas features visuais para resolver problemas como forma de testar o poder e a utilidade dessas informações em diferentes aplicações; e usar apenas features visuais interpretáveis para gerar insights sobre a área de estética e áreas relacionadas. Os resultados encontrados neste trabalho sugerem que as features visuais, extraídas de imagens e vídeos, são recursos importantes para a solução dos problemas propostos. Além disso, os resultados indicam que as metodologias propostas são promissoras em tentar responder matematicamente em acordo com a percepção humana, conforme pretende a área de estética computacional, além de permitir gerar insights para pesquisas estéticas quando as features visuais são interpretáveis.