Compartilhe o registro |
|
Use este identificador para citar ou linkar para este item:
https://tede2.pucrs.br/tede2/handle/tede/10433
Tipo do documento: | Dissertação |
Título: | Mitigating bias in facial analysis systems by incorporating label diversity |
Autor: | Reis, Camila Kolling dos |
Primeiro orientador: | Musse, Soraia Raupp |
Primeiro coorientador: | Veloso, Adriano Alonso |
Resumo: | Facial analysis models are increasingly applied in real-world applications that have significant impact on peoples’ lives. However, as previously shown, models that automatically classify facial attributes might exhibit algorithmic discrimination behavior with respect to protected groups, potentially posing negative impacts on individuals and society. It is therefore critical to develop techniques that can mitigate unintended biases in facial classifiers. Hence, in this work, we introduce a novel learning method that combines both subjective human-based labels and objective annotations based on mathematical definitions of facial traits. Specifically, our proposed method first generates new objective annotations, each capturing a different mathematical perspective of the analyzed facial traits. We then use an ensemble learning method, which combines individual models trained on different types of annotations. We provide an in-depth analysis of the annotation procedure as well as the datasets distribution. Moreover, we empirically demonstrate that, by incorporating label diversity to the decision-making process, our method successfully mitigates unintended biases, while maintaining significant accuracy on the downstream tasks. |
Abstract: | Modelos de análise facial são cada vez mais utilizados em aplicações do mundo real que têm impacto significativo na vida das pessoas. No entanto, como demonstrado pela literatura, os modelos que classificam automaticamente os atributos faciais podem apresentar comportamento de discriminação em relação a grupos protegidos, potencialmente causando impactos negativos nos indivíduos e na sociedade. Portanto, é fundamental desenvolver técnicas que possam mitigar vieses não intencionais em classificadores faciais. Assim, neste trabalho, apresentamos um novo método de aprendizado de máquina que combina rótulos subjetivos, baseados em humanos, e anotações objetivas, baseadas em definições matemáticas, de traços faciais. Especificamente, geramos novas anotações objetivas a partir de dois conjuntos de dados anotados por humanos em grande escala, cada um capturando uma perspectiva diferente do traço facial analisado. Em seguida, propomos um método de aprendizado em conjunto, que combina modelos individuais treinados em diferentes tipos de anotações. Fornecemos uma análise aprofundada do procedimento de anotação, bem como a distribuição dos conjuntos de dados. Além disso, demonstramos empiricamente que, ao incorporar a diversidade de rótulos, nosso método mitiga com sucesso vieses não intencionais, mantendo uma precisão significativa nas tarefas. |
Palavras-chave: | Deep Learning Facial Analysis Neural Networks Fairness Aprendizado Profundo Análise Facial Redes Neurais Justiça |
Área(s) do CNPq: | CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
Idioma: | eng |
País: | Brasil |
Instituição: | Pontifícia Universidade Católica do Rio Grande do Sul |
Sigla da instituição: | PUCRS |
Departamento: | Escola Politécnica |
Programa: | Programa de Pós-Graduação em Ciência da Computação |
Tipo de acesso: | Acesso Aberto |
Restrição de acesso: | Trabalho não apresenta restrição para publicação |
URI: | https://tede2.pucrs.br/tede2/handle/tede/10433 |
Data de defesa: | 4-Ago-2022 |
Aparece nas coleções: | Programa de Pós-Graduação em Ciência da Computação |
Arquivos associados a este item:
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
CAMILA_KOLLING_DOS_REIS_DIS.pdf | CAMILA_KOLLING_DOS_REIS_DIS | 8,72 MB | Adobe PDF | Baixar/Abrir Pré-Visualizar |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.