Fully-disentangled text-to-image synthesis

Abstract

Algoritmos de generalização sofrem vários problemas. Comumente, os algoritmos de aprendizado profundo tendem a se ajustar a uma quantidade limitada de dados, gerando resultados insatisfatórios para dados não vistos. No caso de modelos geradores profundos, esse problema se manifesta de forma diferente. O modelo tende a ignorar nuances da distribuição real e colapsar em atributos mais comuns. Embora em algum grau, esse seja um comportamento desejado, isso pode levar o algoritmo a gerar imagens com diversidade muito reduzida, não explorando todos os atributos fornecidos pela distribuição real. Redes generativas profundas (por exemplo, GANs) não têm custo explícito para incentivar a diversidade durante o treinamento. Além disso, as GANs foram inicialmente projetadas para gerar amostras aleatórias sem controle do usuário. Propomos um método baseado em desentrelaçamento para resolver ambos os problemas de uma só vez para algoritmos de síntese de imagem a partir de texto. Primeiro, forçamos o desentrelaçamento de conceitos não descritos por descrições textuais (por exemplo, o segundo plano). Então, usamos as representações desentrelaçadas para fornecer combinações aleatórias para o gerador. Isso orienta o gerador para um mapeamento mais completo, gerando um aumento na diversidadea partir da mesma quantidade de dados. Com representações desentrelaçadas, o framework também ganha controle sobre a geração para cada conceito. Realizamos vários experimentos e estudos de ablação para validar nossas contribuições em um conjunto de dados de um único objeto. Os resultados mostram melhorias para ambos os objetivos e nenhum efeito colateral para os frameworks tradicionais. Nossa abordagem pode ser facilmente usada em outros frameworks para aumentar o controle, a diversidade e o realismo.