Efficient and multilingual text-to image synthesis : exploring novel architectures and cross-language Sstrategies

Abstract

A síntese de texto para imagem é a tarefa de gerar imagens a partir de descrições textuais. Dada uma descrição textual, um algoritmo de síntese de imagens a partir de texto pode gerar várias imagens inéditas que contenham os detalhes descritos no texto. Estes algoritmos são atrativos para várias tarefas do mundo real. Com tais algoritmos, seria possível utilizar máquinas para criar imagens totalmente inéditas para geração de conteúdo ou para realizar desenhos assistidos, por exemplo. A estrutura geral das abordagens para síntese de imagens a partir de texto pode ser dividida em duas partes principais: i) um codificador de texto e ii) um modelo gerador para imagens, que aprende uma distribuição condicional sobre o texto codificado. Atualmente, as abordagens de síntese de imagens a partir de texto utilizam várias redes neurais para superar os desafios de aprender um modelo gerador sobre as imagens, aumentando a complexidade geral da abordagem, bem como a computação necessária para gerar imagens de alta resolução. Até o momento, nenhum trabalho explorou modelos que suportem múltiplos idiomas no contexto da geração de imagens a partir de texto, limitando as abordagens atuais a suportarem apenas o inglês. Esta limitação apresenta uma desvantagem significativa, pois restringe o acesso à tecnologia apenas para usuários familiarizados com a língua inglesa, deixando de fora um número substancial de pessoas que poderiam se beneficiar. Nesta tese, realizamos as seguintes contribuições para abordar cada uma das lacunas mencionadas anteriormente. Primeiramente, propomos uma nova abordagem de síntese de imagem a partir de texto, de ponta a ponta, que utiliza apenas uma rede neural para o modelo gerador de imagens, reduzindo a complexidade e a computação necessária. Em segundo lugar, propomos uma nova função de custo, que aprimora o treinamento e produz modelos mais precisos. Por fim, estudamos como os codificadores de texto afetam o desempenho geral da geração de imagens a partir de texto e propomos uma nova abordagem de múltiplas linaguagens para ampliar os modelos e suportar múltiplos idiomas simultaneamente.