Compartilhe o registro |
|
Use este identificador para citar ou linkar para este item:
https://tede2.pucrs.br/tede2/handle/tede/10026
Tipo do documento: | Dissertação |
Título: | A light implementation of a 3d convolutional neural network for online gesture classification |
Autor: | Baldissera, Fábio Brandolt |
Primeiro orientador: | Vargas, Fabian Luis |
Resumo: | With the advancement of machine learning techniques and the increased accessibility to computing power, Artificial Neural Networks (ANNs) have achieved state-of-the-art results in image classification and, most recently, in video classification. The possibility of gesture recognition from a video source enables a more natural non-contact human-machine interaction, immersion when interacting in virtual reality environments and can even lead to sign language translation in the near future. However, the techniques utilized in video classification are usually computationally expensive, being prohibitive to conventional hardware. This work aims to study and analyze the applicability of continuous online gesture recognition techniques for embedded systems. This goal is achieved by proposing a new model based on 2D and 3D CNNs able to perform online gesture recognition, i.e. yielding a label while the video frames are still being processed, in a predictive manner, before having access to future frames of the video. This technique is of paramount interest to applications in which the video is being acquired concomitantly to the classification process and the issuing of the labels has a strict deadline. The proposed model was tested against three representative gesture datasets found in the literature. The obtained results suggest the proposed technique improves the state-of-the-art by yielding a quick gesture recognition process while presenting a high accuracy, which is fundamental for the applicability of embedded systems. |
Abstract: | Com os avanços de técnicas de aprendizado de máquinas e o aumento da capacidade computacional disponível, redes neurais artificiais (ANNs) representam o estado-da-arte na tarefa de classificação de imagem, e mais recentemente na classificação de vídeos. A possibilidade do reconhecimento de gestos através de imagens de vídeo permite uma interface homem-máquina mais natural, maior imersão ao interagir com equipamentos de realidade virtual e pode até nos levar, em um futuro breve, à transcrição automática de linguagem de sinais. No entanto, as técnicas utilizadas para classificação de vídeo possuem um alto custo computacional, se tornando proibitivas para o uso em hardware mais simples. Esta dissertação busca estudar e analisar a aplicabilidade de técnicas de classificação de gestos contínua para sistemas embarcados. Este objetivo é atingido através da proposição de um modelo de rede neural baseado em redes de convolução 2D e 3D, capaz de realizar reconhecimento de gestos de forma online, isto é, gerando uma predição de classe para o vídeo concomitantemente com a obtenção dos quadros são obtidos, de uma forma preditiva, sem ter acesso a todos os quadros do vídeo. O modelo proposto foi testado em três diferentes bancos de dados de gestos presentes na literatura. Os resultados obtidos expandem o estado-da-arte por apresentar uma técnica de leve implementação que ainda apresenta uma acurácia alta suficiente para a aplicação em sistemas embarcados. |
Palavras-chave: | Gesture Recognition Online Classification DCNN Reconhecimento de Gestos Classificação Online 3DCNN |
Área(s) do CNPq: | ENGENHARIAS |
Idioma: | eng |
País: | Brasil |
Instituição: | Pontifícia Universidade Católica do Rio Grande do Sul |
Sigla da instituição: | PUCRS |
Departamento: | Escola Politécnica |
Programa: | Programa de Pós-Graduação em Engenharia Elétrica |
Tipo de acesso: | Acesso Aberto |
Restrição de acesso: | Trabalho não apresenta restrição para publicação |
URI: | http://tede2.pucrs.br/tede2/handle/tede/10026 |
Data de defesa: | 31-Out-2019 |
Aparece nas coleções: | Programa de Pós-Graduação em Engenharia Elétrica |
Arquivos associados a este item:
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
FÁBIO_BRANDOLT_BALDISSERA_DIS.pdf | FABIO_BRANDOLT_BALDISSERA_DIS | 9,7 MB | Adobe PDF | Baixar/Abrir Pré-Visualizar |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.