Desenvolvimento de uma abordagem para reconhecimento contínuo da Língua Brasileira de Sinais utilizando imagens dinâmicas e técnicas de aprendizagem profunda.
No Thumbnail Available
Date
2020
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Durante os últimos anos, têm sido desenvolvidas diversas abordagens
para o reconhecimento contínuo de línguas de sinais para melhorar a qualidade de vida das pessoas surdas e diminuir a barreira de
comunicação entre elas e a sociedade. Analogamente, a incorporação do dispositivo Microsoft Kinect gerou uma revolução na área
de visão computacional, fornecendo novas informações multimodais
(dados RGB-D e do esqueleto) que podem ser utilizadas para gerar ou
aprender novos descritores robustos e melhorar as taxas de reconhecimento em diversos problemas. Assim, nessa pesquisa de doutorado, apresenta-se uma metodologia para o reconhecimento de sinais contínuos da Língua Brasileira de Sinais (LIBRAS) utilizando como dados de entrada de um sinal as informações fornecidas pelo dispositivo Kinect. Diferentemente dos outros trabalhos na literatura, que utilizam
arquiteturas de redes mais complexas (como as 3DCNN e BLSTM), o
método proposto utiliza janelas deslizantes para procurar segmentos
candidatos de serem sinais dentro de um fluxo continuo de video.
Do mesmo modo, propõe-se o uso de imagens dinâmicas para codificar as informações espaço-temporais fornecidas pelo Kinect. Assim, pode-se reduzir a complexidade da arquitetura CNN proposta para o
reconhecimento dos sinais.
Finalmente, baseado no conceito de pares mínimos, um novo banco
de dados da Língua Brasileira de Sinais chamado LIBRAS-UFOP é
proposto. A base LIBRAS-UFOP possui tanto sinais isolados (56 classes de sinais) como sinais contínuos (37 classes); nós avaliamos nosso
método usando essa base e o comparamos com os métodos propostos
na literatura. Os resultados experimentais nos datasets LIBRAS-UFOP
e LSA64 demostraram a validade do método proposto baseado em
imagens dinâmicas como uma alternativa para o reconhecimento de
língua de sinais.
Description
Programa de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto.
Keywords
Aprendizado profundo, Transferência de aprendizagem, Língua de sinais
Citation
ESCOBEDO CÁRDENAS, Edwin Jonathan. Desenvolvimento de uma abordagem para reconhecimento contínuo da Língua Brasileira de Sinais utilizando imagens dinâmicas e técnicas de aprendizagem profunda. 2020. 146 f. Tese (Doutorado em Ciência da Computação) - Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto, Ouro Preto, 2019.