Prototipo de avatar traductor de voz y texto a lengua de señas colombiana para el manejo de situaciones de emergencias

Abstract

El presente documento desarrolla un proyecto cuyo objetivo específico es identificar y aplicar técnicas avanzadas de procesamiento de lenguaje natural (NLP) para traducir texto y voz en español a la glosa de la lengua de señas colombiana (LSC). Además, se exploran y seleccionan tecnologías de programación para la implementación de un avatar que represente visualmente la LSC en situaciones de emergencia.

El objetivo general del trabajo es diseñar y desarrollar un prototipo de avatar intérprete que facilite la comunicación entre personas oyentes y no oyentes durante emergencias, mejorando así la inclusión y accesibilidad para personas con discapacidad auditiva.

La metodología utilizada incluye una investigación preliminar sobre NLP y técnicas de traducción a lenguas de señas, la recopilación y preparación de un corpus de datos en español y LSC, el desarrollo de un modelo de aprendizaje automático basado en redes neuronales recurrentes, y la implementación y evaluación de un avatar 3D usando herramientas como Daz Studio 3D y Blender.

Como conclusión general, el proyecto demuestra la viabilidad de utilizar tecnologías avanzadas para desarrollar herramientas que promuevan la inclusión de la comunidad sorda en situaciones críticas. Se recomienda continuar mejorando el prototipo y explorar nuevas tecnologías como los Transformers para mejorar la precisión de la traducción. (tomado del texto)

This document presents the development of a project with the specific objective of identifying and applying advanced natural language processing (NLP) techniques to translate text and voice in Spanish into the gloss of Colombian Sign Language (LSC). Additionally, programming technologies are explored and selected for implementing an avatar that visually represents LSC in emergency situations.

The general objective of the work is to design and develop a prototype interpreter avatar that facilitates communication between hearing and non-hearing individuals during emergencies, thereby improving inclusion and accessibility for people with hearing disabilities.

The methodology includes preliminary research on NLP and sign language translation techniques, the collection and preparation of a data corpus in Spanish and LSC, the development of a machine learning model based on recurrent neural networks, and the implementation and evaluation of a 3D avatar using tools such as Daz Studio 3D and Blender.

As a general conclusion, the project demonstrates the feasibility of using advanced technologies to develop tools that promote the inclusion of the deaf community in critical situations. It is recommended to continue improving the prototype and explore new technologies such as Transformers to enhance translation accuracy. (tomado del texto)