Inteligencia artificial (IA) en la traducción de algunas expresiones corporales de la lengua de Señas Colombiana en la atención médica a pacientes

Abstract

La historia ha demostrado, como la ingeniería de sistemas trabaja a diario en la resolución de problemas, y como la rama de Inteligencia Artificial en las últimas décadas ha evolucionado permitiendo mejorar la vida de las personas; esta investigación pretende dar un aporte en la traducción de expresiones de la Lengua de Señas Colombiana. Inicialmente se verifica la necesidad de disminuir la brecha comunicacional de los médicos con personas con discapacidad auditiva, así como se sondean las expresiones más usadas en el ambiente de una consulta médica. Al mismo tiempo, se establecen las aplicaciones que otros investigadores han desarrollado en esta línea, apoyándose en medios como GitHub YouTube y Google Académico, entre otros. Posteriormente se selecciona un modelo de red neuronal recurrente, que se apoya en bibliotecas nativas de Python como Tensor Flow, Open Pose, Cv2, Matplotlib y Media Pipe con lo que se adecua un desarrollo propio que permite clasificar algunas expresiones de la Lengua de Señas Colombiana, red neuronal artificial que arrojó una precisión aceptable y un error bajo, cuya medida hizo uso de la biblioteca Tensor Board.

De esta forma, se logra alcanzar el objetivo general de entrenar un modelo de Redes Neuronales, que realice la traducción de la Lengua de Señas Colombiana a texto, enfocado en mejorar la comunicación de los estudiantes de medicina de la universidad de Boyacá y sus pacientes con discapacidad auditiva.

La metodología utilizada en este proyecto fue de tipo aplicada, ya que se hace énfasis en la solución de un problema. soportado en un enfoque mixto, ya que tiene resultados cualitativos, ya que se describe el funcionamiento de la aplicación y, así mismo, cuantitativos por que se estiman la precisión del reconocimiento de las señas y el error del modelo, representados en graficas donde se puede observar que alcanza el nivel más alto de precisión.

En el desarrollo de este proyecto se ha notado falta de información y su difusión con respecto a Lengua de Señas Colombiana (LSC), a pesar de los esfuerzos gubernamentales y de entidades como el Instituto Nacional para Sordos, así mismo, no se evidencian muchos aportes tecnológicos en la traducción de diferentes lenguas de señas, y específicamente en la traducción de la Lengua de Señas Colombiana. Con el desarrollo que se presenta en este trabajo, se ha evidenciado que la Red Neuronal Recurrente LSTM tiene una gran precisión, gracias a que permite procesar grandes cantidades de datos en la detección y seguimiento de acciones por medio de video. Finalmente, es importante que los investigadores continúen trabajando en el área de la Lengua de Señas Colombiana, explorando técnicas de Inteligencia Artificial para conseguir modelos que sean más flexibles y que generen menos carga de trabajo, contribuyendo a los procesos de inclusión en nuestro entorno.

History has shown how systems engineering works daily in the resolution of problems, and how the branch of Artificial Intelligence in the last decades has evolved allowing to improve people's lives; this research intends to give a contribution in the translation of expressions of the Colombian Sign Language. Initially, the need to reduce the communication gap between doctors and hearing-impaired people is verified, as well as the most used expressions in a medical office environment are surveyed. At the same time, the applications that other researchers have developed in this line are established, relying on media such as GitHub YouTube and Google Scholar, among others. Subsequently, a recurrent neural network model is selected, which is supported by native Python libraries such as Tensor Flow, Open Pose, Cv2, Matplotlib and Media Pipe, with which an own development is adapted to classify some expressions of the Colombian Sign Language, artificial neural network that yielded an acceptable accuracy and a low error, whose measurement made use of the Tensor Board library. In this way, the general objective of training a Neural Network model, which performs the translation of Colombian Sign Language to text, focused on improving the communication of medical students of the University of Boyacá and their patients with hearing impairment, is achieved. The methodology used in this project was of applied type, since it emphasizes the solution of a problem, supported in a mixed approach, since it has qualitative results, since it describes the operation of the application and, likewise, quantitative because it estimates the accuracy of sign recognition and the error of the model, represented in graphs where it can be observed that it reaches the highest level of accuracy. In the development of this project, it has been noticed the lack of information and its diffusion with respect to Colombian Sign Language (CSL), in spite of the governmental efforts and entities such as the National Institute for the Deaf, likewise, there are not many technological contributions in the translation of different sign languages, and specifically in the translation of Colombian Sign Language. With the development presented in this work, it has been evidenced that the Recurrent Neural Network LSTM has a great precision, thanks to the fact that it allows processing large amounts of data in the detection and tracking of actions by means of video. Finally, it is important that researchers continue working in the area of Colombian Sign Language, exploring Artificial Intelligence techniques to achieve models that are more flexible and generate less workload, contributing to the processes of inclusion in our environment.