logo

"Estudio Científico y Desarrollo de una nueva Tecnología basada en Visión Artificial para el Reconocimiento Automático y Traducción Continua del Lenguaje de Signos"

Resumen General

La vida de las personas sordas gira alrededor del lenguaje de signos ya que éste es su medio natural de comunicación. Aunque entre ellos no tienen ningún problema a la hora de comunicarse, la comunidad sorda tiene serias dificultades a la hora de integrarse en la sociedad (sistema educativo, laboral y social), ya que la gran mayoría de personas desconocen el lenguaje de signos. El objetivo general del proyecto SignSpeak es desarrollar una nueva tecnología basada en visión artificial para traducir de forma continua el lenguaje de signos a texto, con el fin de proporcionar nuevos servicios a las personas sordas y mejorar de esta manera su comunicación con el resto de la sociedad, y viceversa. SignSpeak podrá ser integrada con otras tecnologías tal y como se muestra en el siguiente esquema:

Para lograr estos objetivos, al principio del proyecto se llevará a cabo un nuevo estudio científico con el fin de incrementar el conocimiento lingüístico del lenguaje de signos; este nuevo conocimiento sobre la naturaleza y estructura de estos idiomas es fundamental para poder desarrollar esta nueva tecnología. SignSpeak extraerá información tanto de la mano dominante como de la no-dominante, así como de la expresión facial, de la postura del cuerpo y cabeza, teniendo en cuenta los signos realizados anterior y posteriormente, o en otras palabras, teniendo en consideración el contexto en el cual el signo se ha realizado.

Además, gracias a las técnicas empleadas en la extracción de características (visión artificial) y en el reconocimiento de los signos, SignSpeak funcionará correctamente con cualquier signante en una gran variedad de condiciones ambientales (no se controlará la vestimenta de las personas signantes, ni la luz ni colores de fondo; no se usarán marcas): “signer and ambient-independent”. A continuación se presenta un esquema conceptual sobre el principio de funcionamiento de SigSpeak

SignSpeak combina novedosos estudios científicos con desarrollos tecnológicos, integrando dentro de un mismo entorno de trabajo tanto lingüistas como investigadores con larga experiencia en visión artificial, reconocimiento automática del habla y traducción automática por técnicas estadísticas. SignSpeak será el primer paso para acercar el reconocimiento y traducción del lenguaje de signos a los niveles ya obtenidos en otras tecnologías similares, como en la traducción de texto-a-voz y de voz-a-texto.


El impacto potencial de SignSpeak no se restringe únicamente a su aplicación dentro del lenguaje de signos, ya que sus resultados tienen también una aplicación importante en la industria, como para la mejora de la comunicación hombre-máquina a través de gestos, o para hacer un reconocimiento y seguimiento de objetos y partes del cuerpo en secuencias de video.

Copyright 2011 © SIGNSPEAK CONSORTIUM. All rights reserved.