logo

"Compréhension scientifique et développement technologique basé sur la vision artificielle pour la reconnaissance et la traduction du langage des signes continu"

Résumé Global

Les communautés de sourds sont axées sur les langages des signes car ceux-ci représentent leur moyen naturel de communication. Bien que les signeurs sourds, malentendants ou entendants puissent communiquer entre eux sans limites, l'intégration dans les environnements éducatif, social et professionnel est un sérieux défi pour la communauté des sourds, dans la mesure où la grande majorité des Européens n'ont pas de connaissances dans les langages des signes. Le but global de SignSpeak est de développer une nouvelle technologie basée sur la vision artificielle pour traduire en texte le langage des signes continu, afin de fournir de nouveaux e-Services à la communauté des sourds et améliorer leur communication avec les personnes entendantes, et inversement. SignSpeak pourrait être intégré avec d'autres technologies comme le montre la figure suivante:

A cette fin, une nouvelle étude scientifique sera menée au commencement du projet pour augmenter la compréhension linguistique des langages des signes; ces nouvelles connaissances sur la nature de la structure du langage des signes du point de vue de la reconnaissance automatique du langage des signes continu sont cruciales pour un développement futur des technologies langage-des-signes-vers-texte. L'avancée dans la compréhension du langage des signes permettra une avancée ultérieure dans le développement d'une nouvelle technologie basée sur la vision artificielle pour la reconnaissance et la traduction en texte du langage des signes continu. Le système SignSpeak suivra les mains dominante et non dominante, ainsi que les expressions du visage et la position du corps, prenant en compte les signes exécutés auparavant et ensuite ou, en d'autres termes, prenant en compte le contexte dans lequel un signe a été réalisé.

De plus, grâce aux techniques implémentées pour l'extraction de caractères (analyse d'images) et la reconnaissance de signes, la technologie SignSpeak sera indépendante du signeur et des conditions ambiantes. Un schéma conceptuel du travail prévu dans le projet est présenté ci-dessous:

Par conséquent, SignSpeak combine la théorie scientifique innovante et le développement de la technologie basée sur la vision artificielle en rassemblant dans un cadre commun la recherche linguistique originale et les techniques les plus avancées en analyse d'images, en reconnaissance automatique de la parole (RAP), et en traduction automatique statistique (TAS). SignSpeak sera le premier pas permettant d'approcher la reconnaissance et la traduction du langage des signes aux niveaux déjà atteints dans des technologies similaires, telles traduire du texte à la parole et de la parole au texte.

Mais l'impact des résultats de SignSpeak est bien plus large que l'unique application aux langages des signes, parce que les résultats ont aussi d'importantes applications dans l'industrie pour améliorer la communication homme-machine par la gestuelle, et pour une reconnaissance et un suivi automatiques d'objets et de parties du corps dans les flux vidéo.

Copyright 2011 © SIGNSPEAK CONSORTIUM. All rights reserved.