logo

"Wissenschaftliches Verständnis und Entwicklung bildbasierter Technologien zur Erkennung und Übersetzung kontinuierlicher Gebärdensprache"

Zusammenfassung

In gehörlosen Kulturgemeinschaften ist Gebärdensprache das natürliche Kommunikationsmittel. Obwohl die Gebärdensprache uneingeschränkte Kommunikation zwischen Gehörlosen, Schwerhörigen und Hörenden erlaubt, ist es für Gehörlose eine ernsthafte Herausforderung, sich in Bildungs-, Sozial- und Arbeitsumgebungen zu integrieren, da eine große Mehrheit der Europäer nicht gebärden kann. Das Hauptziel von SignSpeak ist es, eine neue bildunterstützte Technologie zu entwickeln, welche Gebärdensprache in Text und umgekehrt übersetzt, um Gehörlosen neue e-Services anbieten zu können und ihre Kommunikation mit Hörenden zu verbessern. Zudem besteht die Möglichkeit, SignSpeak mit anderen Technologien zu verbinden, wie im folgenden Bild gezeigt wird:

Zu Beginn des Projekts wird eine neue wissenschaftliche Studie durchgeführt mit dem Ziel das linguistische Wissen über Gebärdensprachen zu erweitern. Dieses neue Wissen über die grundsätzliche Struktur von Gebärdensprachen ist aus Sicht der maschinellen Erkennung und Übersetzung entscheidend für eine Weiterentwicklung von Technologien zur Übersetzung von Gebärdensprache zu Text. Ein Durchbruch im Verständnis der Struktur von Gebärdensprachen wird gleichfolgend einen Durchbruch in der Entwicklung von bild- und video-basierter Erkennung und Übersetzung von kontinuierlicher Gebärdensprache ermöglichen.

Das SignSpeak-System wird sowohl die dominante als auch die nicht-dominante Hand, Gesichtszüge und Köperhaltung erfassen. Zusätzlich wird das SignSpeak-System vorhergehende und nachfolgende Gebärden mit einbeziehen - mit anderen Worten: der Kontext, in welchem eine Gebärde entsteht, wird berücksichtigt.

Darüberhinaus wird die SignSpeak Technologie, dank der Methoden, welche für die Bildanalyse und Gebärdenerkennung implementiert werden, sowohl vom Gebärdenden selbst als auch von der räumlichen Umgebung, in der gebärdet wird, unabhängig sein. Ein konzeptueller Entwurf der Arbeit, die für dieses Projekt geplant ist, wird im Folgenden gezeigt:

SignSpeak vereint neuartige wissenschaftliche Theorien mit bildbasierter Technologie und umfasst sowohl linguistische Forschung, Bildanalyse, automatische Spracherkennung und statistisch-maschinelle Übersetzung. SignSpeak wird ein erster Schritt auf dem Weg sein, die Erkennung und Übersetzung von Gebärdensprache auf das Level der Technologien für gesprochene Sprachen zu bringen.

Die Ergebnisse von SignSpeak gehen über die Anwendung für Gebärdensprachen hinaus: die Resultate können auch in der Industrie dazu benutzt werden, um Mensch-Maschine-Kommunikation durch Gestik, automatische Erkennung von Objekten oder Körperteilen und Tracking in Videostreams zu verbessern.

Copyright 2011 © SIGNSPEAK CONSORTIUM. All rights reserved.