logo

"Wetenschappelijk begrip en vision-gebaseerde technologische ontwikkeling van continue gebarentaalherkenning en vertaling"

Algemene samenvatting

In dovengemeenschappen wordt gebarentaal veel gebruikt omdat dove mensen op een natuurlijke manier in gebarentaal kunnen communiceren. Hoewel dove, slechthorende en horende gebaarders onderling zonder belemmeringen kunnen communiceren is het een serieuze uitdaging voor de dovengemeenschap om in onderwijsinstellingen en sociale en werkomgevingen te integreren, vanwege het feit dat de meerderheid van de Europeanen geen gebarentaal beheersen. Het algemene doel van SignSpeak is om een nieuwe vision-based technologie te ontwikkelen voor het vertalen van continue gebarentaal naar tekst, om zodoende nieuwe online diensten te kunnen leveren aan de dovengemeenschap en om de communicatie met horenden te verbeteren. SignSpeak zou kunnen worden geïntegreerd met andere technologiëen zoals in het volgende plaatje wordt getoond:

Om dit doel binnen SignSpeak te bereiken zal een nieuw wetenschappelijk onderzoek worden uitgevoerd om het taalkundige begrip van gebarentalen te verbeteren. Deze kennis over de aard van gebarentaalstructuren vanuit het perspectief van computerherkenning van continue gebarentaal is cruciaal voor een verdere ontwikkeling van gebarentaal-naar-tekst technologieën. Ontwikkelingen in het begrijpen van gebarentalen zouden kunnen leiden tot een doorbraak in de ontwikkeling van nieuwe vision-gebaseerde technologie voor continue gebarentaalherkenning en vertaling naar tekst. Het SignSpeak-systeem zal de dominante en de niet-dominante hand volgen, evenals gezichtsexpressie en lichaamshouding, waarbij rekening wordt gehouden met de gebaren die daarvoor zijn gemaakt en de gebaren die er op volgen. Met andere woorden, er wordt rekening gehouden met de context waarin een gebaar wordt gerealiseerd.

Aanvullend, met dank aan de techniek die is ontwikkeld voor zogenaamde feauture extraction (ofwel het oppikken van bepaalde kenmerken, ook wel wel ‘image analysis’ of ‘beeldanalyse’ genoemd) en gebaarherkenning, zal de SignSpeak-technologie zowel gebaarder- als omgevingsonafhankelijk worden.

Het schema van het geplande werk ziet er als volgt uit:

Kortom, SignSpeak combineert innovatieve wetenschappelijke theorie en vision-gebaseerde technologische ontwikkelingen door binnen een gezamenlijk framework vernieuwend taalkundig onderzoek te doen en daarnaast de meest geavanceerde technieken in image analysis, automatische spraakherkenning (ASR) en statistische computervertaling (SMT) te verzamelen en te gebruiken. SignSpeak zal de eerste stap vormen om gebaarherkenning en -vertaling op een niveau te krijgen zoals al beschikbaar is in vergelijkbare technologieën voor vertalingen van tekst-naar-spraak en spraak-naar-text.

De impact van SignSpeak is echter veel breder dan alleen de toepassing in gebarentalen, omdat de resultaten kunnen worden ingezet bij belangrijke toepassingen in de industrie. Denk bijvoorbeeld aan het verbeteren van mens-machine communicatie waarbij gestures worden gebruikt, aan automatische objectherkenning, en de herkenning van lichaamsdelen en het ‘tracken’ in de video-stromen.

Copyright 2011 © SIGNSPEAK CONSORTIUM. All rights reserved.