StorySign app helpt dove kinderen leren lezen

Dove kinderen leren vaak veel later lezen dan hun horende leeftijdsgenootjes. Dit komt doordat zij de klanken niet aan geschreven woorden kunnen koppelen. Huawei introduceert vandaag de eerste app die tekst omzet in gebarentaal en helpt zo dove kinderen met leren lezen. De app, StorySign, is nu ontwikkeld voor het bekende kinderboek ‘Waar is Dribbel?’

Wereldwijd zijn er 32 miljoen dove kinderen die meer moeite hebben met leren lezen. Hierdoor lopen zij vaak al op vroege leeftijd een taalachterstand op. “Wij willen de wereld van boeken toegankelijker maken voor dove kinderen”, zegt Andrew Garrihy, CMO van Huawei West-Europa, “zodat zij, samen met hun ouders, gebarentaal ontwikkelen en leesvaardigheid ontwikkelen.”

Samen leren lezen
StorySign helpt ouders om samen met hun dove kinderen een warm en vertrouwd voorleesmoment te hebben. De app gebruikt AI om tekst te vertalen naar gebarentaal, waardoor dove en slechthorende kinderen, net als hun leeftijdsgenoten, leren lezen terwijl ze naar de woorden in kinderboekjes kijken. Volgens FODOK, Federatie voor Ouders van Dove Kinderen, is het erg belangrijk dat er meer aandacht komt voor leesbevordering. “Voorleeskilometers maken met dove en slechthorende kinderen zorgt voor leesplezier. En voorlezen vergroot hun greep op de wereld. Ze worden er sterker van”, zegt Mariën Hannink van FODOK.

Animatie met gebarentaal
In StorySign, vertaalt de vriendelijke avatar Star, in gebarentaal, het kinderboek ‘Waar is Dribbel?’. “We hebben de exacte gezichtsuitdrukkingen van gebarentolken gekopieerd om Star tot leven te brengen”, vertelt Neil Pymer, creative director bij Aardman Animations, verantwoordelijk voor de animatie van Star. “Een klus die heel nauw luistert, want we hebben het ontwikkeld voor tien talen en elke taal is anders. Mimiek is zeer belangrijk omdat het 70% van de gebarentaal bepaalt. Elke knik of glimlach doet er toe.”

Doneren
Er is met veel partners gewerkt aan de ontwikkeling van de app, de animaties en de vertaling. Voor het doorontwikkelen van de app en om aandacht te vragen voor het probleem is Huawei vandaag een grote campagne begonnen. Iedereen kan doneren via www.storysign.com. Donaties komen ten goede aan FODOK en worden besteed aan projecten om dove kinderen te helpen met hun taalontwikkeling, zoals nieuwe boekjes voor StorySign. “Wij hopen van harte dat mensen doneren en zo een steentje willen bijdragen aan onze inspanningen om dove kinderen te helpen met leesbevordering”, aldus Mariën Hannink van FODOK.

Kunstmatige intelligentie
StorySign maakt gebruik van de AI (kunstmatige intelligentie) van Huawei. Huawei gelooft dat technologie, en kunstmatige intelligentie in het bijzonder, echt kan bijdragen aan maatschappelijke problemen. StorySign is daar een mooi voorbeeld van.

Voor een optimale leeservaring maakt de app gebruik van Image Recognition en Optical Character Recognition (OCR). De AI in Huawei smartphones zorgt ervoor dat de hoek waarin de smartphone boven de tekst gehouden wordt geen invloed heeft op de gebruikservaring. Kinderen zullen namelijk in de praktijk hun telefoon niet altijd recht boven de tekst houden. OCR zorgt ervoor dat de app nog nauwkeuriger werkt. Om de app voor zoveel mogelijk mensen beschikbaar te maken werkt deze ook op andere Android smartphones. StorySign is erop gebouwd om in de toekomst meer boeken te kunnen toevoegen en zo veel mogelijk ouders en kinderen er gebruik van te kunnen laten maken.

Hoe de app werkt
De app werkt als volgt. Ouders kunnen hun kind voorlezen met de StorySign app door de app te openen en met hun smartphone de woorden te scannen. De avatar Star verschijnt en vertaalt de tekst naar gebarentaal. Hierbij worden de woorden uitgelicht die Star aan het gebaren is, in de volgorde van gebarentaal. Zo leren de kinderen de betekenis kennen van de woorden.

StorySign is vanaf vandaag te downloaden via de Google Play Store en via de HUAWEI App gallery, in 10 talen. Naast Nederlands zijn dat Belgisch, Duits, Engels, Iers, Frans, Spaans, Italiaans, Zwitsers en Portugees.

Video
Chris Overton, die een Oscar won voor de film The Silent Child, regisseerde een korte video over StorySign: