Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 58 reacties

Een Amerikaan heeft een Kinect getweakt om zijn moeder te helpen met het sturen van simpele berichten via e-mail. De moeder lijdt sinds een beroerte aan afasie en kan daarom geen toetsenbord bedienen om berichten samen te stellen.

Het systeem van de Amerikaan Chad Ruble gebruikt Kinect om een emotie aan te wijzen op een dashboard. Vervolgens kan de moeder de sterkte van de emotie aangeven, waarna een grote groene knop de mail verstuurt. Het project is alleen een begin; iemand anders moet nog het programma starten voordat er een mail gestuurd kan worden. De moeder heeft afasie, een taalstoornis waarbij het deel van de hersenen dat zorgt voor communicatie via woorden minder goed functioneert.

Kinectified gebruikt code uit diverse bronnen om de functionaliteit mogelijk te maken. Ruble maakt gebruik van opensourceprogrammeertaal Processing. Het volgen van de hand gebeurt onder meer met Simple-openni, terwijl er ook code beschikbaar bleek om e-mail te beheren met Processing.

Het systeem is nog lang niet af; Ruble wil onder meer verschillende emoties en andere boodschappen laten invoeren via de interface. Ook moet het nog verder worden ontwikkeld voordat zijn moeder het systeem zonder tussenkomst van een derde kan starten en kan e-mailen.

Interface van project voor moeder met afasie

Moderatie-faq Wijzig weergave

Reacties (58)

Afasie
Wanneer mensen communiceren, gebeurt dit meestal door middel van taal. Praten, het vinden van de juiste woorden, begrijpen, lezen, schrijven en gebaren maken zijn onderdelen van taalgebruik. Wanneer als gevolg van hersenletsel ťťn of meer onderdelen van het taalgebruik niet meer goed functioneren, noemt men dat afasie. De persoon kan de taal niet -goed- meer gebruiken.
Bron: http://nl.wikipedia.org/wiki/Afasie

Ontopic: Erg mooi dat iemand dit voor zijn moeder doet. Hierbij kunnen meerdere mensen geholpen worden!

[Reactie gewijzigd door eXtink op 10 september 2012 10:14]

Goed idee! Maar wat ik me afvraag, kan ze geen muis bedienen?
Voor iemand met afasie is taal vorming al een probleem, de input methode maakt dan niet uit. Door komt nog bij dat toch touch of jesture controle altijd beter werkt dan muis & toetsenbord combo. (intuÔtiever en vereist minder inbeeldend vermogen)

Verder idd goed idee en goede start van uitwerking voor dit soort problemen.
Muizen of typen zal lastig zijn voor haar.
Ze heeft de afasie als gevolg van een beroerte ('stroke' in het filmpje).
In principe is bij afasie bij een beroerte de linker hersenhelft aangedaan, waardoor vaak ook de motorische functie van de rechter lichaamsheft (arm, been, romp) uitgevallen is. Dat zie je ook in het filmpje; ze heeft haar rechter hand in haar schoot liggen en gebruikt hem niet.

Als zij rechtshandig is geweest, zal het gebruik van een muis nu erg lastig zijn. Bovendien moet ze voor het gebruik van een muis achter een bureau zitten en nu kan deze mvr vanuit haar 'luie' stoel een mailtje kan opstellen.

Kortom, een mooie uitvinding die de communicatiemogelijkheden van patienten met een afasie bij een beroerte kan verbeteren!
Super gaaf dat hij dat voor zijn moeder maakt ! _/-\o_
lijkt alsof het voor haar wel mogelijk is om op een groot touch screen met grote letters een echte mail te typen.
Dit dacht ik ook eerst, maar dat is wss niet mogelijk omdat je voor een mail te typen wel woorden moet kunnen vormen. Dit is misschien niet mogelijk met afasie.

Allesziens een hele mooie ontwikkeling!
Klopt. Ik heb een keer vanwege migraine kort last van dysfasie gehad, en het is een vreemde gewaarwording. Je ziet objecten, en je weet wat het is, maar je kan niet, of met ontzettend veel moeite in mijn geval toen, een woord toekennen aan dat object. Je kan dus niet typen omdat je simpelweg niet weet hoe iets heet, alsof je geen een taal spreekt.
Komt me bekend voor. Het is trouwens schrikken als je verbijsterd moet constateren dat je volledig blanco bent tegenover het voorwerp. Alsofje het nooit eerder zag en voor geen miljoen weet wat het is of hoe het heet.
Nou, ik wist dus instinctief wel wat het was -- wat iets doet, waar het voor is -- maar geen idee hoe het heet, wat voor woord erbij hoort, of bij de functie. Maar het is doodeng inderdaad, en ik hoop het ook niet meer mee te maken. Als je dit je hele leven hebt lijkt me dat echt een hel...
Dat heb ik ook wel eens met doodnormale voorwerpen, bijv. een stofzuiger (ik noem maar iets). Dan kan ik niet op die naam komen. Maar naar mijn weten heb ik geen neurologische aandoening...
ik had al bedacht een scherm met een letter erop.
hand omlaag is een letter omlaag voorbeeld van b naar a
omhoog is een letter omhooog van b naar c
naar recht is klikken links is een spatie o.i.d.
ik had al bedacht een scherm met een letter erop.
hand omlaag is een letter omlaag voorbeeld van b naar a
omhoog is een letter omhooog van b naar c
naar recht is klikken links is een spatie o.i.d.
Het probleem bij veel afasiepatiŽnten is, dat de herkenning van woorden of zelfs letters gewoon weg is. Soms lukt het nog, als deze in een bepaald 'verband' worden gepresenteerd, maar verder is het vooral 'gokken' naar letters. Zie het maar als een zeer extreme vorm van dyslectie. Dat maakt het typen van zelfs heel simpele teksten juist zo'n opgave. Mijn vader worstelt er al 15 jaar mee, na een zwaar herseninfarct in 1997. Ik heb dan zo'n beetje elk hulpmiddel al de revue zien passeren dat sindsdien op de markt beschikbaar is gekomen.
Ik meen dat een tijd geleden er ook een tweaker was die een vergelijkbaar iets gedaan had (geen kinect maar gewoon touchscreen windows app voor mensen die bv door een hersenbloeding een vergelijkbaar probleem hebben)

Het punt daar was toen dat naast het niet meer kunnen vormen van woorden, ook de lichamelijke beperkingen zo "groot" waren dat het niet mogelijk was om woorden te typen, het simpel weg te lang duurde om nuttig te zijn.
Iets vergelijkbaars gebruikt Stephen Hawking -- die heeft maar 1 knop die hij kan bedienen, en daarmee schrijft ie complete toespraken. Echter afasie betekent dat je taal niet meer kan gebruiken, niet zozeer dat je geen toetsenbord kan gebruiken -- en dan helpen alternatieve invoersystemen voor taal as such dus niet direct.
misschien niet direct een 'vriendelijke' vergelijking maar een aap-achtige kan ook geen woord spreken. Toch kan die middels icoontjes/symbolen/tekeningen aardig met mensen communiceren.

Verwacht dan ook dat systeem eerder uitgebreid gaat worden met zulke doeleinde in het achterhoofd ipv alfabet te tonen; immers werkt dat niet voor iemand met Afasie, of voor een aap ;-)
misschien niet direct een 'vriendelijke' vergelijking maar een aap-achtige kan ook geen woord spreken. Toch kan die middels icoontjes/symbolen/tekeningen aardig met mensen communiceren.
Mede omdat de aap(achtige) weet wat de iconen betekenen. Maar de afasiepatient kan wel een icoontje van een brood zien en toch niet weten dat het een brood is en brood heet.

Waarbij sommige afasiepatienten een brij aan onduidelijke en onsamenhangende woorden zouden kunnen uiten en daarbij zelf(s) denken dat ze een zinnig verhaal houden.
Heel leuk idee, maar volgens mij kan ze nog prima praten. Dan zou iets as Dragon spraakherkenning toch een heel stuk vlotter werken denk ik
Waar maak je dat uit op? Er wordt juist verteld dat ze lijdt aan afasie, wat per definitie betekent dat het voor haar moeilijk/onmogelijk is om op een goede manier gebruik te maken van taal.

In de video kan ze inderdaad praten, maar wat ze zegt is redelijk beperkt. Ik weet niet of dictation software dus echt een oplossing zou zijn.

[Reactie gewijzigd door Whieee op 10 september 2012 11:59]

Respect voor deze vent en zijn project, ik zie graag dat dit soort technologie voor dit soort doeleinden gebruikt wordt!
Zo zie je maar dat tweaken en dat soort dingen ook iets positiefs kan opleveren. En ook dat een open sourcecode voor goede dingen kan zorgen en out of the box projecten. Maar er wordt vaak te beperkt gedacht en alles dichtgetimmerd omdat men bang is geld te verliezen als het apparaat anders wordt gebruikt...

Niet dat MS ooit op dit idee zou zijn gekomen om de kinect daarvoor in te zetten. Misschien zijn er nog wel meer mooie projecten te bedenken voor gehandicapten om hiermee hun voordeel te doen.
ga anders eens uitzoeken wat MS is en doet.
Ze hebben een license die veel meer OSS gericht is dan de meeste daadwerkelijke OSS licenses.
Ze hebben een compleet OS gecreerd en beschikbaar gesteld aan de OSS community.
Ze hebben meerdere programeer talen volledig vrijgegeven.
http://www.codeplex.com/
http://www.microsoft.com/en-us/openness/default.aspx#home

gekanker op MS ook altijd.
Niet overdrijven. MS is OSS maar beginnen omarmen nadat ze merkten dat hun strategie van OSS negeren niet werkt. Codeplex is gewoon een concurrent van sourceforge, github, launchpad, ... en C# vind je nauwelijk op niet MS systemen.

Het is mooi dat ze inzien dat iets als kinect openlaten veel interessanter is voor hun.
MS mag eigenlijk ook wel eens een compliment kopen dat ze redelijk open zijn over de Kinect.
Ze hadden het ook volledig kunnen dichttimmeren en iedereen die het hackte bedreigen met een proces maar e stellen zich tot nu toe vrij soepel op (ook omdat de verkoop van de kinect er niet zal onder lijden).
[beetje off-topic]
Open of gesloten platform heeft weinig invloed. Het gaat om de kracht van de SDK.

Neem Apple iPhone. Dat heeft een behoorlijk dwingende security-architectuur en houdt zelf eindcontrole over beschikbare apps en wordt daarom als "gesloten" beschouwd.

Maar hun SDK en API's zijn zeer krachtig. Sterker nog, doordat bepaalde dingen vrij strak worden afgedwongen door de API zijn de accessiblity features als VoiceOver ook zeer effectief. Zo is de iPhone ook een behoorlijk populair telefoontje voor visueel gehandicapten.

De les is misschien zelfs wel: het gaat niet zozeer om open of gesloten, maar om goeie standaarden.

[on-topic]
Prachtige ontwikkeling dit, mooi als dit breder toegepast kan worden.

[Reactie gewijzigd door Keypunchie op 10 september 2012 13:30]

Door alles zo open te maken zorgen ze er alleen maar voor dat de verkoop van de Kinect meer kan worden. Zodra mensen het voor meer kunnen gebruiken dan slechts een spelletje spelen in het dagelijks leven willen ze het bedrag er wel voor neer leggen. :)
Daarom koopt niemand iPhones....

Of iets open of gesloten is zal niet heel veel verschil maken in de uiteindelijke verkoopcijfers vermoed ik. De meeste mensen die Kinect kopen doen dat om spelletjes te spelen.
iPhones zijn ook te tweaken.
Je kunt heel interessante dingen met dat spul doen zonder buiten Apple's APIs te komen.

Hoewel ik het met je eens ben dat het direct in de verkoopcijfers niet veel uit zal maken, levert het heel veel positieve aandacht op voor Microsoft. Kinect wordt in veel experimentele dingen toegepast. Zo is er een zorgrobot die gebruik maakt van Kinect om te navigeren door een onbekende ruimte.
Gezien Microsoft wel behoefte heeft aan een wat positiever image, lijkt het me strategisch heel goed dat de Kinect zo vrij aan te spreken is.
Ik voel hier behoorlijk wat (onterechte?) MS haat.

Er was geen poging om het af te sluiten, het werd gewoon niet open gemaakt.

Om Finneemc te quoten:
Ze hadden het ook volledig kunnen dichttimmeren en iedereen die het hackte bedreigen met een proces maar ze stellen zich tot nu toe vrij soepel op

Je moet Microsoft's marketingstrategie verstaan: ze verkopen de Kinect zonder winst, volgens mij zelfs met verlies. Hun model maakt winst op de verkopen van games. Kijk maar naar de prijs van concurrenten, de Asus Xtion PRO LIVE kost meer dan de Kinect, terwijl de capaciteiten min of meer hetzelfde zijn. (Microsoft past deze strategie trouwens ook toe op alle Xbox hardware en volgens mij doet Sony hetzelfde met de PS3)

Vanaf de eerste niet-officiŽle SDK-projecten kwamen zag Microsoft dat de vraag groot genoeg was en hebben ze hun eigen SDK voor het grote publiek klaargemaakt, samen met een Kinect met commerciŽle licentie (die ook een stuk meer kost, §180 waar je de gewone Kinect voor §100 kan vinden)

Het gaat hier dus volgens mij om het voorkomen dat hun marketingmodel misbruikt zou worden en niet over hun imago. Microsoft is geen VZW en levert nog steeds 'bang for buck'.

Dit project is daar een goed voorbeeld van, voor de Kinect bestond dergelijke hardware al, maar tegen een veel grotere prijs. Met duurdere hardware had dit lucratief project wellicht nooit bestaan.

[Kritiek mode]
Het idee is zeer goed (om bijvoorbeeld het onderwerp toegankelijkheid nog eens onder de aandacht te brengen. Aan de andere kant stelt het (nog) niet veel voor. Er bestaan al applicaties die het besturen van de computer mogelijk maken. Een applicatie bouwen waarop je je gemoed kan kiezen (en doorsturen) is niet zo bijzonder. Zelfs rechtstreeks via openNI is het nog steeds niet zo moeilijk om dit te realiseren.
Aan de andere kant veronderstel ik dat de simpelste ideeŽn de beste zijn ;).
Waarom weer perse dat gebash op microsoft nu?
Precies! Microsoft heeft een mooi product gemaakt, dat door allerlei ontwikkelaar voor nieuwe innovaties gebruikt kan worden. Dat maakt het toch eigelijk alleen maar een top product. De Kinect is een geweldige bouwsteen om applicaties te maken met fysieke communicatie. :)
Dit zijn echt weer van die berichten waar ik vrolijk van wordt op de maandagmorgen! Een projectje om verder in de gaten te houden, de toekomst zie ik in ieder geval rooskleurig in :D
Vrolijk, ik krijg hierdoor bijna tranen in mijn ogen. Dit vind ik erg mooi en emotioneel dat iemand dit doet voor zijn moeder. Zo voelt het alsof de wereld toch iets over heeft voor elkaar.

Alleen lijkt het me niet heel makkelijk om het niveau aan te geven van je emotie in deze applicatie omdat je hier overheen gaat wanneer je de knop van versturen wil indrukken.
Wauw, dit zijn echt mooie dingen.
Het lijkt me geen grote stap meer om dit systeem uit te breiden zodat ze het inderdaad helemaal zelf kan (iets met autorun).

Wat ik me echter wel afvraag: waarom geen spraakherkenning voor het opstellen van e-mail? Het lijkt alsof ze geen problemen met spraak heeft? Naja, er zullen wel redenen voor zijn..
Nou volgens dit filmpje wel.
De een komt beter uit zijn woorden dan de ander, dat wel.

[Reactie gewijzigd door Soldaatje op 10 september 2012 10:28]

Geweldig gewoon! En nu maar hopen dat er geen patent troll langswandelt die vindt dat er weer -tig patenten geschonden zijn. Want daar draaien dit soort initiatieven helaas vaak op uit. Zodra een bedrijf doorheeft dat er geld te verdienen valt wordt geen middel meer geschuwd :(

Maar back on topic: Geweldig dat iemand dit wil ontwikkelen voor zijn moeder!
binnen je eigen huis mag je elke patent schenden dat er maar is, de problemen komen pas wanneer je het gaat verkopen.. (en misschien in mindere maten weg gaat geven)...
Wouw, dit is erg tof.

Denk dat hij hier een mooie gat in de markt kan opvullen.
Betaalbare systemen voor mensen met een Handicap om zo sociaal contacten te behouden via het internet.

Fine tunen voor meer opties ter zijne tijd, erg mooie ontwikkeling.
1 Woord Brilliant, ik ben van mening dat deze "simpele" toepassing van de kinect een heel fatsoenlijke aanvulling zullen zijn op de medische zorg mkaar ook op het gebied van sociale interactie tussen mensen met een handycap om makelijkers te communiceren via het internet.

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True