Nederlandse student ontwikkelt 'sociale' tekstvoorspeller

Een student van de Radboud Universiteit Nijmegen heeft een 'sociale tekstvoorspeller' ontwikkeld. Bij het voorspellen van tekst wordt het taalgebruik van de gebruiker zelf en zijn vrienden meegenomen. Dat zou het kunnen voorspellen van tekst verbeteren.

De sociale tekstvoorspeller Soothsayer analyseert niet alleen teksten die een gebruiker zelf tikt, maar ook berichten van vrienden, waardoor een gebruiker volgens de Radboud Universiteit 50 procent van de toetsaanslagen zouden kunnen besparen. Teksten van vrienden kunnen bijvoorbeeld via sociale media worden verzameld. De voorspeller doet meer dan alleen het corrigeren van spelfouten: Soothsayer 'weet' ook welke woorden vaak op elkaar volgen, en kan daardoor zelf woorden suggereren die aan een tekst kunnen worden toegevoegd, nog voordat de gebruiker begint aan het typen van dat woord.

De techniek zou onder meer van pas komen voor smartphonegebruikers, maar volgens de ontwikkelaar van Soothsayer, Radboud-student Wessel Stoop, zijn er nog geen concrete plannen om van de tekstvoorspeller een concreet product te maken. Wel heeft Stoop als proof-of-concept een website gemaakt waarop de tekstvoorspeller kan worden uitgeprobeerd. Daarbij kan een gebruiker zijn eigen Twitter-account inladen en op basis daarvan tekstvoorspelling laten toepassen.

Het proof-of-concept van Stoop draait op een serverclusters van zijn universiteit. "Je hebt ongeveer 2 of 3 gigabyte aan geheugen nodig voor de applicatie, afhankelijk van het trainingsmateriaal", zegt Stoop, die de broncode van zijn project op Github heeft geplaatst. De geheugeneisen maken de applicatie niet geschikt om te draaien op smartphones, maar volgens Stoop zouden telefoons bijvoorbeeld via internet met de tekstvoorspeller kunnen communiceren.

Reacties (46)

IS dit ook niet wat swiftkey doet? Dit scant ook je mail, sms, sociale media en voorspelt zo de woorden.

[Reactie gewijzigd door arjandijk162 op 3 oktober 2013 12:08]

Ja en nee. Aan de ene kant onthoud het woordcombinaties die je gebruikt, maar het leert ook sneller omdat het ook taalgebruik van je vrienden overneemt. Het zou echt interessant zijn als het de voorspelling zou aanpassen aan de hand van met wie je praat, omdat taalgebruik van een persoon kan variëren afhankelijk van de tegenpartij. Maar dat is mij niet geheel duidelijk.

Maar zoals het er nu staat, voegt het niet veel meer toe dan Swiftkey al doet inderdaad. Al lijkt de methode voor taalherkenning veel ingrijpender.

Al lijkt de methode voor taalherkenning veel ingrijpender.

zo "ingrijpend" vind ik het helemaal niet lijken to be honest...
woorden tellen om te bepalen hoe waarschijnlijk een bepaalde keuze kan zijn
en tegenwoordig word er meer met context bepaling gedaan
daar alleen kom je al een heel eind mee

maar 'tis allemaal jaren oude oersoep met iets andere ingrediënten en de één maakt zijn soep wat dikker of magerder

tja...
er word inderdaad heel snel interessant gedaan met woorden als "algoritmen"
maar verreweg komt het niet in de buurt van wat google aan data en interpretatie klaarspeelt... helaas
van mij mag google flink de kelder in geconcurreerd worden dus laat maar komen en knutsel er maar op verder

al snijd dat mes ook aan 2 kanten
hoe meer data beschikbaar word voor de kleinere visjes hoe extremer de toepassing en het gebruik van dergelijke data word
ik vind dat dat wereldje al diep genoeg in ons ruggenmerg genageld zit

denk dat een beetje dev met een beetje verstand van aanpakken dit wel kan klaarspelen
of we dat echt willen lijkt mij persoonlijk sterk... of je moet geldgeil zijn ingesteld

[Reactie gewijzigd door Anoniem: 500749 op 3 oktober 2013 19:22]

Grootgedeelte wel, alleen gaat dit verder dan alleen jouw profiel

Ja, maar hier wordt het social media aspect toegevoegd, zoals http://jaspervdj.be/tweetov/ al deed...

Dit kan Swiftkey op Android toch ook? Die leert ook van je SMS/Facebook etc.

Edit: ok hij leert ook van je vrienden. Zelf zou ik dat dus niet willen.

[Reactie gewijzigd door Anoniem: 225842 op 3 oktober 2013 12:10]

Juist. Wel leren van mijzelf, maar niet van mijn vrienden. Welke vaak geen Nederlands typen...
Misschien kan je dit instellen in het programma, of een weging aan laten hangen.

[ontopic] Geeft misschien wel vreemde effecten als je van Nederlands naar Engels switcht door het vele gebruik van Engelstalige woorden in de Nederlandse taal kunnen er verkeerde voorspellingen gedaan worden voor Engelse woorden.

Op het taalgebruik van de meeste van mijn social media vrienden zit ik ook niet te wachten, en zij ook niet op het mijne denk ik. Voor mensen die into NLP zijn kan dit wel interessant zijn.

Hij gaat hier zo gauw ik begin met typen op zijn bek met als error
Traceback (most recent call last): File "/scratch2/www/soothsayer/webdemo/server.py"

Jep, hier ook. Waarschijnlijk een explosie in dataverkeer en nu de database op zn bek :-)

Denk dat de server het een beetje zwaar heeft .
Denk idd dat de database onderuit gegaan is.

OT, dit was er natuurlijk al veel langer in swiftkey, swipe etc.
Wel mooi gemaakt.

[Reactie gewijzigd door Brantje op 3 oktober 2013 12:26]

Zeker dat je dat niet wou zeggen?

Dus elke toets die je indrukt wordt naar een server op het internet gestuurd om geanalyseerd te worden. Heeft Google al een bod uitgebracht ?
Ik kan voorstellen dat dit wel een dienst is die ze aan hun portfolio willen toevoegen. (nog meer informatie over mensen verzamelen)

Dat dacht ik ook. Een paar gigabyte aan RAM hiervoor nodig is kwalijk. Dan wordt tegenwoordig steeds vaker de 'makkelijke' weg gekozen om er maar een online dienst van te maken, wat het een stuk interessanter maakt voor Google bijvoorbeeld. Met wat optimalisatie zou een app van deze relatieve eenvoud toch wel moeten kunnen draaien met een paar megabyte.

Maar ja, de kunst van softwareoptimalisatie is een steeds meer ondergewaardeerde tak van softwareontwikkeling.

Dus elke toets die je indrukt wordt naar een server op het internet gestuurd om geanalyseerd te worden. Heeft Google al een bod uitgebracht ?

Hoe is dat anders met Google's "autocomplete" dan? Ja, je type geen hele verhalen in een zoekbox. Maar je hoeft dit project natuurlijk niet "uit de cloud" af te nemen, je zou 't ook lokaal kunnen draaien. Misschien kost 't nu nog teveel geheugen of andere resources, maar dat kan mogelijk nog beter/efficiënter en devices kunnen over 10 jaar natuurlijk ook weer veel meer missen van die resources. Hoe dan ook, als je 't "lokaal" zou (kunnen) draaien is 't natuurlijk niets anders dan wat "Swiftkey" bijvoorbeeld is/doet.

[Reactie gewijzigd door RobIII op 3 oktober 2013 14:29]

Ik denk dat de servers van de universiteit de drukte niet aankunnen.

Dan weet je dat je het als student goed hebt gedaan:P

Nou ja, goed, dat weten we dus nog niet, dat wil hij (en iedereen) dus testen. Tenzij je de publiciteit bedoeld. En dat is dus de vraag, want hij heeft blijkbaar niet goed kunnen (ivm beschikbare middelen?) anticiperen op de belasting van zijn server(s) die die publiciteit gegenereerd heeft.

Als je een onderzoek voor de universiteit hebt gedaan, en je vraagt of je een testapplicatie mag neerzetten, dan heeft de student niets te maken met wat de Universiteit daar aan resources uit besteedt.

Dat het in het nieuws komt, betekend dat mensen het positief getest hebben. Nu de tweakercommunity(en eventueel andere nieuwsgroepen) zich er in gaat verdiepen, gaat het niet goed.
Kan tweakers niet wat ruimte vrij maken voor deze student?

we hebben de website een beetje dood gemaakt geloof ik, hij geeft bij mij na elke spatie

(most recent call last): File "/scratch2/www/soothsayer/webdemo/server.py" |Traceback (most recent call last): File "/scratch2/www/soothsayer/webdemo/server.py"

Lijkt mij niet gewenst, alsof ik dat taalgebruik van al mijn mensen op social media wil gaan overnemen. Zo verlies je je eigen identiteit.
Op Windows Phone vind ik het wel perfect werken, dus dat de tekstvoorspeller je eigen schrijfstijl leert. Overigens begin je in WP ook met (een schone lei) een tekstvoorspeller die ontworpen is naar hoe men spreekt, en ik denk dat MS dit ook wel bijhoudt met behulp van Bing en de deal die ze nu hebben met Facebook.

[Reactie gewijzigd door enomiss op 3 oktober 2013 12:21]

Mandatory XKCD: http://xkcd.com/1068/

Lijkt inderdaad wat op swiftkey, wat een van mijn beste aankopen uit de playstore ooit is:)

Leuk. Deze voorspeller kan ook worden gebruikt voor het comprimeren van data, lijkt mij.