Experiment met 'text mining' op NY Times succesvol

Met behulp van een techniek genaamd 'text mining' zijn onderzoekers erin geslaagd om snel grote hoeveelheden ongestructureerde teksten te analyseren en de onderwerpen af te leiden. Text mining wordt op dit moment reeds toegepast door gespecialiseerde programmeurs en door veiligheidsexperts bij projecten als Echelon. De doorbraak bestaat eruit dat de onderzoekers een van de eerste demonstraties van de bruikbaarheid van de technologie hebben gegeven. Volgens computerwetenschapper David Newman heeft text mining een gigantische sprong voorwaarts gemaakt. Het experiment toont aan dat het begrijpen van grote hoeveelheden tekst sneller en makkelijker wordt, en binnen enkele jaren moet de techniek voor iedereen inzetbaar zijn, aldus Newman.

Newman en zijn collega's van de Amerikaanse universiteit UCI hebben gebruik gemaakt van een text-miningtechniek genaamd 'topic modeling'. Topic modeling is in 2003 ontwikkeld aan de UC Berkeley in Amerika, maar voor dit experiment zijn enkele verbeteringen aangebracht. Bij topic modeling wordt gezocht naar woordpatronen die gezamenlijk voorkomen in een tekst. Deze woorden worden dan automatisch gecategoriseerd in onderwerpen. De informatie die geassocieerd wordt met deze onderwerpen, wordt gedurende langere tijd bijgehouden, en dit maakt het mogelijk om trends te ontdekken. Bij oudere text-miningtechnieken moet de gebruiker vaak eerst een verzameling categorieën aanmaken en voor elk categorie honderden tot duizenden voorbeeldteksten invoeren. In tegenstelling tot deze arbeidsintensieve methode van leren onder menselijk toezicht, zijn bij de nieuwe methode menselijke handelingen grotendeels overbodig.

In totaal zijn bij het experiment 330.000 artikelen van de New York Times doorgespit en de software distilleerde daar 400 onderwerpen uit zoals Tour de France, duiken in Hawaï en stemfraude. Een deel van deze onderwerpen kan voor adverteerders zeer interessant zijn, bijvoorbeeld de wetenschap dat de hoeveelheid artikelen over de Tour de France over de jaren afnam. In de toekomst zullen bijvoorbeeld medici, adverteerders, politici, juristen en vele anderen met behulp van deze techniek sneller links kunnen leggen met oudere artikelen en grote hoeveelheden informatie beter kunnen begrijpen. Hoewel het artikel geen melding maakt van de toepassing van topic modeling in zoekmachines, lijkt het voor de hand te liggen dat de technologie gerichter speuren mogelijk kan maken. Zoekopdracht 'Armstrong' in onderwerp Tour de France zou bijvoorbeeld alleen artikelen over de wielrenner opleveren en niet over de astronaut of musicus Armstrong en gelijknamige bedrijven.