Universiteit Amsterdam peilt humeur bloggers

De Information and Language Processing Systems-groep van de Universiteit van Amsterdam heeft een onderzoeksproject genaamd MoodViews lopen om veranderingen van stemmingspatronen in weblogs te meten en in kaart te brengen. De software van de wetenschappers hengelt per dag circa 150.000 blogposts binnen en houdt in totaal bij circa twee miljoen bloggers de vinger aan de pols. De software heeft een aantal interessante toepassingen; zo werd bijvoorbeeld een relatie gevonden tussen de stemming van bloggers onmiddelijk na het uitkomen van een film en de uiteindelijke opbrengst ervan. Onder meer het marketing- en het bankwezen zouden dan ook grote interesse voor de software hebben.

De onderzoekers vatten het probleem van stemmingsbepaling op als variatie op het tekstclassificatieprobleem (bepaal voor een gegeven tekst de meest waarschijnlijke categorie), zij het dat niet de afzonderlijke blogs worden geclassificeerd maar hele verzamelingen tegelijk. Voor een gegeven verzameling blogs schat het algoritme op gezette tijden het totale aantal postings die een gegeven gemoedstoestand reflecteren; dit is de gezochte mood intensity van een verzameling blogpostings op een gegeven tijdstip.

Vaak wordt een tekstclassificatiealgoritme eerst getraind op een verzameling teksten waarvan de categorie bekend is, wat veelal neerkomt op het handmatig annoteren ('labelen') van grote hoeveelheden teksten. Weblogs, zo stellen de onderzoekers, hebben echter de eigenschap dat het humeur van de blogger vaak expliciet wordt vermeld, waardoor er - ook dankzij de populariteit van bloggen - de beschikking is over grote hoeveelheden geannoteerde data. Deze data kan vervolgens worden gebruikt om woorden en woordcombinaties op te sporen die veel worden gebruikt bij een bepaald humeur. Het feit dat niet alle blogs expliciet zijn over hun gemoedstoestand wordt hierbij voor lief genomen; de enorme hoeveelheid beschikbare blogs maakt het mogelijk de niet-expliciete schrijfsels als ruis in de data op te vatten, zo stellen de onderzoekers.

Piek in toestand 'verdriet' ten tijde van de terreuraanslagen in Londen in 2005

Reacties (17)

[Anand]

Hmmm, voelt wat 'ongevraagd' aan, om mijn stemming zonder medeweten te meten en marketing- of bankdoeleinden zo'n grote dienst mee te bewijzen.

Jaja, bloggen laat dat toe, maar tóch: als er geld mee verdiend gaat worden.

[fluister]Ben ik zo werknemer, of misschien zelfs aandeelhouder?[/fluister]

[ILUsion]

En in het dagelijkse leven wordt je stemming niet gemeten? Als jij in een winkel komt waar de verkoper wiens gezicht op de grond hangt, dan meet je ook zijn stemming en ga je daarbij afstemmen "koop ik hier of kijk ik ergens anders?". Iedereen doet het, dat ligt gewoon in de menselijke natuur.

Als je een weblog publiceert, moet je gewoon rekening houden dat mensen je humeur kunnen inschatten; wat bij dit onderzoek misschien iets minder proper is is dat alle geautomatiseerd gebeurd is en dat het misschien wel een beetje een vorm van beleefdheid zou zijn van de onderzoekers om je mee te delen dat je blog deel zal uitmaken van een onderzoek.

[RetepV]

Hmmm, voelt wat 'ongevraagd' aan, om mijn stemming zonder medeweten te meten en marketing- of bankdoeleinden zo'n grote dienst mee te bewijzen.

Ja, welkom in de grote wereld. Je hebt zojuist uitgevonden dat als je schreeuwt, andere mensen dan jijzelf jou ook horen. Guess what: je bent niet alleen op de wereld!

Vroegah, zo'n paar duizend jaar geleden, werd een luidruchtig mens niet zo oud. Luidruchtige mensen trekken roofdieren aan...

Er is in duizenden jaren dus weinig veranderd. Als je zo luidruchtig als een blogger bent, is het wachten totdat je bezoek krijgt van roofdieren. En laat de mens ZELF nou één van die roofdieren zijn.

Maar ik ga mensen niet tegenhouden van het bloggen. Misschien komt er iets goeds uit dat de wereld zal verbeteren. Het zal wat slachtoffers kosten onder de bloggers, wat minder onder de roofdieren die de bloggers als prooi zien. Maar misschien is het dat waard.

[Molybdenum]

tja, ik verbaas me er soms over hoe open mensen zijn in hun blogs. ze gebruiken blogs alsof het hun dagboek is, iets wat vroeger je grootste geheim was. en nu zet je het openbaar op het net.

als je niet wilt dat er geindexeerd wordt oid, dan kan je altijd nog je blog afschermen met een wachtwoord of dmv robots.txt, maar in het geval van een wachtwoord trek je veel minder bezoekers en dat is toch waar het de meeste bloggers om gaat: aandacht!

[rijk0214]

Interessant onderzoekje, wat ik me nou wel af vraag is of het algoritme het verschil wel kan inzien van:

Ik was zo blij dat ik er om moest huilen.

Voor de rest is het natuurlijk logisch dat doormiddel van gebeurtenissen met een wereldwijde impact de mood van mensen daalt.

[Verwijderd]

Dat hoort dus onder "ruis op de data"; dit soort semantische-instinkers-voor-vertaalcomputers zullen niet echt doorwegen.

[Koeniepoenie]

Het heft elkaar strict gezien toch gewoon op?

Ik was zo blij -> +1 blij zijn
moest huilen -> +1 verdrietig zijn

Dus maakt niet echt veel uit

[Jogai]

Dat wordt geinterpreteerd als blij lijkt me zo, omdat het onderwerp blij is. Lijkt me dat het algoritme dat wel herkent. net als f**** angry oid.

[THEsmiley]

Een tijdje geleden reageerde ik op een artikel dat blogs gebruikt zouden worden voor commerciele doeleinden en toen werd ik nog net niet "geflamed" omdat het "nimmer" zou worden toegepast, en zie hier het resultaat...

Zoals ik al eerder opmerkte wordt dus "misbruik" gemaakt van blogs, maar ook veelbezochte sites (laten we deze ook niet vergeten!) om meningen en gevoelens te peilen van bezoekers. Voor hen is het een simpele search om bloggers en mensen die reageren in een database te plempen en daar een nummeriek antwoord uit te krijgen. Aangezien in de blogwereld geen of weinig HTML is toegestaan en het Killspider commando dus niet werkt lijkt me hier een verantwoordelijkheid weggelegd voor de providers om dit op de server door te voeren, daar bovenop nog in acht nemende dat de meeste bloggers bij het woord HTML al wit wegtrekken

Of ga ik nu te ver?

[Verwijderd]

Ik heb geen idee waar je het over hebt... In dit soort onderzoeken wordt alleen gekeken naar de woorden. Opmaak zoals HTML zal zeer waarschijnlijk worden verwijderd. Je hebt dan dus alleen tekst.

[Spockz]

Bij de meeste (standaard) blogs kun je nauwelijks tot geen HTML gebruiken, als je het al wel kunt is het de gebruiker die er niet veel mee te maken heeft.

Je de agent uitlezen van degene die je site bezoekt. En aan de hand van die informatie kan je bepalen wat die agent voorgeschoteld krijgt.

Dit heeft dus niets te maken met html als in opmaak. (html is dus eigenlijk wel een verkeerde woordkeuze van the_smiley )

[Verwijderd]

Heel leuk onderzoek!

Op zich is dit niet baanbrekend onderzoek, maar wel vanuit een origineel invalshoek en relatief nieuwe trend, nl blogs. Het idee is vrij simpel: gewoon een heleboel data binnen halen. Dan die data automatisch classificeren ahv woordenlijsten, dus trainen ahv van een 'gold standard', dus teksten die al zijn geclassificeerd. Dat er een leuke commerciele twist aan wordt gegeven is briljant bedacht. Ik had het zelf kunnen bedenken!

[Verwijderd]

Grappig, zo zou je ook op een nieuwsite als Fok alle positieve/negatieve smileys kunnen tellen, om zo een moodmetertje te geven.
Of aan wat voor site dan ook die smileys gebruikt.

[citegrene]

We zijn zo te zien binnen dezelfde dag nog al weer op normaal "sad" niveau na een aanslag.

[DJ Henk]

Geinig dat het echt werkt.

Ik heb zelf weleens het idee gehad om de populariteit van merken/dingen te meten door het halve internet te spideren en te kijken wat voor soort smileys in de buurt van zo'n merknaam staan. Maar zoals altijd geldt: ergens, op het wereldwijde internet, heeft iemand anders het allang gedaan. En meestal nog beter ook.