Wetenschappers van Stanford University hebben een tool ontwikkeld die personen die online provocerende, beledigende of bedreigende opmerkingen maken, kan herkennen. Het algoritme zou 'internettrollen' al na vijf tot tien geplaatste berichten kunnen herkennen.
De wetenschappers onderzochten drie online nieuwscommunity's: die van CNN, van de politieke nieuwssite Breitbart.com en van techsite IGN. Ze gebruikten daarvoor een dataset met 10.000 gebruikers die ooit zijn geweerd vanwege asociaal gedrag. Daarnaast gebruikten ze een set met alle gepubliceerde berichten van deze gebruikers.
Het doel van de onderzoekers was om te bepalen wanneer de gebruikers asociaal werden in hun gedrag. Daarnaast wilden ze weten wanneer het gedrag erger werd en in hoeverre de asociale gebruikers aan de hand van hun gedrag konden worden geïdentificeerd.
De onderzoekers gebruikten machine learning om te kijken hoe ze de internettrollen konden herkennen. Dit betekent dat ze formules toepasten op de datasets en voor ieder afzonderlijk geval bekeken hoe groot de kans is dat het een asociale gebruiker betrof. Door de computer al deze gevallen te laten analyseren en dus te laten 'trainen', kan de software later met classifiers een bepaalde waarschijnlijkheid aangeven wanneer iemand een trol is.
En dat is precies wat de wetenschappers deden. Ze vergeleken de berichten die de gebruikers, die later werden geblokkeerd, eerder hadden geplaatst met die van gebruikers die nooit waren geweerd. Daaruit kwamen duidelijke verschillen naar voren. Zo zijn berichten van internettrollen minder duidelijk leesbaar, bleek uit een analyse door middel van de Automated Readability Index. Daarnaast spenderen trollen meer tijd in specifieke threads dan reguliere gebruikers.
De classifier die de wetenschappers ontwikkelden, kan alleen met de eerste vijf berichten van een gebruiker met tachtig procent waarschijnlijkheid aangeven in hoeverre iemand later een ban krijgt, zo staat er in de paper. Het algoritme presteert echter beter wanneer het de eerste tien berichten van een gebruiker heeft geanalyseerd.
Dankzij dit onderzoek kunnen in de toekomst programma's worden geschreven die automatisch internettrollen kunnen weren van websites, wat het werk van moderators drastisch kan verminderen. Wel moet daarvoor en voor het blootleggen van details van trollen de software verder worden ontwikkeld. Momenteel pakt het algoritme iemand die extremer over de schreef is gegaan namelijk eerder op dan iemand die bijvoorbeeld een keer iets heeft geplaatst wat niet door de beugel kan. Door meer geblokkeerde gebruikers en hun eigenschappen te analyseren, kan de software preciezer bepalen wanneer een ander een trol is.
Twitter is een van de sites die in toenemende mate kampt met trolls. Het bedrijf probeert om met behulp van telefoonnummers te voorkomen dat verbannen gebruikers, die andere gebruikers intimideren, steeds nieuwe accounts aanmaken. Voorlopig zijn er geen plannen bekend die erop duiden dat Twitter intimiderende gebruikers geautomatiseerd wil bannen.