Onderzoeker automatiseert kwaliteitsbeoordeling van Wikipedia-artikelen

UvA-onderzoeker Xinyi Li heeft een automatische methode ontwikkeld om de kwaliteit van Wikipedia-pagina's te beoordelen. Omdat Wikipedia draait op bijdragen van mensen met verschillende meningen, is het soms lastig te bepalen of de inhoud klopt.

Li presenteerde het model van de onderzoeksgroep waarvan hij deel uitmaakt onlangs tijdens de 'European Conference on Information Retrieval' in Wenen. Een van de problemen waar Wikipedia tegenaan loopt, is dat van alle Wikipedia-artikelen slechts een klein deel handmatig op kwaliteit kan worden beoordeeld. Om alle pagina's op waarde te kunnen schatten, is een automatische evaluatiemethode nodig.

De methode die Li presenteerde, maakt behalve van de inhoud, gebruik van informatie over wie heeft bijgedragen aan een artikel. De meeste artikelen worden door meer dan één persoon geschreven, maar niet iedereen draagt evenveel bij. Ook blijkt dat het merendeel van de auteurs slechts over een beperkt aantal onderwerpen schrijft. Om de beste resultaten te bereiken wordt een combinatie gemaakt tussen informatie van bestaande, handmatige evaluaties van artikelen en de software van Li, iets wat volgens de auteurs een goed bruikbare oplossing is voor de kwaliteitsbeoordeling van de artikelen.

Door niet alleen te kijken naar de inhoud van een artikel, maar ook naar de deskundigheid en het aantal bijdragen van auteurs, is het via Li's methode makkelijker om de kwaliteit van een artikel te beoordelen. Op die manier zouden er geautomatiseerde waarschuwingen gegeven kunnen worden. Nu staan er af en toe waarschuwingen bij artikelen als er referenties ontbreken, als er weinig tekst is of als de schrijfstijl niet objectief is.

Reacties (37)

[Bassiuz]

Dat lijkt me een vrij gemakkelijk algoritme, maar slim toegepast. Mooi! Dit is een goede stap voor het internet.

[regtur2]

Niet mee eens dat dit een goede stap is voor het internet.

Misschien is het een goede stap voor wikipedia zelf om makkelijker en sneller pagina's te checken (het automatiseren van de controleslag). Verder hoeft deze "kwaliteitsbeoordeling" niet perse iets te zeggen over de betrouwbaarheid van een wiki. Eigenlijk zou er dan een extra beoordeling moeten zijn van de "kwaliteitsbeoordeling" (in hoeverre valt er iets te zeggen over de "kwaliteit" of wat zegt deze beoordeling). Het lijkt mij nu weinig bruikbaar en iets dat eerder door mensen "misbruikt" gaat worden van: kijk eens een goede beoordeling, dus alles wat er staat klopt.

[Bassiuz]

Natuurlijk is het belangrijk om zelf te blijven controleren of de content betrouwbaar is; check double-check blijft een belangrijk ding. Maar het is toch handig om te weten dat op basis van alle informatie die Wikipedia opslaat, het artikel dan wel of niet betrouwbaar lijkt. Dat is toch een extra "bewijsstuk", in een lijst met bewijsstukken die je nodig hebt om voor jezelf te zeggen dat je gelooft wat er staat.

[Verwijderd]

Ik begrijp niet dat ze lezers niet gedeeltelijk een beoordeling laten geven. Mogelijk dat het niet werkt zoals op tweakers. Geef het een kans.

[koelpasta]

Dat lijkt me een vrij gemakkelijk algoritme,

Ooh, leg eens uit? Hoe werkt het dan?

[Bassiuz]

Het is natuurlijk relatief gezien aan veel complexere algortimes, maar in de basis komt het (waarschijnlijk) neer op een waardering van punten die gebaseerd wordt op een een formule die lijkt op iets als dit; rating = (voor elke persoon die heeft bijgedragen) [percentage van de inhoud die deze persoon heeft bijgedragen * factor van de waardering van deze persoon * arbitraire waarde] + [waarde van totale content]

Voor het bepalen van de content als hoe het geschreven is en dergelijke lag al een algoritme, en het algortime van de waardering van de persoon is weer gebaseerd op hoeveel hij heeft bijgedragen aan andere artikelen.

[koelpasta]

rating = (voor elke persoon die heeft bijgedragen) [percentage van de inhoud die deze persoon heeft bijgedragen * factor van de waardering van deze persoon * arbitraire waarde] + [waarde van totale content]

Dit zou inderdaad een erg eenvoudig algoritme zijn.
Maar als dit het geval was geweest (of als dit de kern was van deze vinding) dan had daar geen paper voor hoeven worden gepubliceert en was dit allang de standaard methode om kwaliteitsmetingen te doen van wikipedia-artiekelen.
Daarnaast laat je dus een aantal belangrijke factoren weg, zoals hoe je aan een waardering van een persoon komt of wat de arbitraire waarde is.

Daarmee zeg je dus eigenlijk dat jouw abstractie van het algoritme makkelijk is, maar meer ook niet.

[Verwijderd]

Nou:
If $author( henk ) { fuckoff }

[josipbroz]

Het zou mooi zijn als ik een "metertje" kon zien.
Enige indicatie over fatson van een artikel waar ik absolut niets over weet is welkom.
Ik zou dan zelf kunnen bepalen of de "controle systeem" goed werkt door het te vergelijken met resultaten van wiki onderwerpen waar ik wel iets van weet.

[Tourmaline]

Dit is wel nodig zo nu en dan. Ik ben er ook al een paar keer achter gekomen dat er fouten staan in artikelen van Wikipedia.

[sambalbaj]

En heb je ze toen ook verbeterd? Bijdragen kan en mag iedereen!

Denk dat dit wel wringt met de waarden van de encyclopedie zelf qua neutraliteit en onafhankelijk juist omdat dit algoritme ook vooral naar de auteurs kijkt,

[Sissors]

Hoewel het natuurlijk leuk als onderzoek is, weet ik niet of je dit moet willen toevoegen aan de site zelf. Volgens mij heeft Wikipedia al een probleem om nieuwe mensen aan te trekken die bijdragen leveren, vanwege verschillende redenen.

Als Jantje nu veel werk verzet en een extra artikel toevoegd, compleet met bronnen, onderbouwing, hij heeft nog zitten zwoegen om duidelijke plaatjes erbij te maken/vinden, en vervolgens staat omdat hij verder nog niks heeft toegevoegd eronder: "Let op! Dit artikel is geclassificeerd als erg onbetrouwbaar", dan zal Jantje al snel wat anders met zijn tijd gaan doen.

[MicGlou]

De hoofdreden waarom ze weinig nieuwe mensen aantrekken heeft met het beleid te maken, misschien zelfs beter gezegd de uitvoering van dat beleid, o.a. die classificaties... en dan vooral de toepassing door bepaalde personen in de staff. Als het goed is hebben ze daar wel wat verandering in aangebracht doordat er bij de staff wat wijzigingen zijn geweest... maar ik heb daar op de Nederlandstalige en de Engelstalige met moderators/redacteuren te maken gehad dat was echt niet leuk meer. Ik heb 'redelijk veel' bijgedragen vooral in de muzieksecties, maar ik heb op een gegeven moment de handdoek in de ring gegooid vanwege het getreiter, topic kapen en dat soort fratsen. Heb geen idee wat de status op het moment is, maar twee jaar geleden zou ik niet hebben gezegd dat het leuk is om aan mee te werken.

[Verwijderd]

Ik ben een beetje bang dat het hetzelfde werkt als google's 'waarheids-algoritme'. Wie slim is, en de juiste variabelen weet te bedienen kan alsnog zijn 'waarheid' als meest geldende plaatsen op het internet.

Door niet alleen te kijken naar de inhoud van een artikel, maar ook naar de deskundigheid en het aantal bijdragen van auteurs, is het via Li's methode makkelijker om de kwaliteit van een artikel te beoordelen.

Politieke organisaties zouden bijvoorbeeld over 'neutrale' onderwerpen bewust zware credibility kunnen opbouwen, om zo juist bij wat politiek sensitive onderwerpen 'sturing' te geven aan de informatie.

[Reactie gewijzigd door Verwijderd op 24 juli 2024 06:46]

[Galeton]

Politieke organisaties zouden bijvoorbeeld over 'neutrale' onderwerpen bewust zware credibility kunnen opbouwen, om zo juist bij wat politiek sensitive onderwerpen 'sturing' te geven aan de informatie.

Dat is wel een twee-staps theorie, want politieke partijen zullen dus auteurs moeten vinden die veel bijdrage aan goede artikelen, en onder de naam van de bewuste auteurs dus sturing gaan geven aan een voor hen belangrijk onderwerp. En die onderwerpen moeten ook nog eens aansluiten bij de schrijfhistorie van de bewuste auteur, want anders wegen ze minder zwaar mee in de beoordeling.

Uiteindelijk blijft het probleem dat men Wikipedia (en eigenlijk alle informatie) moet blijven beoordelen aan de hand van eigen kennis en een stukje logisch redeneren. Vooralsnog doe ik dat bij Wikipedia voornamelijk door naar de bronnen te kijken. De gebruikte bronnen zegt veel meer over de betrouwbaarheid van het artikel dan de schrijver. Simpel gezegd is een artikel dat een wetenschappelijk tijdschrift of het CBS als bron aanhaalt, geloofwaardiger dan wanneer een blog van Jantje of Pietje op de hoek wordt gebruikt als referentie.
Een algoritme dat dus die bronnen mee in beschouwing neemt is wellicht een veel betere oplossing!

[Reactie gewijzigd door Galeton op 24 juli 2024 06:46]

[Verwijderd]

[...]

Dat is wel een twee-staps theorie, want politieke partijen zullen dus auteurs moeten vinden die veel bijdrage aan goede artikelen, en onder de naam van de bewuste auteurs dus sturing gaan geven aan een voor hen belangrijk onderwerp.

Big Corp. en ook politiek georganiseerde organisaties, hebben vaak veel grotere belangen en veel meer middelen dan als het gaat om individuele vrijwilliger x.

De meeste mensen die bijdragen aan Wikipedia doen dat niet full time. Terwijl organisaties, of anders speciale bureautje wel die resources hebben.

Dit zal vast niet de enige methode zijn om dit algoritme te beïnvloeden, maar het toont wel aan, dat als je eenmaal meer middelen hebt. 'jouw' informatie een prominentere rol krijgt, doordat je een 'geautomatiseerde' kwaliteits beoordeling gewoon kan betekenen invloeden als je weet hoe die werkt.

Ook als mensen die beoordeling maken, heb je nooit een perfect systeem. (ondanks encyclopedie, er is niet gewoon 1 waarheid). Maar dat informatie, op de kwaliteit van de informatie zelf wordt beoordeeld op de kwaliteit van de informatie zelf, en niet op de 'resources' die een partij heeft om bij te dragen aan wiki, lijkt mij gezonder.

Een algoritme dat dus die bronnen mee in beschouwing neemt is wellicht een veel betere oplossing!

Dit lijkt mij ook een beter idee,
Maar is wel moeilijker natuurlijk, hoe beoordeel je zoiets. een wetenschappelijke blog kan best kwalitatievere informatie hebben dan het cbs.

[Reactie gewijzigd door Verwijderd op 24 juli 2024 06:46]

[Galeton]

Dit lijkt mij ook een beter idee,
Maar is wel moeilijker natuurlijk, hoe beoordeel je zoiets. een wetenschappelijke blog kan best kwalitatievere informatie hebben dan het cbs.

Daarom haal ik beide aan: twee totaal verschillende bronnen die beide wel als betrouwbaar kunnen worden gezien.

Hoe kun je dat verwerken? Ranglijsten. Nu ben ik het er mee eens dat ranglijsten op zichzelf ook niet altijd betrouwbaar zijn, maar de ranking van wetenschappelijke journals zijn toch redelijk gangbaar en worden ook als een objectieve benadering van de waarheid gezien (zie bijvoorbeeld SJR). Hoe hoger de ranking van het tijdschrift, hoe meer gewicht de bron krijgt toegediend. Dat zelfde geldt dan ook voor websites. Onafhankelijke websites krijgen meer gewicht dan bijvoorbeeld politiek gekleurde websites.

Dit is niet feilloos natuurlijk. Een artikel op je persoonlijke homepage kan feitelijk net zo correct zijn als iets dat in Reviews of Modern Physics, maar de kans is een stuk onwaarschijnlijker. Dus gewicht geven aan bronnen is echt wel realistisch gezien een goede manier van kwaliteitsbeoordeling.

Overigens, wat hierboven wordt genoemd dat op deze manier een artikel als goed wordt gezien doordat de bronnen goed zijn: dat kan inderdaad gebeuren. Maar daarom moet je altijd even logisch redeneren voordat je het gelooft. Bovendien is dit natuurlijk een onderdeel van het algoritme, het moet niet zo zijn dat er alleen naar bronnen wordt gekeken.

Edit: Heb even het artikel doorgelezen. Vrij beknopt, maar Tweakers legt het prima uit hier. Wat me echter opvalt is dat ze roepen dat ze een effect vinden (dat hun methode dus beter werkt als hoe er nu wordt beoordeeld), maar geven nergens aan hoe sterk dit effect is. Het zou dus zomaar kunnen dat deze nieuwe manier maar marginaal beter is. (Voor de kenners: ze hebben een t-test gedaan die significant is, maar vervolgens geen cohen's d of r uitgerekend om te kijken hoe sterk dat effect is).

[Reactie gewijzigd door Galeton op 24 juli 2024 06:46]

[bbob]

Het automatiseren van dit soort beoordelingen is per definitie niet betrouwbaar.

Beoordelen op deskundigheid en aantal artikelen klinkt leuk maar is dus gewoon te manipuleren met geld.

Een beter idee bij 2 ontwerpen en objectiever zou zijn 2 versies, de ene volgens de ene groep de ander volgens de andere groep. De ene groep blijft van de ander af en omgekeerd.

Wat je nu krijgt is een eeuwige discussie tussen de ene visie en de andere visie. Als lezer die informatie zoekt lijkt me juist 2 versies te lezen bijzonder leerzaam.

[computerjunky]

In de perfecte wereld is er maar 1 versie waarheid en die moet weergegeven worden en wat iedereen die het daar om wat voor rede niet mee eens is heeft pech.
Er zijn nog altijd meerderheden die er gewoon naast zitten dus stemmen lost niks op.
Gewoon 1 waarheid is wat we nodig hebben anders blijft de halve wereld onder hun steen wonen.

[bbob]

De perfecte wereld, tja uthopia een fantasie.

Ik hou het liever bij de realiteit. Er zijn genoeg onderwerpen waar te weinig informatie is om echt keihard iets te kunnen zeggen.

Bij die onderwerpen zul je dan altijd 2 of misschien wel 3 of 4 verschillende meningen hebben.

Wie het er niet eens mee is heeft pech, leuke botte opmerking die nergens op slaat.

Stemmen heb ik het ook niet over, ook een stemmende meerderheid kan het fout hebben.

Het weergeven van verschillende versies, meningen lost denk ik veel meer problemen op. Daarnaast kun je als lezer dan zelf beoordelen welke versie jou het meeste aanspreekt. Nu kan het goed zijn dat er onzin staat je jij dat geloofd omdat je niet beter weet om te weten komt. Misinformatie is een doel van veel bedrijven en het systeem dat men nu voorstelt lost dat ook niet op.

Meerdere versies c.q zienswijze in een artikel zal veel meer oplossen.

[Galeton]

Het weergeven van verschillende versies, meningen lost denk ik veel meer problemen op. Daarnaast kun je als lezer dan zelf beoordelen welke versie jou het meeste aanspreekt. Nu kan het goed zijn dat er onzin staat je jij dat geloofd omdat je niet beter weet om te weten komt. Misinformatie is een doel van veel bedrijven en het systeem dat men nu voorstelt lost dat ook niet op.

Dit is toch veel beter op te lossen door de voors en tegens van ieder onderwerp in één artikel uiteen te zetten? Nu moet ik steeds weer beide kanten van het artikel opzoeken... Ik heb liever dat er bij een onderwerp staat aangegeven dat er twee stromingen in de literatuur zijn, A zegt zo, B zegt zus.

[The Reeferman]

Precies, gewoon objectief samen vatten hoe er over gedacht word.
Maar ik heb al gelezen over een aantal incidenten waar Wikipedia moderators zich vreemd gedragen. Zoals een pagina over een persoon gelijk terug veranderen nadat die persoon deze zelf had geupdate. En als de persoon over wie de wiki pagina gaat zelf contact met hem opneemt en vraagt of hij de geupdate pagina wil laten staan hij te horen kreeg dat hij wel de laatste persoon is van wie hij dingen over hem aan nam. En dat ie het wel kon vergeten.
Blijkbaar had de mod een sterke mening en liet hij die meewegen, wat em niet siert.
Het is vaak bij controversiële onderwerpen, vernieuwende wetenschappelijke theorieën. Dat word constant veranderd naar een omschrijving die zich aansluit bij de algemeen geaccepteerde versie. En dat geven ze ook toe, dat dat hun beleid is.
En zo helpen ze mee aan het gegeven dat nieuwe inzichten de eerste 50 jaar compleet belachelijk worden gevonden, na 100 jaar de meenste wetenschappers er niet meer om heen kunnen en pas na 150 het algemene kennis is.

[bbob]

Kan ook de voors en tegen in 1 artikel ook goede oplossing.

[koelpasta]

In de perfecte wereld is er maar 1 versie waarheid en die moet weergegeven worden en wat iedereen die het daar om wat voor rede niet mee eens is heeft pech.

1. Een perfecte wereld bestaat niet (perfect volgens wie?).
2. Je stelt hier het structureel onderdrukken van kennis en mening voor om een perfece wereld te krijgen. Dat lijkt me juist verre van perfect. Daarmee trek je je eigen stelling onderuit.

Gewoon 1 waarheid is wat we nodig hebben anders blijft de halve wereld onder hun steen wonen.

Er bestaat geen 'gewoon 1 waarheid'.
Waarheid en werkelijkheid zijn onderheving aan waarneming en waarneming is nooit totaal of compleet. Waarheden zijn dus per definitie point of view.

[Reactie gewijzigd door koelpasta op 24 juli 2024 06:46]

[Galeton]

Een beter idee bij 2 ontwerpen en objectiever zou zijn 2 versies, de ene volgens de ene groep de ander volgens de andere groep. De ene groep blijft van de ander af en omgekeerd.

Deze begrijp ik even niet. Je wil ieder artikel dus twee maal beoordelen en dan de lezer de keuze geven welke van de twee beoordelingen beter is? Dat vind ik vrij omslachtig. Dan kun je beter één van beide kiezen en er op vertrouwen dat mensen zo slim zijn ook zelf even goed na te denken over wat de beoordeling betekent in relatie tot het artikel zelf.
Kun je uitgaan dat mensen dit zo objectief kunnen? Denk het niet, niet iedereen. Maar vooralsnog vind ik een enkele beoordeling nog altijd beter, ook al is die flawed. Anderrs krijg je hetzelfde als producten in de supermarkt: 25 keurmerken en betrouwbaarheidsindices op basis van verschillende criteria.

[Reactie gewijzigd door Galeton op 24 juli 2024 06:46]

[bbob]

Nee 2 versies artikelen over 1 onderwerp. 1 volgens de ene aanhangers, de ander volgens de andere.

[Zer0]

Ja, en op een gegeven moment krijg je 100 artikelen over 1 onderwerp omdat er 100 mensen zijn die net even anders over het onderwerp denken..

[bbob]

Het in het belachelijke trekken zoals jij doet ligt natuurlijk voor de hand.
Zie liever dat je dan met een werkend alternatief komt aangezien het nu schijnbaar niet werk.

[Yamotek]

Dan nog is deze manier wel een oplossing voor hoe het nu gaat. Nu moet alles handmatig gedaan worden en is er gewoon te weinig capiciteit om alles te controleren. Hierbij kan een artikel wat dus totaal niet neutraal is als een goed artikel worden aangemerkt omdat het objectief lijkt en veel bronnen heeft en omdat het toevallig niet gecontroleerd is. Volgens mij is het ook niet zo als dit ingevoerd zou worden dat de handmatige controle verdwijnt, meer dat dit een aanvulling is.

Dit is meer een stap in de goede richting, het is niet een totale oplossing voor het probleem wat jij aangeeft.

[paoper]

Ach, dat doen politieke organisaties nu ook al zo vaak en zo veel ze kunnen. Als dan het bijproduct betere informatie over 'neutrale' onderwerpen wordt, vind ik dat alleen maar beter

[Verwijderd]

Probleem is dat de 'sturende' informatie, wel 'approved' of 'hoog gerate' wordt door het algoritme, terwijl die natuurlijk vals kan zijn. En andersom.

[Tourmaline]

Noemt men dit niet manipulatie?!

[Blaise]

Politieke organisaties zouden bijvoorbeeld over 'neutrale' onderwerpen bewust zware credibility kunnen opbouwen, om zo juist bij wat politiek sensitive onderwerpen 'sturing' te geven aan de informatie.

Gerelateerd: https://xkcd.com/810/

[computerjunky]

Ik gebruik het voor series en episode guides en daar blijft het bij. Een algoritme kan de inhoud niet controleren op waarheid dus daar waar het uit maakt kijk ik liever verder dan 1 website.

[atillav]

Het doet me denken aan popular voting technieken zoals "The Voice".
Populariteitsscores zijn iets anders dan kwaliteitsscores.