X: AI ondermijnt moderatie met communitynotes

Onderzoekers van sociaal netwerk X waarschuwen voor het gevaar dat AI-gebruik voor communitynotes juist ondermijnend werkt voor contentmoderatie. In een paper beschrijven zij de risico’s, nadat X onlangs begon met een test met AI-geschreven communitynotes.

Hallucinaties en versterking van misinformatie zijn reële risico’s die AI-gebruik voor contentmoderatie met zich meebrengen, schrijven onderzoekers van X in een paper. Ook met menselijke medewerking en eindverantwoordelijkheid kan AI-inzet juist het modereren van content aantasten, is een van de conclusies.

Het paper zet het gebruik van large language models voor communitynotes wel neer als een upgrade van dat systeem. De samenwerking tussen mensen en AI-bots zoals X dat wil, moet de opmerkingen vanuit de gemeenschap een impuls geven. Zowel de kwantiteit als de kwaliteit zouden daarmee moeten verbeteren en zo bijdragen aan ‘de productie van publieke kennis’. “Dit gaat verder dan simpelweg factchecken; het gaat naar een dynamische, positieve feedbackloop”, schrijven de onderzoekers.

De opzet is dat een mens altijd nog de AI-geschreven notes beoordeelt en daar feedback over geeft aan de achterliggende AI. Die moet daardoor steeds beter worden in het schrijven van communitynotes. Dit moet dan mensen weer werk schelen, waardoor zij meer tijd krijgen voor moeilijkere, genuanceerde controle en moderatie van posts. Overigens hoeft de gebruikte AI niet per se het eigen Grok van X te zijn.

Deze inzet van AI heeft wel enkele grote uitdagingen, schrijven de onderzoekers. Zo is er het gevaar dat AI dan overtuigende, maar onjuiste opmerkingen oplevert. Llm’s die zijn geoptimaliseerd om hoog te scoren op hulpvaardigheid kunnen zeer bedreven worden in het maken van teksten die overtuigend zijn, emotioneel een snaar raken, neutraal lijken, maar toch feitelijk onjuist zijn. Dit kan dan menselijke moderators misleiden.

Bovendien kunnen geavanceerde llm’s in hun respons op menselijke feedback van moderators ook weer overtuigende onderbouwingen voor hun notes onderzoeken en aanleveren. Ten eerste kan AI een schijnbaar robuuste set aan bewijsmateriaal construeren voor nagenoeg elke bewering, ongeacht hoe waarheidsgetrouw die is. Dat maakt het voor menselijke moderators dan nog moeilijker om misleiding of fouten te detecteren.

Naast dat gevaar van overtuigend gebrachte en overtuigend onderbouwde foute communitynotes zien de onderzoekers nog een tweede, menselijker risico. Er kan bij mensen minder motivatie, betrokkenheid en een kritische houding ontstaan wanneer zij te maken krijgen met grote hoeveelheden goed geschreven communitynotes. “Het is voor te stellen dat het gevoel van ownership en ‘skin in the game’ vermindert als het platform gedomineerd wordt door de snelheid en schaal van AI.” Menselijke moderators maar ook contentposters kunnen dan afhaken, wat ook de diversiteit van die twee groepen kan verminderen.

Verder noemen de onderzoekers het risico van homogenisering en verminderde creativiteit, plus het risico van overload voor moderators. Dat eerste betekent dat AI-gegenereerde content uitkomt op een uniforme, matte stijl die geoptimaliseerd is om geen aanstoot te geven en goedgekeurd te worden. Het laatste risico is de discrepantie tussen AI-capaciteit en menselijk vermogen om bij te blijven. De mogelijke stortvloed aan AI-notes kan menselijke moderators overstelpen of afstompen.

Het in 2021 door X uitgerolde systeem voor communitynotes vertrouwt nu geheel op mensen, die dat moderatiewerk als vrijwilligers uitvoeren. Facebook en Instagram gaan het voorbeeld van X volgen en gebruiken daarbij ook het algoritme van het voormalige Twitter. Het is nog niet duidelijk of Meta ook het AI-voorbeeld van X voor communitynotes wil volgen.

IT-banen

Reacties (71)

jdh009

Websites en community's

3 juli 2025 20:57

Het hele systeem is in mijn ogen onwenselijk. Het lijkt vooral aantrekkelijk voor X omdat het goedkoop is en de dure route van grootschalige professionele moderatie grotendeels kan worden omzeild, en mogelijk omdat ze hopen op deze manier (de DSA-toetsing is nog gaande) op een voor hen minimale en minst impactvolle manier aan de Europese zorgplicht te voldoen.

Daarbij vind ik het merkwaardig dat de naam “community notes” behouden blijft, nu AI suggesties aanlevert die, waarschijnlijk, vervolgens door mensen grotendeels routinematig als stempelmachines worden goedgekeurd. Daarbij ook nog eens... Community Notes helpen niet echt: de schade is al gedaan, het zaadje al geplant. Theoretisch klinkt het concept het leuk, in de praktijk komen ze meestal te laat en zijn ze zeker niet voldoende om de snelle en wijdverspreide impact van desinformatie te keren. Daarbij richt het systeem zich vooral op zichtbare accounts. Kleine of niet-geverifieerde gebruikers blijven grotendeels buiten beeld, ook als ze aantoonbaar misinformatie verspreiden.

Tegen de tijd dat een note verschijnt, is een bericht vaak al miljoenen keren bekeken en duizenden keren gedeeld. In data zie je dat al 80% van de retweets heeft plaatsgevonden voor er iets zichtbaar wordt. Slechts 13,5% van de nuttige notities is zichtbaar vóór het moment waarop de helft van de reposts al is geplaatst; 80% van de interactie vindt gemiddeld al plaats vóór de correctie zichtbaar wordt. De correctie loopt standaard achter de feiten aan.

The introduction of Community Notes on Twitter did not significantly reduce engagement with misleading tweets, suggesting it may be too slow for effective reduction in early stages of misinformation diffusion.

Although we observe a significant increase in the volume of fact-checks carried out via Community Notes, particularly for tweets from verified users with many followers, we find no evidence that the introduction of Community Notes significantly reduced engagement with misleading tweets on Twitter.

Bron: https://arxiv.org/abs/2307.07960

Ondanks de toename in het aantal fact-checks via Community Notes, blijkt uit onderzoek dat de introductie van deze functie de betrokkenheid bij misleidende tweets niet significant heeft verminderd.

Oud medewerkers van Twitter geven dit ook aan:

Former head of Twitter's Trust and Safety, Yoel Roth, has since expressed concern over the effectiveness of the system in the early stages of the program, stating that Birdwatch was never supposed to replace the curation team, but instead intended to complement it. Another former employee said it was "an imperfect replacement for Trust and Safety staff". In April 2022, a study presented by MIT researchers subsequently found users overwhelming prioritised political content, even though 80% were correctly considered misleading.[6]

A Community Notes contributor and NAFO member has said it is liable to coordinated manipulation, rife with infighting, and lacks oversight from the platform. Wired noted that in the backend of the database most notes remain unpublished, and that numerous contributors engage in "conspiracy-fueled" discussions.[6] According to Musk, anyone trying to "weaponize Community Notes to demonetize people will be immediately obvious", due to the open-source nature of the code and data.

Zie Wikipedia: Community Notes

Daarbij las ik in een rapport van Countering Digital Hate dat 74% van (accurate) notities op door hun onderzochte misinformatie nooit worden gepubliceerd, waardoor misleidende berichten zonder aarzeling miljoenen malen worden bekeken.
Bron: https://counterhate.com/wp-content/uploads/2024/10/CCDH.CommunityNotes.FINAL-30.10.pdf

While community notes exhibited a pronounced treatment effect, the timing of their display poses a significant challenge. Compared to the rapid dissemination of posts on X, fact-checking via community notes was relatively slow. In our data, the half-life of reposts over 36 hours is 5.75 hours with only 13.5% of all helpful notes displayed before this time point. The long delay in displaying community notes rendered them ineffective in curtailing the spread of misinformation during the early, and often most viral, stages of diffusion. Specifically, our study shows that community notes – in its current implementation – reduced the overall number of reposts on X by merely 15.3%. The crucial implication here is that community-based fact-checking interventions need to be faster in their response to misinformation dissemination to make a more substantial impact.

https://arxiv.org/html/2409.08781v1

Wat dit onderzoek bovenal blootlegt, is niet alleen dat Community Notes te laat komen, maar dat het systeem ook ná publicatie nauwelijks ingrijpt. Zelfs als je alle notes meetelt die ooit zichtbaar worden, daalt het aantal reposts gemiddeld met slechts 15,3%. Dat cijfer laat vooral zien hoe gering het netto-effect is, ook los van de timing. Het echte probleem zit dieper: de snelheid van verspreiding op X (de helft van alle reposts binnen zes uur) is fundamenteel onverenigbaar met een correctiemechanisme dat pas later optreedt. Zelfs als je het systeem sneller zou maken, blijft het dweilen met de kraan open...

Overall, the studies suggest that adding community notes may significantly reduce the likelihood of a post being reshared (25-60%), but since there is a substantial time delay from when a tweet is made and then receives a note (an average ~ 15 hours, or after 80% of retweets have been made) and only a subset of posts with misinformation posts ever receive a note, Community Notes overall may have a small impact in reducing misinformation

Bron: https://www.prosocialdesign.org/library/crowdsourcing-contextual-information-community-notes

Over the posts' entire lifespans, these reductions amount to 11.4% fewer reposts, 13.0% fewer likes, 7.3% fewer replies, and 5.7% fewer views on average. In reducing reposts, we observe that diffusion cascades for fact-checked content are less deep, but not less broad, than synthetic control estimates for non-fact-checked content with similar reach.

Als je deze cijfers naast elkaar legt, blijft er weinig over van het idee dat Community Notes een krachtig wapen zijn tegen mis- of desinformatie. De berichten bereiken vrijwel net zoveel mensen, en het verschil in likes, replies en reposts is marginaal. En daarbij, niet alle onderzoeken zijn het eens over de mate of duur van het effect, maar zelfs in de meest optimistische gevallen blijft het effect structureel bescheiden. De verspreiding wordt bij sommige iets minder diep, maar niet minder breed. Dat is naar mijn mening geen mitigatie... dat is window dressing. Structureel ontoereikend voor wat het zou moeten doen.

Het blijft allemaal symptoombestrijding, een laag vernis die systemische desinformatieproblemen moet maskeren zonder de onderliggende oorzaken of verspreidingsstructuren aan te pakken, en zonder verantwoordelijkheid te nemen voor een gerichte aanpak van o.a. bots, trollfarms of buitenlandse actoren, die dit soort shit actief verspreiden en onder de aandacht brengen.

[Reactie gewijzigd door jdh009 op 3 juli 2025 21:04]

Lees meer

IT-banen

Reacties (71)

Sorteer op:

Weergave: