OpenAI stopt netwerken die ChatGPT gebruikten voor beïnvloedingscampagnes

OpenAI heeft vijf netwerken van gebruikers offline gehaald die ChatGPT inzetten om beïnvloedingsoperaties uit te voeren. Volgens het bedrijf ging het om netwerken uit Rusland, China, Iran en Israël die de chatbot gebruikten om bijvoorbeeld artikelen te schrijven.

OpenAI schrijft in een blogpost dat het vijf verschillende zogenaamde 'invloedoperaties' heeft gedetecteerd. Het is niet duidelijk hoe groot die groepen waren en uit hoeveel accounts ze bestonden, maar OpenAI zegt dat de beïnvloedingscampagnes 'hun doelgroep niet significant hebben doen groeien door onze tools'. De netwerken werden in de afgelopen drie maanden gedetecteerd.

Het bedrijf wijst specifiek vier landen aan die ChatGPT gebruikten voor meerdere onderdelen van beïnvloedingscampagnes die plaatsvonden via onder meer Telegram, X en 9GAG. Zo werkte een Russische groep genaamd Bad Grammar met ChatGPT om code te debuggen om Telegram-bots te bouwen. Een andere Russische groep gebruikte ChatGPT om comments in Europese talen te plaatsen op platformen zoals X en 9GAG. Ze lieten ook artikelen schrijven en titels genereren voor een nepnieuwscampagne die vervolgens op Facebook werd gedeeld.

Een Chinees netwerk gebruikte ChatGPT om socialemedia-activiteit te analyseren en een Israëlisch bedrijf gebruikte de AI om artikelen te schrijven en verspreiden in verschillende talen. Volgens OpenAI draaiden de beïnvloedingsoperaties onder andere om de oorlogen in Oekraïne en Gaza en om de verkiezingen in India. De campagnes zouden zich verder ook richten op de Europese en Amerikaanse politiek, waar dit jaar verkiezingen plaatsvinden.

OpenAI heeft de laatste tijd vaker actie ondernomen tegen netwerken die ChatGPT gebruiken voor beïnvloedingscampagnes, net als andere techbedrijven zoals Meta en X dat regelmatig doen. Het bedrijf zegt dat zulke netwerken AI voornamelijk inzetten om engagement op te krikken en content te genereren. Daarbij wordt AI echter nooit exclusief gebruikt, zegt OpenAI; het gaat bijna altijd om een mix van traditionele beïnvloedingscampagnes.

Reacties (33)

[- peter -]

Vooral interessant is dan de prompts die ze zouden gebruiken. Dat geeft wel inzicht lijkt me in wat ze proberen te bereiken.

[Verwijderd]

Het zou natuurlijk wel raar zijn als openai dat vrij gaat geven. Daarnaast kunnen anderen dat weer gebruiken om op eenzelfde manier nepnieuws te maken

[jdh009]

Tot op zekere hoogte, maar het kan ook een enorme bron van data zijn waaruit wetenschappers en journalisten nieuwe inzichten kunnen halen over hoe zulke netwerken opereren en hoe ze bepaalde berichten opstellen, verfijnen, verspreiden en extra onder de aandacht brengen door het bereik door middel van interactie verder te vergroten. Daar is namelijk beperkte wetenschappelijk kennis over op dit moment omdat het verzamel van de data lastig is. Deze dataset zou van grote waarde zijn omdat je er waarschijnlijk goed uit kunt afleiden waar ze zich op richten en hoe ze zaken proberen te beïnvloeden. Bovendien kun je met de gegenereerde teksten zoeken naar waar ze geplaatst zijn en de impact ervan onderzoeken.

Deze dataset zou van onschatbare waarde zijn om niet alleen inzicht te krijgen in de strategieën en doelen van beïnvloedingscampagnes, maar ook om beter weerbaar te worden tegen dergelijke bedreigingen. Door het analyseren van de gegevens kunnen wetenschappers en beleidsmakers effectievere tegenmaatregelen ontwikkelen en implementeren. Hoewel ik verwacht dat de strijd tegen desinformatie altijd een 'whack-a-mole'-spel zal blijven vanwege de voortdurende aanpassingen van de kwaadwillende landen en het gebrek aan regelgeving omtrent de verantwoordelijkheid en aansprakelijkheid van bedrijven bij de verspreiding van desinformatie op hun platforms, biedt deze dataset een cruciale bron van kennis.

Hiermee kunnen we de dynamiek van desinformatiecampagnes beter begrijpen en proactief werken aan het verbeteren van onze weerbaarheid tegen dergelijke aanvallen. Tegelijkertijd moet de politiek stappen ondernemen om strengere regelgeving en verantwoordelijkheidseisen in te voeren voor bedrijven die deze platforms beheren, zodat de verspreiding van deze vorm desinformatie effectiever kan worden tegengegaan. Met onderzoeksresultaten die komen uit deze set kunnen die stappen gemakkelijker gemaakt en onderbouwd worden.

Zie ook onderstaand onderzoek van SVT Nyheter waar enorm veel tijd is in gaan zitten:

Een recent onderzoek door SVT Nyheter onthult een geavanceerde door Rusland gelinkte beïnvloedingscampagne die erop gericht is de westerse steun voor Oekraïne te ondermijnen door middel van systematische desinformatie. Deze campagne omvat het verspreiden van valse verhalen op sociale media, die vervolgens worden opgepikt door verschillende mediakanalen, gewassen en wereldwijd verspreid. Een voorbeeld dat door SVT wordt beschreven, betreft een verzonnen verhaal over de moord op een Egyptische journalist door Oekraïense troepen, aanvankelijk gepubliceerd door een anoniem YouTube-account, daarna verspreid door Egyptische kranten, en uiteindelijk verspreid door Engelstalige sites die gekoppeld zijn aan Russische IP-adressen. Deze methode zorgt ervoor dat de valse verhalen geloofwaardig lijken en moeilijk terug te leiden zijn naar Rusland. Onderzoekers hebben meerdere soortgelijke gevallen van desinformatie geïdentificeerd die dit patroon volgen.

https://www.svt.se/specia...information-is-laundered/

En heeft raakvlak met een post die ik eerder geschreven heb:
jdh009 in 'Minister Dijkstra: niet taak van de overheid om te bepalen wat desinformatie is'

[Reactie gewijzigd door jdh009 op 23 juli 2024 05:01]

[WillySis]

Voor de wetenschap zijn de prompts zeker interessant. Ik hoop ook dat wetenschappers met een relevante onderzoeksvraag toegang tot de data kunnen krijgen.
Voor journalisten is het misschien interessant maar, buiten een paar groepen onderzoeksjournalisten, zijn er weinig die echt serieus wat met dit soort data kunnen. Geef je journalisten toegang, dan geldt dat ook voor "journalisten" die ingehuurd worden om juist dit soort propaganda en nepnieuws te verspreiden.

[jdh009]

Geef je journalisten toegang, dan geldt dat ook voor "journalisten" die ingehuurd worden om juist dit soort propaganda en nepnieuws te verspreiden.

Ik denk dat dit in de praktijk wel zal meevallen. Uit ervaring blijkt dat je bepaalde gevestigde instituten toegang kunt geven die een bewezen staat van dienst hebben. Kijk bijvoorbeeld naar de casussen rondom WikiLeaks en hoe zij samenwerkten met gerenommeerde kranten om informatie te filteren. Die hebben samengewerkt met o.a. gevestigde nieuwsorganisaties zoals The New York Times, The Guardian, en Der Spiegel bij de publicatie van documenten zoals de Irak-oorlogsdocumenten en de Amerikaanse diplomatieke telegrammen. Waarbij ze een belangrijke rol speelden bij het analyseren, verifiëren en redigeren van de gelekte documenten om zo gevoelige informatie te beschermen en de inhoud journalistiek verantwoord te presenteren. Die rol kun je gevestigde namen prima toebedelen.

[Reactie gewijzigd door jdh009 op 23 juli 2024 05:01]

[WillySis]

Ik schrijf al dat naast een aantal groepen onderzoeksjournalisten (daar mag je grote kranten redacties ook wel toe rekenen) weinig journalisten zijn die iets met die data kunnen. Die weinige journalisten zullen vaak wetenschappers bij hun onderzoek betrekken. Daarmee hebben ze (wat mij betreft) toegang tot de data. Om het alleen van de "gevestigde naam" af te laten hangen vind ik geen werkzaam criterium.
Onderzoek aan dit soort data is lastig. Ik zou het bijvoorbeeld zelf misschien kunnen (ik heb genoeg wetenschappelijke data verwerkt), maar ik zou mijn eigen conclusies niet zomaar vertrouwen. Het is namelijk bij dit soort data heel gemakkelijk dat er plausibele links uitkomen die eigenlijk nergens op slaan. Je hebt ook mensen nodig die je conclusies testen op een andere (grotere) dataset. Natuurlijk kan je dat zelf, maar je bent dan al "biased" en daarmee niet de juiste persoon on kritisch genoeg naar de uitkomsten te kijken.
Zelf zou ik een opdracht om dit soort data te verwerken weigeren. Ik heb daarvoor te weinig sociale, taalkundige en politieke kennis. Dat zijn wel vakgebieden die je redelijk moet beheersen om wat zinnigs met de data te kunnen. Een individu die die vakgebieden allemaal voldoende beheerst en ook goed met "zachte data" om kan gaan zal wel bestaan, maar of die ook nog journalist is betwijfel ik.

[twigsagan]

" Volgens het bedrijf ging het om netwerken uit Rusland, China, Iran en Israël die de chatbot gebruikten om bijvoorbeeld artikelen te schrijven."

Goed om te zien dat hier gewoon het landje bij naam genoemd wordt. Het Eurovisie songfestival had meer moeite zich uit te spreken tegen ongepast gedrag en verbasterde Israel naar "Sommige landen". Fijn om te zien dat hier eerlijk bericht wordt.

Meer ontopic: Ik heb zelf ook wel eens zitten denken om chatGPT te automatiseren om te gebruiken tegen desinformatie op forums als 9gag waar racisme hoogtij viert. Maar in principe ben je dan hetzelfde aan het doen als waar het artikel over gaat. De vraag is dan of dat moreel verantwoord is of niet.

[Reactie gewijzigd door twigsagan op 23 juli 2024 05:01]

[vlaaing peerd]

Klopt op zulke sites is het 'ragebait' gehalte ronduit extreem, maar hetzelfde gebeurt als je doorklikt op tiktok, Youtube, en dergelijke.

Ook ik vraag me af of het ethisch is om dat met dezelfde middelen te counteren, want het is letterlijk maatschappij-ontwrichtend en het lijkt gewoon vrij spel te hebben. Daarnaast vraag ik me af wat je er nog tegen kan doen, soms lijken gebruikers daar zover geradicaliseerd dat ze voor geen enkele nuance nog vatbaar zijn.

[Yalopa]

Het beste is om dit soort platformen te verlaten, zodat enkel de vuiligheid van het internet tegen elkaar kan roepen, al dan niet met gebruik van gen AI

[twigsagan]

Het probleem met die aanpak is dat zij nieuwe mensen blijven aantrekken met hun desinformatie. We zullen dus toch echt iets meer moeten doen dan niets.

[k995]

Goed bedrijven moeten daar meer naar uitkijken als ze dit niet willen.

[PsiTweaker]

Dat nieuws gemanipuleerd wordt met dit soort technieken, dat was natuurlijk te voorzien. Samen met deepfakes is het straks bijna onmogelijk, om zonder enige achterdocht naar nieuws, informatie en/of achtergronden te kijken.
Want terwijl je de info opneemt en toetst aan je eigen mening, moet je nu ook nog controleren of de informatie wel echt lijkt/is en hoe is dat mogelijk als het nieuwe informatie en/of nieuwe theorieën zijn ?

Prachtig al die technieken, maar graven we ons eigen graf niet ? Wetgeving kan even lucht geven, maar o.a. criminele organisaties houden zich daar natuurlijk niet aan en dus zal het van kwaad naar erger gaan.
Waarbij men zich eerst zal moeten afvragen, hoe waarschijnlijk een artikel/publicatie/statement is en dan deze pas inhoudelijke moet lezen, waarna men nogmaals moet bedenken of e.e.a. wel echt is.

Tevens leren nieuwe AI systemen van de informatie die op het internet staat. Waarbij er dus een kans is, dat gemanipuleerde informatie als basis dient voor AI system en e.e.a. zich zo ongewild én ongemerkt versterkt.

De tijd dat men klakkeloos informatie op kan nemen, ligt duidelijk allang achter ons.

[Reactie gewijzigd door PsiTweaker op 23 juli 2024 05:01]

[raro007]

En daarom verwacht ik dat internet straks op slot gaat en China of Rusland dis informatie hier niet zomaar kunnen plaatsen.

[nullbyte]

moet je nu ook nog controleren of de informatie wel echt lijkt/is en hoe is dat mogelijk als het nieuwe informatie en/of nieuwe theorieën zijn ?

Hoe weet je nu of de website die je bezoekt wel echt tweakers.net is? Hoe communiceer je veilig met je bank? Hoe wordt er in de IT voor integriteit en vertrouwelijkheid gezorgd?

[PsiTweaker]

Als u dat weet, dan mag u het zeggen !

Juist door AI wordt het verschil steeds kleiner en dus moeilijk te onderscheiden.

[supersnathan94]

SSL.

Maar daar heb je niet zoveel aan in dit soort gevallen. Kan het “kanaal” waardoor je de info krijgt nog wel “vertrouwd zijn”. Betekent niet dat de inhoud ook juist is.

We zien hier ook echt wel eens inhoudelijke foutjes. Kan gebeuren, maar is niet expres. Als het wel expres gebeurt is het aan ons om daar kritisch over te zijn. Het probleem is alleen dat we dan wel een expert nodig hebben die dat aangeeft. En dat is in veel gevallen met AI content op een Youtube gewoon niet te doen doordat de comments zelf gewoon te talrijk zijn en correcte informatie verwijderd wordt of ondergesneeuwd raakt door andere bots of gewone gebruikers.

[eric.1]

Het is eigenlijk om moedeloos van te worden. Mijn vriendin zit geregeld op social media, waar zij dan pagina's en kanalen van volledig AI-gegenereerde content voorgeschoteld krijgt. De meest absurde onzin komt voorbij, terwijl er wordt gedaan alsof dit een serieus nieuws-item betreft. Nu zijn de kanaal/account-namen veelal vrij niet-origineel (Nieuws Nieuws, om maar iets te noemen), maar toch, als dat verbetert dan hebben we best een probleem want inhoudelijk moet je eigenlijk al weten wat er gaande is om in te zien dat er niets van klopt.

Ik denk dat het hoog tijd wordt om deze taak bij de leveranciers weg te trekken, imo. Als we dit niet onder controle gaan krijgen, hebben we denk ik echt een serieus probleem.

[JustFogMaxi]

Waarom uberhaupt chatgpt gebruiken? Draai gewoon een model offline, goed genoeg om wat comments te genereren.

[Firestorm666]

"Steun voor oorlogen, verdriet, verderf, uitbuitingen en slavernij worden allemaal goed gepraat"

Zei de mens die volgens z'n profiel in Moskou woont, de hoofdstad van Rusland met daar een staatshoofd die gestart is met bommen te gooien op een ander land....

[NicoJuicy]

Geef maar voorbeelden. Ik heb de hele historie van Rusland bestudeert en het is puur imperialisme

( En propaganda voor de bevolking om het op iemand anders te steken).

En met propaganda bedoel ik ook het dehumaniseren van Oekraïners, zie: Hohol

[Reactie gewijzigd door NicoJuicy op 23 juli 2024 05:01]

[GoodGuy]

Ik ben al langere tijd op zoek naar die hele lange historie die eraan vooraf ging. Maar als ik er dan meer over lees komt het toch vooral neer op de ambities van Poetin en de iedere keer weer door hem gebruikte strategie van het creëren van wat interne spanningen en met name onwaarheden om een en ander te rechtvaardigen voor (een deel van) eigen bevolking en vervolgens binnenvallen onder het mom van de etnische russen beschermen.

Zie bv Transnistrië, Georgie.

Maar ik ben benieuwd naar jou versie van het verleden van de oorlog in Oekraïne?

[GoodGuy]

Ok, dat verhaal. Klopt dat inderdaad na de val van de muur in de discussie over de hereniging van Duitsland in geheime besprekingen is gezegd dat de er geen verdere uitbreiding naar het Oosten zou plaatsvinden. Dit is echter nooit op papier gezet en de exacte bedoeling van deze uitspraak blijft onduidelijk. Gorbatsjov heeft zelf hierover gezegd dat dit niet over Navo uitbreiding ging.

Echter, meer relevant is dat daarna (1993) Boris Jeltsin akkoord is gegaan met de toetreding van Polen tot de Navo. Ook daarna, in samenwerkingsakkoord tussen Navo en Rusland (1997) erkent Rusland het recht van landen om lid te worden van de Navo. Dus die al onduidelijke mondelinge belofte is daarna achterhaald door Rusland zelf.

Poetin blijft hameren op een oude vage belofte uit een geheime onderhandeling terwijl daarna gewoon zwart op wit het tegendeel is afgesproken.

Dat de Oekraïense bevolking zich over de tijd tegen Rusland heeft gekeerd is voor 99% te danken aan Rusland zelf die net als in Belarus via een 'marionetten regering' de zaak probeert te controleren. Dit is de belangrijkste reden voor het verlies van de Russische gezinde regering in verkiezingen en de opstand die daar op volgde.

Die agressieve houding van de VS zie ik niet echt. Landen wilde graag lid worden van de Navo omdat ze zich direct bedreigd voelde door het steeds agressievere beleid van Rusland. Je ziet ook dat ongeveer alle voormalige Sovjetrepublieken die niet tot de Navo zijn toegetreden nu conflicten hebben met Rusland (of volledig worden gedomineerd door Rusland zoals Belarus).

Daarnaast gaat er geen bedreiging uit van de Navo naar Rusland. Er gaat een preventieve werking uit waardoor Rusland zijn dominante buitenslandse politiek richting buurlanden niet meer kan uitoefenen. Zolang Rusland binnen zijn eigen landsgrenzen blijft hebben ze niks te vrezen van de Navo. Sterker nog veel landen in de Navo (bv Duitsland maar ook veel landen in Oost Europa) heeft sterk aangestuurd op samenwerking en hebben zichzelf afhankelijk gemaakt van Russische energie. Dat geeft al aan dat er geen enkele ambitie was om Rusland te bedreigen.

[GoodGuy]

Er is toch geen enkel land in de Navo die ook maar een vierkante centimeter Russisch grondgebied ambieert. De bedreiging die Rusland ziet is de beperking om hun eigen plannen (veroveren van gebied) te verwekelijken. Als Rusland binnen de eigen grenzen blijft gaat er echt niks gebeuren, sterker nog de meeste Navo landen zijn al decennia bezig hun defensie uitgaven terug te schalen. Alleen door de dreiging vanuit Rusland gaat die nu weer sky high. Zelfde voor toetreding Zweden en Finland, puur op basis van Russische agressieve politiek.

En inderdaad die relatie tussen Rusland en Oekraïne was heel goed. Wel vreemd dat de VS dat dan heeft kunnen verpesten vanaf de andere kant van de planeet. Of zou het door het beleid van Poetin komen dat die relatie zo is verslechterd? Misschien omdat Poetin ook de baas wou spelen in Oekraïne en dat dit volk het daar niet zo mee eens was? En dat het expres het onderlinge wantrouwen heeft aangewakkerd (net zoals in andere landen).

Ik ga hier het buitenland beleid van de VS niet goedpraten maar er is in dit conflict een overduidelijke aggressor die inderdaad van Oekraïne een slachthuis heeft gemaakt, ook nog voor een groot deel van zijn eigen soldaten.

[NicoJuicy]

Heb je gezien hoe laag de militaire aanwezigheid in Rusland bij die grenzen?

Rusland vind het geen bedreiging. Waarom jij wel?

=> Propaganda

De enige reden waarom landen de NATO toetreden, is de schuld van Rusland. That's it. Rusland had weinig problemen dat Finland toetreed fyi, dus je logica houdt geen steek.

https://english.aawsat.co...sian%20leader%20continued.

Das een grens van > 1300 km ..

Fyi, als Oekraïne Russen als broeders beschouwt. Hoefde Rusland niet binnen te vallen in 2014...

[Reactie gewijzigd door NicoJuicy op 23 juli 2024 05:01]