OpenAI: Chinese, Russische staatshackers misbruikten ChatGPT voor cyberaanvallen

Staatshackers uit China, Rusland, Iran en Noord-Korea misbruikten ChatGPT voor cyberaanvallen. Dat melden OpenAI en Microsoft in een gezamenlijk onderzoek. Ze misbruikten de diensten bijvoorbeeld voor onderzoek en om content voor phishingcampagnes te schrijven.

OpenAI deed samen met Microsoft onderzoek naar het gedrag van de hackersgroepen. Volgens de twee bedrijven is dit de eerste keer dat op deze manier wordt gedocumenteerd hoe staatshackers generatieve AI gebruiken bij hun cyberaanvallen. De diensten van OpenAI werden vooral gebruikt om aanvallen te ondersteunen, en niet om volledige aanvallen te genereren.

Samen met Microsoft heeft het Amerikaanse AI-bedrijf vijf hackersorganisaties 'verstoord' die in opdracht van een staat werken. Het gaat om twee threat actors uit China en hackersgroepen uit Rusland, Iran en Noord-Korea die aan de overheid gelieerd waren. De groepen wilden volgens het bedrijf AI-diensten misbruiken om 'kwaadaardige cyberactiviteiten' te ondersteunen. De OpenAI-accounts die bij deze actoren hoorden, zijn opgeschort.

"Cybercrimegroepen, nation-state threat actors en andere tegenstanders onderzoeken en testen verschillende AI-technologieën in een poging inzicht te krijgen in de potentiële waarde voor hun activiteiten en de beveiligingsmaatregelen die ze mogelijk moeten omzeilen", schreef Microsoft op woensdag.

Hackers misbruikten de diensten van OpenAI over het algemeen voor het opvragen van openbare informatie, het doen van vertalingen, het vinden van fouten in code en het uitvoeren van basale programmeertaken. Zo misbruikte de Russische staatshackersgroep Forest Blizzard, ook wel bekend als Strontium, ChatGPT vooral voor onderzoek naar satellietcommunicatieprotocollen en radarbeeldtechnologie en voor ondersteuning bij scriptingtaken.

De Noord-Koreaanse hackersgroep Emerald Sleet, ook wel Thallium, heeft grote taalmodellen als GPT-4 gebruikt om onderzoek te doen naar openbaar bekende kwetsbaarheden en om phishingcontent te genereren. Het Iraanse Crimson Sandstorm, vroeger ook bekend als Curium, misbruikte diensten van OpenAI voor ondersteuning bij scripting voor app- en webdevelopment, gerichte spearphishingcampagnes en onderzoek naar veelvoorkomende manieren waarop malwaredetectie omzeild kan worden.

De twee gedetecteerde Chinese groepen, Chromium en Sodium, misbruikten de tools om onderzoek te doen naar bedrijven, cybersecuritytools en inlichtingendiensten. Ze zetten de diensten ook in voor het vertalen van technische papers, assistentie bij het programmeren en meer. OpenAI heeft al langer beveiligingstechnieken waardoor de tool niet kan worden misbruikt om malwarecode te schrijven zoals ransomware of keyloggers.

Microsoft en OpenAI hebben nog geen 'grote aanvallen' gedetecteerd waarbij grote taalmodellen worden ingezet. Tegelijkertijd zijn de bedrijven naar eigen zeggen van mening dat het belangrijk is om 'vroege, stapsgewijze bewegingen van dit soort hackergroeperingen bloot te leggen' en om informatie te delen over hoe die pogingen worden geblokkeerd. Het bedrijf waarschuwt ook voor toekomstige technologieën die gebruikt kunnen worden bij cyberaanvallen, zoals neptelefoongesprekken waarbij stemmen worden nagebootst met AI.

Door Daan van Monsjou

Nieuwsredacteur

14-02-2024 • 14:37

47

Lees meer

Reacties (47)

47
46
25
0
0
19
Wijzig sortering
De diensten van OpenAI werden vooral gebruikt om aanvallen te ondersteunen, en niet om volledige aanvallen te genereren.
(...)
Hackers misbruikten de diensten van OpenAI over het algemeen voor het opvragen van openbare informatie, het doen van vertalingen, het vinden van fouten in code en het uitvoeren van basale programmeertaken.
Even onafhankelijk van of de hackers Chinees en/of Russisch zijn/waren... Is dit niet wat zowel whitehat als blackhat hackers doen? Wordt Google misbruikt als online informatie wordt gezocht voor dergelijke doeleinden? Wordt VSCode misbruikt telkens als die een suggestie doet om fouten in code op te lossen? Is Word zo kwaadaardig bezig als die een spellingcontrole doet van een ransomwarebrief voordat die op de bus gaat?

Evil hackers use the same products and services as other people! More at eleven.

Hiermee zeg ik niet dat de onderzoeksresultaten niet interessant zijn. Integendeel. Dit kan meer inzicht in hoe dergelijke groepen opereren, waarmee ze mogelijk beter aangepakt kunnen worden. Ik zou echter niet spreken van misbruik. De diensten doen wat ze doen. Het zou wat anders zijn als een dergelijke dienst medeplichtig zou zijn in een aanval, maar daar is geen sprake van.

[Reactie gewijzigd door The Zep Man op 22 juli 2024 19:09]

Het is wel degelijk misbruik als de voorwaarden zijn dat het niet voor dit soort doelen mag worden gebruikt. Dat een ander recht meent te hebben zorgt er niet zomaar voor dat men recht heeft. Het is bij bepaalde landen zelfs zo dat men het daar niet mag aanbieden. Dat die het toch gebruiken toont eerder aan dat deze zich niet houden aan wetten of regels waaronder het beschikbaar is.

Dat het een middel is dat makkelijk voor verschillende doeleinden gebruikt kan worden was daarbij al duidelijk. Maar dat zorgt er natuurlijk niet zomaar voor dat het dus maar voor de genoemde doelen gebruikt zal worden. Want zoals je merkt viel dit gebruik op, terwijl dat meestal niet het doel van ongeaccepteerde doelen is.
Kim Jung-un rijdt ook in een Mercedes. Gaan we daar dan ook een artikel over krijgen? Mercedes mag niet exporteren naar Noord-Korea, dus wat doet die auto daar? Misbruik!

Een schroevendraaier mag je niet misbruiken voor een inbraak. Evenmin voor moord. Moeten we daar dan ook maar een paar artikelen aan gaan wijten?

Of zullen we die open deuren maar laten voor wat ze zijn? De lijst met non-informatie-artikelen wordt echt oneindig lang wanneer we hier aan zouden beginnen, zelfs wanneer je het beperkt tot IT-gerelateerd non-news.
Je kunt echt niemand beletten een schroevendraaier te gebruiken voor een misdrijf, daar is geen praktische oplossing voor en die zal er ook nooit komen, zelfs niet om het "terug te dringen". Als ChatGPT dat wel heeft, zoals het detecteren en stoppen van dit misbruik, is dat in mijn ogen wel interessant.
Hetzelfde geldt natuurlijk bij landen of entiteiten die bijvoorbeeld zware maatregelen als een exportverbod weten te omzeilen.
Dat jij twijfelt aan de waarde van het nieuws is de discussie niet. Daarbij laat je weg dat een aanname doen alsof specifieke personen of groepen het gebruiken niet zomaar redelijk is. Maar als je kan aantonen dat dit nieuws allang bewezen is, of dat er genoeg rekening mee werd gehouden, dan lijkt me dat een waardevolle aanvulling te kunnen zijn. Het doel van de bron is namelijk niet slechts iets beweren, maar aantonen.
Hackers zijn mensen, net zoals jij en ik. Alles wat mensen doen, doen hackers dus ook. Wat dat betreft echt niks bijzonders. Komt nog bij dat de genoemde staatshackers gewoon ambtenaren of freelancers zijn met een 9-tot-5 baan, met als opdracht om te hacken.

Uiteraard kan iemand weer met bewijs komen dat hackers bepaalde tools gebruiken, maar dat is (helaas) van dezelfde nieuwswaarde als het bewijs dat water nat is. Hackers gebruiken Windows, ze gebruiken Linux, ze gebruiken MacOS, maken gebruik van Oracle, van stroom, van koffie, en ga zo maar door. Ik zie niet in wat daar zo bijzonder aan is: Het zijn mensen en doen dus wat mensen doen.

Dat de AIVD niet in dit artikel wordt genoemd, is dan weer jammer, want ook zij gebruiken deze tools. Ook daar zijn gewoon mensen aan het werk en zij gebruiken tools.
Aangezien ChatGPT zich niet speciaal op hackers richt kan je deze gebruikers niet zomaar als hackers beschouwen. En aangezien het artikel spearphishing als voorbeeld geeft, waar criminelen zich mee bezig houden, kun je de personen niet zomaar hackers noemen alsof ze slechts hacker-werk doen of slechts orders uitvoeren.

Je maakt een terecht punt dat het misbruik mogelijk groter is. Maar dat is niet waar de discussie om gaat. Want daarvoor mag wel eerst bewijs geleverd worden, zoals dit bericht op basis van onderzoek risico's toont.
Het is wel degelijk misbruik als de voorwaarden zijn dat het niet voor dit soort doelen mag worden gebruikt.
Dat soort voorwaarden zijn gebakken lucht ("kijk ons eens goed bezig zijn!") als je er niet op kan handhaven door een verschil te maken tussen legitiem en illegitiem gebruik. Vergelijk te snel rijden op een weg, wat inderdaad een ander soort (meetbaar) gebruik is van de weg t.o.v. iemand die normaal rijdt. In dat laatste geval spreek je niet van misbruik van de snelweg als iemand illegale (maar niet gevaarlijke) waren vervoert, omdat vanuit het perspectief van de verkeersregels er op dit vlak geen verschil is tussen iemand die niets illegaals doet en iemand die illegaal bezig.

[Reactie gewijzigd door The Zep Man op 22 juli 2024 19:09]

Alleen maakt men hier een verschil. Men doet onderzoek naar het gebruik. Men geeft waarschuwingen over het gebruik. Men blokkeert het gebruik.
Natuurlijk kunnen we ons terecht afvragen of men daarmee genoeg doet, maar dat maakt de voorwaarden niet zomaar minder belangrijk. In twijfel trekken kan namelijk altijd. Dan zul je toch wat moeten aantonen in plaats van suggestief te doen door feiten te negeren.
Alleen maakt men hier een verschil. Men doet onderzoek naar het gebruik. Men geeft waarschuwingen over het gebruik. Men blokkeert het gebruik.
Op de snelweg hangen camera's die kentekens registreren voor meer dan enkel het doel waar ze origineel voor opgehangen zijn. Dat houdt niet in dat dergelijke maatregelen succesvol zijn in het opsporen van alle vormen van criminaliteit. De criminelen die erdoorheen glippen "misbruiken" de snelweg nog steeds niet.
Je klaagt alleen maar dat het niet genoeg is. Wat je na laat is een grens stellen wanneer je niet meer klaagt. Dan is het klagen te makkelijk en lijkt meer bedoeld om het kunnen klagen. Kom op zijn minst eens zelf met een grens.
toont eerder aan dat deze zich niet houden aan wetten of regels waaronder het beschikbaar is.
Tja, als ze op illegale wijze 'hacken', denken we dan werkelijk dat ze zich aan de algemene voorwaarden houden....?

Ik denk ook dat breekijzers niet alleen gebruikt worden om te verbouwen....
Precies plus dat je ook zo'n artikel kan schrijven over de NSA, FBI etc. Maar ook: tegelijkertijd hebben die de funds om zelf zo'n model te draaien zonder restricties. Al zou dat wel opvallen dat ze 100.000 nvidia kaarten inkopen.

[Reactie gewijzigd door SpiceWorm op 22 juli 2024 19:09]

Ik denk dat de Amerikaanse diensten, evenals de andere Westerse diensten, gebruik maken van OpenAI. Waar dit artikel over gaat zijn alle staatshackers van Amerika niet welgevallige landen. Je denkt toch niet dat OpenAI/Microsoft opeens gaat vertellen dat MI5 of 6 of de AIVD of de Mossad gebruik maakt van OpenAI? Dat houden ze onder de pet.
Nee natuurlijk niet. OpenAI heeft vermoed ik gewoon contact met die diensten, als ze er niet hun mensen hebben zitten.
Typisch, in de IT hebben we iedere vijf jaar een nieuwe hype die we dan op alle onderwerpen toe passen.

jaren 60: Schaken ... op de computer!
jaren 70: Schaken ... tegen de computer!
jaren 80: Schaken ...tegen kunstmatige intelligentie!
jaren 90: Schaken... op internet!
jaren 00: Schaken... op je telefoon!
jaren 10: Schaken... in virtual reality!
jaren 20: Schaken... tegen een taalmodel! (goto 80)

Je kan ieder ander onderwerp inprikken, van broodroosters tot auto's tot spionnen.
Om het helemaal compleet te maken voeg je een paar letters toe aan de naam van het bestaande product:
Kies uit: "e", "i", "ai", "vr", "gpt", "slim" of "cyber"


Goed dat ze in de gaten gehouden worden want dit soort partijen zullen de minste scrupules hebben en de meeste middelen om er misbruik van te maken.

[Reactie gewijzigd door CAPSLOCK2000 op 22 juli 2024 19:09]

De volgende zaken zijn geen hype:
  • Computer
  • Kunstmatige Intelligentie
  • Internet
  • Telefoon
Hoogstwaarschijnlijk een taalmodel ook niet. Dus hoewel een leuke post, inhoudelijk niet sterk.
De volgende zaken zijn geen hype:
De techniek zelf is niet de hype, hoe de maatschappij er mee om gaat wel.

We hebben een nieuwe hamer gekregen zien opeens overal spijkers in om op te slaan, te pas en te onpas.
Tal van onderwerpen passeren de revue, maar dan met toepassing van de nieuwe techniek.
Het wordt steeds in de media gepresenteerd als grote vernieuwing terwijl het niet meer is dan een vrij logische toepassing van de nieuwe techniek. Dat is hier ook een beetje het geval. Mensen gebruiken LLMs voor vanalles en nog wat, dat spionnen en hackers het ook gebruiken is bijna vanzelfsprekend.
We moeten het goed in de gaten houden want de techniek biedt mooie mogelijkheden, maar de voorbeelden van het gebruik in dit artikel zijn eigenlijk niet zo spannend. Het verzamelen van openbare informatie over communicatieprotocollen of het vertalen van stukjes tekst was voor LLMs ook goed te doen.
Eerlijk gezegd ben ik haast teleurgesteld met deze vrij suffe toepassingen. Ik denk dat er veel meer mogelijk is en al gedaan wordt wat blijkbaar niet in het onderzoek terug komt. Spearfishing zou bv enorm kunnen profiteren van een LLM die niet alleen een enkel persoon kan imiteren maar in realtime namens een hele organisatie kan spreken.

[Reactie gewijzigd door CAPSLOCK2000 op 22 juli 2024 19:09]

We doen ook allemaal alsof desinformatie een paar jaar geleden ontstond terwijl propaganda al voor de geboorte van Jezus bestond.
Nieuwe naam voor dezelfde oude onderwerp.
Eeeh, is dit misbruik of gebruik?
Hackers misbruikten de diensten van OpenAI over het algemeen voor het opvragen van openbare informatie, het doen van vertalingen, het vinden van fouten in code en het uitvoeren van basale programmeertaken.
Ik moet zeggen dat ik ChatGPT blijkbaar ook misbruikt heb. Dit zijn exact de dingen die ik ook doe.

Ik ben verbaasd dat deze onderzoekers verbaasd zijn dat ze hebben ontdekt dat gebruikers ChatGPT gebruiken.
Klopt! Ik ook blijkbaar...

Het is bij ons (werkomgeving) trouwens niet abnormaal dat chatgpt als een verbeterde google wordt gebruikt, waarbij we effectief testcode (los van context en zonder belangrijke inhoud) in chatgpt steken om optimalizaties, aanpassingen of fouten te detecteren.
En niet dat we er dan automatisch vanuitgaan dat dit dan ook effectief een juist voorstel is, maar vaak is het toch de basis gebleken van een degelijke oplossing.
Lijkt me geen abnormaal gebruik van chatgpt.

Een andere usecase was het gebruik van openssl api's die soms zodanig slecht gedocumenteerd zijn, waarbij chatgpt een beter hulpmiddel bleek dan google.

[Reactie gewijzigd door RavensAngel op 22 juli 2024 19:09]

Legio voorbeelden op Twitter waarbij "gebruikers" dingen posten zoals "My content policy does not allow XYZ". Er zijn enorme AI gedreven beïnvloeding campagnes gaande, maar een platform zoals Twitter schijnt het allemaal niet zo belangrijk te vinden. Het is extreem schadelijk voor onze maatschappij, maar optreden vanuit de politiek gaat voorlopig niet gebeuren. Blijkbaar moet het eerst veel verder misgaan. Ik zie het somber in.
Musk is een soort van Alex Jones geworden die elk half complot belangrijke 'nieuws' vindt. Het begint er erg op te lijken dat twitter een vehikel is voor rusissche en trumpse desinformatie. Weet niet of dat vrijwillig is of dat er interessante kompromat op het kremlin ligt ( /complot :+ ) . Lijkt mij iig geen verstandige zakelijke koers voor die 44 miljard.

De combinatie van toeleverancier van het leger en komplotmarmot voor de 6 januari 'coupplegers' is ook frapant.

[Reactie gewijzigd door Basszje op 22 juli 2024 19:09]

Het begint er erg op te lijken dat twitter een vehikel is voor rusissche en trumpse desinformatie. Weet niet of dat vrijwillig is of dat er interessante kompromat op het kremlin ligt ( /complot :+ ) . Lijkt mij iig geen verstandige zakelijke koers voor die 44 miljard.
Engagement is engagement, en niets raakt mensen zo direct als woede dat doet (naast angst en bezorgdheid). Alles voor de clicks en views.

[Reactie gewijzigd door The Zep Man op 22 juli 2024 19:09]

Om advertenties te verkopen natuurlijk, maar twitter lijkt dat doel ook een beetje doorgeschoten want een groot deel is / was vetrokken. Vandaar ook mijn argwaan :)
Ze misbruikten de diensten bijvoorbeeld voor onderzoek en om content voor phishingcampagnes te schrijven
Wel een heel dun lijntje. Ze gebruiken de dienst, an sich, zoals het bedoelt is.. ze gebruiken daarna de teksten voor criminele zaken. Zo zijn er duizenden gebruiksvoorwerpen en diensten te benoemen.
Als ik er even over nadenk dan is voor mij het interessante dat ze gebruik maken van een 'openbare' dienst en daarmee dus zelf kwetsbaar worden. Dan denk ik aan:
- lekken van hun eigen identiteit (zullen ze ws wel afschermen)
- lekken van code en dus ook de code die bv een nieuwe exploit gebruikt.
Het verbaast me eigenlijk dat we er nog niet zoveel van merken in de cybersecurity.

Een jaar geleden had ik al verwacht dat er een storm zou komen van dingen als malware die zelf omwegen bedenkt als het geblokkeerd wordt, phishing die helemaal toegespitst is op de doelwitten waardoor die moeilijker van echt te onderscheiden is, OSINT die veel beter de kwetsbare plekken in de organisatie in kaart brengt enzovoorts.

Wat het in principe gaat doen is dat het aanvallen die tot nu toe voor alleen zeer geavanceerde cyberacteurs zoals landen mogelijk waren (technisch gezien een APT genoemd, Advanced Persistent Threat) ook naar mindere groeperingen zou brengen. Want APT's hebben veel mankracht en kennis en in beiden kan AI veel inbrengen. Dus drempelverlagend voor mindere groeperingen. Daarmee komen ook doelwitten/organisaties die te klein zijn om interessant te zijn voor een APT op de radar voor geavanceerde aanvallen.

Dus ik had verwacht dat in 2023 het aantal geavanceerde en veel meer getargete aanvallen meer binnen het domein van de 'drive by' randomware acteurs zouden komen dus dat we een enorme hausse van geavanceerdere ransomwareaanvallen zouden zien. En dat de echte APT's weer een flinke stap vooruit zouden zetten en nieuwe mogelijkheden zouden aanspreken die we tot nog niet gezien hadden.

Uiteraard gaat AI ons als verdedigers ook een hoop helpen maar dat is toch wat meer reactief en het duurt altijd even voor alles weer in balans is.

Beide dingen zijn nog nauwelijks gebeurd. 2023 was een jaar als de voorgaande. Ik verwacht nog steeds dat dit de stilte voor de storm is eigenlijk, en dit artikel geeft ook wel aan dat er wat loopt te rommelen.

[Reactie gewijzigd door Llopigat op 22 juli 2024 19:09]

Helaas is desinformatie here to stay. Burgers bewust worden gemaakt dat wat getypt staat niet altijd waarheid is en vragen naar bronnen.
Gezond kritisch zijn dus.
Daar heb je zelfs in het leven wat aan
En zo is het maar net en ik daarom dus ook totaal geen voorstander ervan ben om maar alles via AI te laten doen. Vind gewoon dat AI puur als een tool gezien moet worden maar niet als een plaatsvervanger van een fysiek persoon.
Maakt het uit of AI 'foute' dingen doet of een mens? Kan de AI het beter? Dan is dat extra vervelend idd. Maar zodra een probleem te groot wordt, gaan meer resources naar de oplossing ervan. Dit is dus niet: geen AI gebruiken (ook gezien resultaten uit het verleden....).
Net zoals ik al schrijf moet AI gewoon puur als tool gezien worden en niet als een op zich staand iets.
:O ... word een beetje moe van het AI-doemnieuws overal.

Als ze geen ChatGPT gebruiken, gebruiken ze wel llama, mistral of boksen ze zelf wel even een modelletje in elkaar. Uiteindelijk genereert zo'n tool gewoon tekst, en maakt het weinig uit of je spambericht nu met AI gegenereerd is of iemand daar 5 minuten tijd aan gespendeerd heeft om het bericht te typen. Maar het is natuurlijk een mooie titel he, hacken met AI. Blijkt dat ze het gebruiken om dingen op te zoeken en om tekst te genereren, beide toch heel logische toepassingen voor (gen)AI. Wat moeten we doen dan? Opzoekingen en tekstgeneratie verbieden? :+
Inderdaad als je het zo bekijkt zal je vast ook kunnen zeggen dat veel hackers google misbruiken voor aanvallen, en zo kan je doorgaan.
Het maakt denk ik wel degelijk uit of een hacker 5 seconden of 5 minuten bezig is met een berichtje. Of dat hij binnen vijf minuten of vijf dagen een wachtwoord kan kraken. Of dat het veel makkelijk wordt om een nepfilmpje van ontvoerde kinderen naar ouders te sturen.

Het zal ook niet moeilijk zijn om de gehele hacker te vervangen met een geautomatiseerde digitale hacker die uit zichzelf op zoek gaat naar doelwitten. Dan kan een enkeling ontzettend veel digitale hackers inzetten, die allemaal veel sneller zijn dan ouderwetse hackers.

Uiteraard zullen inlichtingsdiensten en de politie ook gebruik kunnen maken van dit soort tools om dit soort activiteiten op te sporen. Maar we kunnen het misschien zien als een overstap van semi-automatische geweren naar automatische geweren in de wapenwetloop tussen hackers en hun tegenstanders. En misschien is het wel erger dan dat. We komen er snel genoeg achter.
Het zou wel interessant zijn om te horen hoe ze deze activiteiten ontdekt hebben. In principe doen die hackers niet zoveel anders dan alle andere gebruikers. Het doel is anders, maar de activiteiten zijn vergelijkbaar. Laten ze ChatGPT zelf alle chats analyseren en verdachte gevallen rapporteren?

Overigens ook weer een les. ChatGPT wordt gemonitord. Blijkbaar zijn ze goed in staat interessante informatie uit de eindeloze chat streams te filteren.
ChatGPT heeft dus zelf ontdekt dat het hackers waren.... :+

Maar je hebt een punt. Aangezien ze het in feite 'gewoon' gebruiken. De vraag is: wordt ChatGPT gemonitord of de hackers....
Dit verhaal illustreert prachtig dat alles wat je met een cloud-AI doet het bezit wordt van het bedrijf erachter. Ze analyseren wie je bent, wat je doet, en zelfs wat je intenties zijn. Ditmaal ging het om Chinese en Russische hackers, de volgende keer gaat het om je kind of je bedrijfsgeheimen.

Op dit item kan niet meer gereageerd worden.