Regering Zuid-Afrika trekt voorstel AI-regulering in vanwege fictieve bronnen

De regering van Zuid-Afrika heeft een voorstel voor AI-regulering ingetrokken nadat bleek dat er fictieve bronnen in de tekst stonden. Die kwamen door het gebruik van AI zonder verificatie.

De regering had het voorstel een paar weken geleden online gezet voor consultatie, maar nu is het helemaal teruggetrokken, zo meldt de regering. Tijdens de consultatie bleek dat bronnen die de regering aanhaalde in het wetsvoorstel helemaal niet bestonden. Dat is een duidelijk teken van het gebruik van AI voor het schrijven van de tekst zonder grondige menselijke verificatie van de bronnen.

Met het voorstel had Zuid-Afrika leidend willen worden op het continent in het reguleren van kunstmatige intelligentie. "Deze tekortkoming is niet slechts een technisch probleem, maar heeft de integriteit en geloofwaardigheid van het ontwerpbeleid aangetast", aldus minister voor digitale zaken Solly Malatsi.

De minister ziet in de fout een reden waarom het AI-beleid hard nodig is. "Dit had niet mogen gebeuren. Sterker nog, deze onacceptabele misstap bewijst waarom waakzaam menselijk toezicht op het gebruik van kunstmatige intelligentie cruciaal is. Het is een les die we met nederigheid ter harte nemen. Ik wil het land geruststellen dat we deze zaak met de ernst behandelen die ze verdient. Er zullen consequenties zijn voor degenen die verantwoordelijk zijn voor het opstellen en de kwaliteitscontrole."

Het wetsvoorstel bevatte op zijn minst zes niet-bestaande bronnen, meldde News24 eerder. Daarbij gaat het om niet-bestaande papers van wetenschappers over AI. Dat is iets dat vaker gebeurt bij AI-chatbots, die bij gebrek aan echte papers met titels komen die echt klinken, maar die nooit zijn geschreven.

ChatGPT: vertrouw nooit op AI

Reacties (43)

[Coolstart]

Sterker nog, deze onacceptabele misstap bewijst waarom waakzaam menselijk toezicht op het gebruik van kunstmatige intelligentie cruciaal is.

Het erge is dat ik AI net loslaat op teksten om een sanity check te doen op de bronnen. Als er al bronnen instaan want de meeste pers gebruikt al helemaal geen bronnen. Die sanity check is accurater dan een mens ooit kan. Heel dat idee dat een menselijk toezicht cruciaal is klopt niet.

AI kan op een dag miljoenen lijnen code schrijven. Je kan dat niet allemaal checken. Het enige wat je kan doen is AI agents opdragen AI te checken. En dan blijft nog over dat je de werking test.

Het feit dat ze geen AI hebben gebruikt om hun bronnen te checken zegt al heel veel over de skills van het personeel die die teksten over AI-regulatie moet schrijven.

[RoamingZombie]

Maar AI is helemaal niet in staat om bronnen te checken. Uit het oogpunt van de AI is alles wat hij weet de 'waarheid'. Het kan op zijn hoogst inconsistenties tussen bronnen aangeven. En zoals iemand anders al aanhaalt, wat gebeurt is dat de bron voor een AI artikel weer een andere AI artikel is. Dus hij zal dan aangeven dat de informatie overeenkomt met die bron. Alleen of die bron correct is, dat weet hij ook niet.

Dus stellen dat een menselijke controle niet cruciaal is, is onderschatten hoe groot de kans is op fouten (en dus niet echt begrijpen hoe die LLMs werken).

[Reactie gewijzigd door RoamingZombie op 30 april 2026 18:58]

[Coolstart]

Maar AI is helemaal niet in staat om bronnen te checken. Het kan op zijn hoogst inconsistenties tussen bronnen aangeven.

Leg me dat eens uit. Want wat je zegt klopt niet. Ik gebruik effectief AI om bronnen te checken. Het gaat beter dan dat een menselijke assistent dat doet?.

En zoals iemand anders al aanhaalt, wat gebeurt is dat de bron voor een AI artikel weer een andere AI artikel is. Dus hij zal dan aangeven dat de informatie overeenkomt met die bron. Alleen of die bron correct is, dat weet hij ook niet.

Dat klopt maar half. Een mens weet het ook niet. Moderne AI heeft AI-agents ingebouwd die dingen kunnen uitzoeken.

Dus stellen dat een menselijke controle niet cruciaal is, is onderschatten hoe groot de kans is op fouten (en dus niet echt begrijpen hoe die LLMs werken).

Heel vaak gebruikt men free tiers van LLM's, die hebben geen pipelines en context windows ingebouwd om bijvoorbeeld een sanity check te doen. Omdat het nu eenmaal extra tokens kost.

Dus stellen dat een menselijke controle niet cruciaal is, is onderschatten hoe groot de kans is op fouten (en dus niet echt begrijpen hoe die LLMs werken).

Ik heb eigen modellen draaien, heb 8N draaien en heb 6 API keys van verschillende modellen. Dus ik weet echt wel waar AI faalt en waar niet. Je kan heel veel zaken zoals hallucineren vermijden. Het kost je gewoon tokens en wat ervaring met promten.

AI zal gaten in zijn kennis vaak opvullen op je van dienst te zijn en dan sluipt er sowieso een citaat of een cijfer in uw tekst dat niet klopt met de werkelijkheid. paradoxaal genoeg zijn het net AI's die verkeerdelijk opgevulde gaten kan flaggen.

Uiteindelijk heb je mensen nodig maar dat is voor een heel andere reden. De reden is dat AI guidance nodig heeft omdat AGI niet bestaat en context windows zijn beperkt tot 100k tot 1M tokens. AI kan nog steeds geen complex en nieuwe problemen oplossen. Daarom blijft prompting cruciaal.

Chck https://arcprize.org/ Daar zie je wat AI kan en niet kan en vooral tegen welke tokenkost.

[RoamingZombie]

Je bent je er bewust van dat je nu zegt dat jij de menselijke factor bent die het in de gaten houd en stuurt. Dat gaat een beetje tegen je eigen argument in dat toezicht niet cruciaal is? Je bewijst nu gewoon je eigen ongelijk.

Een AI is net zoals een klok. En klok meet geen tijd, een klok meet zichzelf. Een AI kan mensen niet begrijpen. Dus het zal nooit bedenken dat iemand opzettelijke misinformatie op het internet zet. Dit kan hij alleen weten als een ander persoon op internet zet dat het misinformatie is. Nogmaals, voor een AI is alles de waarheid tot een mens verteld dat het niet zo is.

Een AI weet niet wat leugens zijn, of sarcasme of satire, want om dat te begrijpen heb je menselijke emoties en motivaties nodig. Een krant als de Onion zou een AI zonder context volledig als waar en correct intrepreteren.

Maar weet je, vraag je eigen AI of het in staat is een bron op waarheid en accuraatheid te controleren. Het zal je vertellen dat het dat niet kan. Ik heb het zelf even voor je door AI gehaald:

No Internal Reality: AI does not have consciousness, conscience, or a conceptual model of the world. It does not understand right from wrong, nor does it know if its output corresponds to physical reality.

Everything is "Truth": Because it is trained on vast amounts of internet data—containing facts, lies, biases, and fiction—it treats all patterns equally unless specifically weighted otherwise. It mimics patterns, it does not evaluate them.

AI cannot inherently distinguish between a peer-reviewed journal and a satirical blog post.

Source Hallucination: If asked to provide a source, an AI may invent ("hallucinate") a plausible-sounding citation because the pattern of a citation is present, even if the content is completely fake.

No Independent Verification: While Retrieval-Augmented Generation (RAG) tools can search the web to cross-reference information, the underlying model itself still acts on statistical likelihood rather than verification.

[Reactie gewijzigd door RoamingZombie op 30 april 2026 10:00]

[Jorah_Newstone]

AI leeft op context, je kunt AI wel vragen om bronnen te checken, maar als bepaalde bronnen niet in de context staan, dan ga je al nat. Human in the loop is daarom juist ook erg belangrijk. Jij bent als user altijd verantwoordelijk voor de juiste input en output.

[baseoa]

de meeste pers gebruikt al helemaal geen bronnen. Die sanity check is accurater dan een mens ooit kan.

Heb je daar een bron voor?

Zonder gein, ik zie niet in hoezo deze versie van de technologie ooit accurater zou kunnen zijn dan een mens. Bedoelde je 'sneller' en daardoor meergebruikt en dus een betere check dan een mens zou doen (in plaats van zou kunnen)?

[ErikT738]

Ik kan goed begrijpen dat je een AI gebruikt als hulpmiddel of zoekmachine "on steroids", maar je bent echt een dwaas als je de door de AI gegeven bronnen niet controleert.

[Calypso]

Ja. En nu het probleem: steeds meer content is AI gegenereerd - ik bedoel, als je al een voorstel voor regulering van AI onvoldoende controleert...

Nu al zie je content verschijnen zonder bronvermelding die overduidelijk AI gegenereerd is. Gevolg: deze content wordt weer als nieuwe bron gezien en foute informatie wordt ineens betrouwbaarder geacht. Je denkt een huis te bouwen op rotsgrond, maar het blijkt drijfzand.

Dit is ook 1 van de redenen dat bepaalde politici graag dingen blijven herhalen: hoe vaker iets gevonden wordt door AI, des te betrouwbaarder het beoordeeld wordt en hoe meer mensen het als waarheid gaan zien, want het staat toch op [vul maar in]

[jvdberg]

Ah, citogenesis

[Scriptkid]

of nog leuker , je komt in een AI chain terecht,

Source op source op source is door AI generated , en je moet tig levels diep om bij de bron te komen en we weten allemaal als je 1 persoon iets verteld en die dat door laat vertellen en zo 9 personen verder dat het eind verhaal totaal anders is dan de source

[himlims_]

YouTube: AI Slop Is Destroying The Internet vat het mooi samen

[Lord Anubis]

klopt, grappig is dat sommige bronnen helemaal niet bestaan of vals “geïnterpreteerd “ worden; als je van enige vorm van interpretatie kan spreken.
Ik zoek wel eens naar vervangende elektronische onderdelen voor obsoleet onderdelen maar wat absoluut in een datasheet staat wordt gewoon mishandeld of dat nu bij claude, gpt of deepseek is maak niet uit. Moet wel zeggen hoe intelligenter de AI zoekmachine is hoe meer voutieve bron informatie er terug komt.

[HuisRocker]

Grappig? Ik kan (de reden) AI hallucinatie en (daardoor, het effect;) 'AI op AI die al die vorige AI-leugens tot in het oneindige doodleuk blijven herhalen en zelfs opkloppen tot van enige betrouwbaarheid überhaupt geen sprake meer kan zijn ongeacht van wat of waar men zoekt' vanalles noemen, maar al lang niet meer grappig...

[ZwolschBalletje]

Voor Tweakers is dat iets wat logisch is, maar het probleem is precies dat de niet tech-savvy gebruikers het zien als ‘Google on steroids’. Want als je Google (of elke andere zoekmachine) de afgelopen jaren een onmogelijke vraag stelde, dan kreeg je soms gewoon géén zoekresultaten.
Dat is een stukje intelligentie dat bij AI ontbreekt: weten wat je niet weet. En dat maakt het voor de gemiddelde gebruiker die er niet verder bij stilstaat juist zo’n misleidende tool.
In principe dus juist goed dat Zuid Afrika met zo’n wet komt, waarin normen staan hoe AI toepassingen ten dienste moeten staan aan huidige en toekomstige inwoners (volgens de bron in dit artikel En dat het dan op zo’n manier misgaat, is misschien wel een heel mooie wake-upcall voor sommige amateur-AI gebruikers. Maar er zal nog veel voor nodig zijn om dit soort problemen verder te voorkomen.

[Kjoe_Ljan]

Uit recent onderzoek blijkt dat 92% van de bronnen op het internet nooit gecontroleerd worden.

[ZwolschBalletje]

Volgens een ander onderzoek is het 91% die zijn bronnen niet checkt, wat soms tot ongemakkelijke situaties leidt

[Reactie gewijzigd door ZwolschBalletje op 29 april 2026 12:54]

[chrome moral]

Ik dacht dat die eerste dat gedaan had al maar dat was jij dus haha. Deze blijft leuk zelfs na 20 jaar

[sIRwa3]

Ik erger me ook steeds meer aan content creators die LLM als wiki source of google gebruiken om vervolgens met dramatische koppen de ondergang van kennis en of geschiedenis te verkondigen.

CC slop noem ik het

het is een tool, je gebruikt het verkeerd!..

[Scriptkid]

Ach,

vroeger was het , als wiki pedia het zegt is het de waarheid, toen werd het want google says so, en nu is het AI is the new truth.

[YGDRASSIL]

Het gaat toch vooral om de inhoud van je artikel dus ik zou de bronnen als laatste checken.

[Numbers6uy]

Zo'n artikel staaft juist met die bronnen. Als mijn argument gebouwd is op cijfers die niet bestaan, dan is het niet waarheidsgetrouw en dus nutteloos als argument voor de regulering van de echte wereld. Als de bronnen geen invloed hebben op het argument, dan had men ze niet moeten citeren.

[YGDRASSIL]

Als je een AI wat vraagt is een hoop wat ie zegt bronloos. Allemaal aannames die geleerd zijn. Daar zitten ook gehallucineerde fouten tussen. Dus je bronnen checken is prima maar geen enkele garantie dat het verhaal klopt.

[Numbers6uy]

I denk dat ik je originele post verkeerd heb verstaan. Inderdaad, correcte bronnen citeren is geen garantie dat het argument ook klopt. Je moet natuurlijk alles nagaan, maar bronvermeldingen checken is historisch een zeer gemakkelijke stap om te zien of de tekst überhaupt serieus genomen moet worden.

[YGDRASSIL]

Dat is zeker waar. Niet bestaande bron is meteen klaar.

[wiseger]

Ik denk dat er ook een ander probleem speelt. Met Google AI kunnen veel politici en/of ambtenaren doen of ze ergens verstand van hebben terwijl ze er eigenlijk maar weinig van begrijpen. Dan is het gebruik van AI een mooi hulpmiddel om dat te camoufleren. De output controleren kan dan wel wat lastig worden.

Je ziet het nu ook heel veel bij burgers die bezwaren indienen of rechtszaken starten. Ook die zetten dan AI in en gebruiken dan geen advocaat om de boel te controleren.

https://www.wisemen.nl/nl/artikelen/welke-gevolgen-heeft-verkeerd-gebruik-van-ai-in-rechtszaken-/

[Scriptkid]

ik denk dat er dan heel veel dwazen op deze aardbol leven.

[bapemania]

Dat klopt, steeds meer ook.

[hwopereis]

Die mensen zitten net zo goed in management lagen tot ceos bij bedrijven. En dan mogen de specifiek opgeleide mensen uitzoeken of de 8 paginas aan voorstellen/ ideeen ook ergens op slaan.

[NaoPb]

Kun je dat onderbouwen? Of heb je dat uit je duim gezogen?

[Aldy]

Om te beginnen hoort de volksvertegenwoordiging niet tot de overheid en verder komen dwazen overal voor.

[konniksanders]

Volgens mij is zelfs hun respons met AI gegenereerd:

"Deze tekortkoming is niet slechts een technisch probleem, maar heeft de integriteit en geloofwaardigheid van het ontwerpbeleid aangetast"

Ik zet blikje Monster erop in dat dit met AI is geschreven. Echt heel lui.

[locke960]

De vertaling naar het Nederlands is misschien m.b.v. AI gedaan. Het originele engels ziet er normaal uit. Vertalen blijft lastig. Vertaal je letterlijk of probeer je ook het taalgebruik aan de andere taal/cultuur aan te passen?

[Reactie gewijzigd door locke960 op 29 april 2026 11:50]

[konniksanders]

Ja ik denk dat je gelijk hebt

[baseoa]

Voor mij was het dit stuk dat naar chatgpt klonk en waarom ik de comments opende om te zien of iemand anders het ook opmerkte:

"Dit had niet mogen gebeuren. Sterker nog, deze onacceptabele [...]"

Lijkt sterk op een vertaling van dat "not just x, it's also y" patroon.

Natuurlijk veel te kort om zeker te kunnen weten maar het is wel het type tekst waar het geen drol uitmaakt als je een LLM gebruikt: er zitten geen referenties in, niemand geeft om de exacte woordkeuze, je hoeft maar te schetsen wat de situatie is met een "biedt excuses aan" instructie erachter en hopla je verontschuldigingsspeech is klaar, of in ieder geval een voorstel waar je stukken uit kan overnemen

Gezien het ook voor wetsvoorstellen al gebruikt werd, zou het me weinig verbazen als ze hier dachten "oké maar hier kan het wel, dus waarom niet". Droevig is dit niveau van onoprechtheid echter wel

[Reactie gewijzigd door baseoa op 29 april 2026 13:22]

[CPV]

Haha, een AI onderzoek door AI laten doen.
Zoiets als "de slager zijn eigen vlees" en "Wij van WC-eend...".

[Scriptkid]

Ik heb daar maar een spreekwoord voor over , AI AI AI ai.

[dwizzy]

Het woord "regulering" is hier volgens mij misplaatst. Het document is een beleidsvisie.

Met "regulering" wordt meestal bedoeld: regelgeving waarmee een industrie "aan banden" wordt gelegd; restrictief, om te zorgen dat als bedrijven er iets willen doen, het voldoet aan de eisen van de overheid, zoals veiligheid en duurzaamheid. Maar een paar delen van het beleidsdocument (voornamelijk hoofdstuk 6) geven aan dat er "regulation" nodig is.

[Verwijderd]

Ironisch en lachwekkend

[satoer]

Ach, in de toekomst zijn alle bronnen ook door AI gegenereerd. Wou dat ik een grap maakte.

[BillyTheClit]

De reactie van de minister is alvast helemaal in lijn met de geschiedenis. Een of andere "al te voortvarende" medewerker krijgt nu de bons zodat de minister voor zelfbehoud kan gaan. Typisch krijgt die dan een troosprijs (een of andere baan op een lager niveau) omdat hij/zij de minister behoedt heeft voor gezichtsverlies.