Deloitte betaalt geld terug vanwege rapport dat door AI lijkt te zijn geschreven

Als er één bedrijf is dat vol op de hypetrain van AI stapt, dan is het wel Deloitte. Maar nu heeft het consultancybureau zichzelf in de kunstmatige vingers gesneden, want het moet nu bijna 250.000 euro terugbetalen aan de Australische overheid omdat het een rapport inleverde dat door AI leek te zijn geschreven.

Australische media, waaronder de Australian Financial Review, schrijven dat Deloitte in ieder geval een deel van de 440.000 Australische dollar terugbetaalt aan de overheid van dat land. De overheid, specifiek het ministerie van Werkgelegenheid, liet eerder dit jaar een onderzoek uitvoeren naar geautomatiseerde besluitvorming rondom boetes in het werkloosheidssysteem. Dat rapport werd in juli opgeleverd, maar blijkt achteraf helemaal niet zo nuttig als Deloitte voor deed komen. En het leek de omgerekende 248.000 euro ook niet helemaal waard.

Al snel nadat het rapport uitkwam, bleken daar meerdere voetnoten in te staan naar niet-bestaande bronnen. Het ging onder andere om verwijzingen naar onderzoeken die weliswaar aan echte hoogleraren waren gekoppeld, maar die op zichzelf niet bestonden. Ook stonden er citaten in het rapport van onder andere een federale rechter die zij nooit had uitgesproken.

Inmiddels hebben Deloitte en het ministerie stilletjes een nieuwe versie van het rapport online gezet. Daarin staan veertien referenties niet meer opgenomen die wel in het oude rapport nog stonden. Verder heeft Deloitte ergens midden in het rapport een zin toegevoegd waarin het erkent 'een op Azure OpenAI GPT-4o-gebaseerde toolchain' te hebben gebruikt om bepaalde dingen uit te zoeken.

Door Tijs Hofmans

Nieuwscoördinator

06-10-2025 • 20:46

54

Reacties (54)

Sorteer op:

Weergave:

De hele AI-ontwikkeling kan zo mooi zijn, maar helaas lijkt misbruik in allerlei vormen ook nu weer de boventoon te gaan voeren.

De AI wedloop bestaat straks uit tools die iets genereren en "contra tools" die controleren of het wel juist is wat er gegenereerd is.
Helaas is geld belangrijker voor veel managers. Controleren kost geld.

AI kan echt een fantastisch hulpmiddel zijn, maar ook gemakzucht in de hand werken. Blijkbaar is dit zelfs voor Deloitte een kosten/baten analyse. De boetes voor lief nemend.

AI is door kapitalisme helaas een kwaad voor de samenleving voor nu, en waarschijnlijk voorlopig. En laten we eerlijk zijn, het verdient de naam AI nog niet, het zijn nog steeds niks meer dan LLM's. Ook in testen binnen ons bedrijf blijkt dit steeds weer, niks intelligents aan, maar in bepaalde situaties wel enorm handig.
AI kan echt een fantastisch hulpmiddel zijn, maar ook gemakzucht in de hand werken. Blijkbaar is dit zelfs voor Deloitte een kosten/baten analyse. De boetes voor lief nemend.
De boetes voor lief nemen kan nooit gevolg van een kosten/baten analyse voor dit soort bedrijven zijn. Het blijft namelijk niet beperkt tot de boetes. Dit kost ook reputatie.

Als Deloitte dit soort dingen te vaak doet gaat daar het image aan kleven van een AI-slop fabriek. Wie wil er dan nog tonnen voor een rapport van hun betalen? Zeker als je zulke dingen bij een overheid flikt. De oppositie zet de minister graag voor schut als ie tonnen heeft betaald voor een rapport wat elke middelbare scholier ook gewoon uit ChatGTP kon halen.
Die reputatie valt ook in de kosten baten analyse natuurlijk. Ligt eraan waar priotiteiten worden gesteld.
Zeg je dit op basis van insider info, of buikgevoel?
De hele AI-ontwikkeling kan zo mooi zijn, maar helaas lijkt misbruik in allerlei vormen ook nu weer de boventoon te gaan voeren.

De AI wedloop bestaat straks uit tools die iets genereren en "contra tools" die controleren of het wel juist is wat er gegenereerd is.
Ik denk dat AI alleen maar nog meer voor gaat zorgen dat het kloof naast arm en rijk, ook tussen kwaliteit en rommel gaat vergroten. En daarmee bedoel ik dat als je niet zorgvuldig AI toepast je in je werk gewoon matige kwaliteit gaat afleveren.

Ook ik zie het dat steeds meer op dagelijks werkbasis. Requirements die bijv. volledig AI gegenereerd zijn, waarbij je vervolgs doorvraagt en op geen antwoorden uitkomt. Het is wel ernstig...

AI maakt de werknemer eerder dommer dan slimmer, want het gemak is hoger geworden. Maar dit gaat ten koste van echt betekenisvolle werk.
Het is nog niet eens misbruik. Het is de onkunde van mensen en mensen zijn van nature lui. Die denken dat AI alleswetend is en proppen alles erin. Zeker de generatie van 30jaar en jonger, ken ook iemand die (vertrouwelijke) documenten door AI gooit om zo het werk te laten doen. En dan geeft die persoon aan dat het wel geanonimiseerd is, maar je geeft toch altijd info weg.
ik vind het een klassiek voorbeeld van shit in, shit out.

en aangezien de AI"s hun eigen niet geheel juiste , of zelf compleet onjuiste output aan het consumeren zijn voor nieuwe output, is dat een eindeloze degradatie.
De AI wedloop bestaat straks uit tools die iets genereren en "contra tools" die controleren of het wel juist is wat er gegenereerd is.
En die contra-tools worden dus weer gebruikt om de genererende tools te trainen, op dezelfde manier als met deepfakes gebeurt.

Op een gegeven moment kun je zelfs met iets als captcha's niet meer tegen AI op.
Tja, die bronnen hadden ze moeten checken…dat is slordig. In principe kan AI best zo’n rapport maken, als je maar de juiste input and prompts geeft. En de meeste van dit rapporten blinken doorgaans niet uit in doelmatigheid…
In principe kan AI best zo’n rapport maken.
Blijkbaar niet. Als de AI een reeks referenties en citaten hallucineert, waarom zouden we dan de inhoud nog vertrouwen? En als Deloitte zelfs die niet gecontroleerd heeft, waarom zouden we er dan op vertrouwen dat Deloitte de inhoud wel gecontroleerd heeft?

Dit rapport, ook de aangepast versie, is nu functioneel waardeloos, want niet te vertrouwen.
Even een reactie op de hallucinaties, ik gebruik 2 manieren om dit te voorkomen;
  1. voor het dagelijkse werk voeg ik aan de prompt toe, "only answer if you are absolutely sure, if you don't know answer you don't know"
  2. voor de wat grotere rapporten/documenten gebruik ik geen copilot chat meer maar CoPilot researcher, dit duurt wel wat langer, maar ik besteed hier ook heel veel aandacht aan de prompt en het aanleveren van bronnen (de bronnen die ik traditioneel zelf zou gebruiken, en bestaande documenten van de organistatie), maar de output is wel veel beter

[Reactie gewijzigd door borgdaville op 7 oktober 2025 09:12]

Conceptueel kan een AI geloof ik niet zo veel met dat eerste statement. Hij "weet" niet wat ie niet weet. Hij kan alleen maar zoeken in een eindeloze database van successverhalen. Mensen schrijven ook vrijwel niet over wat ze niet weten, en wat niet waar is, wat niet gelukt is enz.
Dit exact. Ik erger mij kapot aan collega's die doodleuk hele implementatieplannen laten uitkotsen door copilot, er dan even doorheen skimmen en die meuk opleveren voor duizenden euros, terwijl het van alle kanten rammelt. Als het niet 100% klopt, dan is het niks waard, want wat kun je dan nog vertrouwen? Maar men lijkt het niet te snappen en te denken 'ach, 80% goed is toch prima?'
Het zal zeker een paar keer goed fout gaan. Hopelijk gaan er geen slachtoffers vallen/te grote zaken mis en leren we er snel van.
Het is wachten op de eerste "toeslagenaffaire" waar achteraf zal blijken dat beleid dat slecht uitgepakt heeft, door AI geschreven was.

De bekentenis hierboven van iemand die dagelijks ChatGPT gebruikt en geloof dat dat wel goed gaat omdat hij expliciet alleen om de waarheid gevraagd heeft, stelt mij niet echt gerust.

[Reactie gewijzigd door aap op 7 oktober 2025 09:25]

Ik was met een ontwerp bezig van een prompt om software ontwerpen voor in de constructie te controleren en kreeg ook verwijzingen naar niet bestaande artikelen en terwijl ik me er aan ergerde en dat melde kreeg ik doodleuk een uit 2023 Amerikaans verslag voorgeschoteld en idd de auteur bestond maar de auteur was al in 2002 overleden. Toch bleef de AI volhouden dat hij onlangs nog wat had ingediend. Heel hallucinaties en onnodige informatie die je eigenlijk niet wil hebben. Ergste vind ik de blunder dat ze hun eigen rapport niet hebben gecheckt; ja misschien door de AI zelf ( ook hier dan een “wij van WC-eend” gedoe ) . AI kwaakt aan alle kanten ( pun intended).
Nog even gaat AI zelf websites opzetten om maar gelijk te krijgen.
Ik heb de laatste week al mijn eerste bronverwijzing in ChatGPT gekregen naar een overduidelijk door een LLM geschreven website. Het internet is inderdaad dood.
In principe kan AI best zo’n rapport maken, als je maar de juiste input and prompts geeft.
En dat is wat hier dus helemaal fout is gegaan. AI is een prima middel om te helpen schrijven. Ik gebruik het ook als hulpmiddel om bepaalde stukken tekst te schrijven maar niet om nieuwe content te maken. Wat hier fout is gegaan dat het niet al hulpmiddel is ingezet maar is gebruikt om content te genereren die nb niet eens op waarheid is gecheckt.

Dit is echt heel fout, goed dat hierover gerapporteerd wordt.
De juiste input is echter ook precies het werk wat ze als Deloitte zelf moeten doen, hier is die stap waarschijnlijk overgeslagen. Als je inderdaad de bronnen allemaal meegeeft dan kan een LLM best wel eens meehelpen met het schrijfwerk (of soms zelfs analysewerk). Maar in dit geval is het dus nog niet eens nagelezen.
Dit is maar het topje van de ijsberg als je nagaat hoeveel wetenschappelijke publicaties al door de mand zijn gevallen die door AI waren geschreven en niet door de persoon zelf.

In het hoger onderwijs moeten we ook af van scripties, of op z’n minst het colloquium weer invoeren.

[Reactie gewijzigd door FrostHex op 6 oktober 2025 20:56]

Dan valt niet alleen de publicatie door de mand maar ook wel het journal of de conferentie waar die publicatie in is gebeurd... Dat krijg je alleen voor elkaar bij journals/conferenties waar degene die wil publiceren nog veel harder gescamd wordt dan degene die het AI-paper heeft ingestuurd.

Veel mensen zijn lyrisch over de resultaten van AI, en dat is ook best terecht als je een glad marketing-tekstje of een goedlopend e-mailtje nodig hebt, maar als AI zich gaat wagen aan een wetenschappelijk paper prikt een serieuze lezer daar in twee minuten doorheen. Laat staan in de uren die je als reviewer steekt in het doorgronden van een paper.
Helaas zijn er tegenwoordig nogal veel predatory journals die wel pretenderen aan peer review te doen, maar in werkelijkheid alles publiceren wat maar opgestuurd wordt. En de meer serieuze journals ontkomen daar ook niet aan.

Niet alles is een gigantische rat-penis, helaas.

Qua serieuze wetenschappers valt het wel mee - immers, AI-rotsooi publiceren is funest voor je reputatie - maar er zijn helaas ook veel posities waarbij wetenschappelijke publicaties meer een checkbox zijn voor promotie. Medische doctoren in sommige landen bijvoorbeeld. En die kopen vervolgens een author positie op AI-geschreven manuscripten, en dat wordt niet altijd ontdekt. Het is een substantieel probleem.

[Reactie gewijzigd door FragFrog op 6 oktober 2025 21:37]

Predatory journals en pretentieuze pseudo-wetenschappers die onderzoekssubsidies vangen zijn niet iets nieuws sinds de komst van AI, bullshit-artikelen gepubliceerd krijgen kon daarvoor ook wel. Als de artikelen die je linkt door een peer review komen kan ik het niet een "meer serieus journal" noemen. Foutjes kunnen door een review glippen, maar dat zit hem dan echt in subtiele details. Bij die gelinkte artikelen heeft gewoon überhaupt geen inhoudelijke review plaats gevonden. Dan is de wetenschappelijke waarde op zich gewoon al praktisch nul.
Dit gaat helemaal niet over wetenschappelijke publicaties die door AI geschreven zijn.

Dit gaat over een rapport van een commercieel bedrijf dat door AI geschreven is, dat blijkt doordat er verwijzingen in staan maar artikelen die simpelweg niet bestaan. Dus niet artikelen die met AI geschreven zijn.

Je haalt 2 dingen door elkaar.
Nee, ik haal niets door elkaar. Ik vul alleen aan. Dat dit niet alleen in de commerciele sector gebeurt, maar ook met wetenschappelijke artikelen…
Nou, goede reden om Deloitte nooit meer te gebruiken. Ze geven niets om de diensten die ze leveren.
Nou, goede reden om Deloitte nooit meer te gebruiken. Ze geven niets om de diensten die ze leveren.
Mee eens. Dit gaat ook om professionele integriteit, zeker als je het bedrag ziet wat betaald is. 250.000 euro koopt een enorme berg aan manuren. Je mag dan wel een flink stukje vakinhoudelijke (menselijke) expertise en maatwerk verwachten. Dat tools ingezet worden om die uren effectiever in te zetten snap ik, maar alleen na expliciet overleg met de klant en duidelijke verdeling van verantwoordelijkheden. Als klant moet je er op kunnen vertrouwen dat men het beloofde werk ook daadwerkelijk doet.

Dit is een vertrouwensbreuk op zo'n basaal niveau dat dat niet te fixen is. Ik zit zelf meer dan 25 jaar in consulatancy en ben gepromoveerd op klant-leveranciers-relaties in de IT, en dit beschadigd zo'n relatie op zo'n fundamenteel punt. Dit is echt misbruik maken van het vertrouwen wat je als klant in een opdrachtnemer moet hebben. Dit grenst aan oplichting. Als opdrachtgever zou ik gewoon al mijn geld terugeisen wegens wanprestatie en ze op de zwarte lijst zetten.

[Reactie gewijzigd door J_van_Ekris op 7 oktober 2025 07:03]

Ik zou het sterker zeggen. Dit IS oplichting. Iedereen weet dat de verwijzingen in LLM's vaak niet te vertrouwen zijn, maar zelfs DAT is niet gecontroleerd. Dan heb je dus gewoon op de knop 'genereer-maar-wat-en-verstuur-het-blind' gedrukt. Dat had een kind van 10 ook gekund. En als je zo'n verslag door een 10 jarige laat maken ben je gewoon een oplichter.
Door Deloitte op de zwarte lijst te zetten valt er een hele grote tak van de banencarroussel af en daarom gaat dat dus helaas nooit gebeuren.
Makkelijk verdienen dacht Deloitte, ik vind dat ze er nog goed van af komen. In principe kan malpractice ook tot een rechtszaak ontplooien.
Probleem is dat veruit de meeste contracten die afgesloten worden met externe consultancy bureaus hier niet op voorzien zijn, dus kan je het ook niet gaan claimen.
Vertrouwen is een unieke (voor)waarde, daarom kom je er soms niet onderuit dat je externe hulp inschakelt. Het is logisch dat dat geld kost, want er zit moeite in. Een maatschappij waarin dat systeem goed werkt groeit, qua sociaal kapitaal.

Misbruik van zoiets is maken is crimineel als je het mij vraagt. Net als accountantskantoren als ze hun werk niet goed doen. Ik hoop dat het laatste woord hier nog niet over gezegd is. Je zal maar iemand zijn die door dit systeem benadeeld is. Dat gaat niet alleen om geld, maar om veel meer. Dit lijkt in zekere zin op de toeslagen affaire. Vertrouwen, (on)macht, mensenlevens. Computerprogramma’s onterecht laten oordelen. Verantwoordelijkheid ontlopen. Belangrijk dat hier over gepubliceerd wordt.
Management consulting werkte helaas nooit op dat model. Management consultants zijn er doorgaans om leiders van een bedrijf een excuus te geven om iets uit te voeren dat ze toch al wilden doen en dat binnen het bedrijf politiek gevoelig ligt door naar een extern rapport te kunnen wijzen als bron van inspiratie/bevestiging dat het een goed plan is. Overheden gebruiken het op dezelfde manier. Ik heb dat aan eigen lijven ervaren toen ik in die industrie zat en dat is dan ook de reden dat ik het tegenwoordig niet meer doe. Kinderachtig politiek gedoe tussen C-levels en Directors oplossen heeft natuurlijk wel economische waarde maar het knaagt aan je vertrouwen in de toekomstbestendigheid van de mensheid als leiders van bedrijven met miljardenomzetten het niet voor elkaar krijgen om samen te werken.
Ach, bij dit soort partijen is toch allang duidelijk dat ze niets op maat maken?

Het aantal keer dat ik stukken 'in concept' heb ontvangen waarbij er nog de verkeerde bedrijfsnamen in het document stonden zijn niet meer op 2 handen te tellen. :D

Dit verbaast me dus niets. Maximaal aantal knaken voor minimaal werk.

[Reactie gewijzigd door Martinez- op 6 oktober 2025 22:24]

Dat het niet om maat wordt gemaakt is helemaal niet gek, want de meeste organisaties zijn niet zo bijzonder, en dus is veel theorie gewoon herbruikbaar. Dat is echter niet hetzelfde als een rapport genereren met AI.
Ik doe juridisch werk en als ik opeens een random engelse term van desbetreffende wet voorbij zie komen weet ik al hoe laat het is ;)
Deloitte kennende met al hun audits en compliance checks, en dan doen ze zoiets. Geloofwaardigheid is onder 0 gezakt.
Gefeliciteerd, mijnheer Deloitte u heeft de cursus reputatieschade voor beginners met goed gevolg afgerond.

Op dit item kan niet meer gereageerd worden.