Deloitte betaalt geld terug vanwege rapport dat door AI lijkt te zijn geschreven

Als er één bedrijf is dat vol op de hypetrain van AI stapt, dan is het wel Deloitte. Maar nu heeft het consultancybureau zichzelf in de kunstmatige vingers gesneden, want het moet nu bijna 250.000 euro terugbetalen aan de Australische overheid omdat het een rapport inleverde dat door AI leek te zijn geschreven.

Australische media, waaronder de Australian Financial Review, schrijven dat Deloitte in ieder geval een deel van de 440.000 Australische dollar terugbetaalt aan de overheid van dat land. De overheid, specifiek het ministerie van Werkgelegenheid, liet eerder dit jaar een onderzoek uitvoeren naar geautomatiseerde besluitvorming rondom boetes in het werkloosheidssysteem. Dat rapport werd in juli opgeleverd, maar blijkt achteraf helemaal niet zo nuttig als Deloitte voor deed komen. En het leek de omgerekende 248.000 euro ook niet helemaal waard.

Al snel nadat het rapport uitkwam, bleken daar meerdere voetnoten in te staan naar niet-bestaande bronnen. Het ging onder andere om verwijzingen naar onderzoeken die weliswaar aan echte hoogleraren waren gekoppeld, maar die op zichzelf niet bestonden. Ook stonden er citaten in het rapport van onder andere een federale rechter die zij nooit had uitgesproken.

Inmiddels hebben Deloitte en het ministerie stilletjes een nieuwe versie van het rapport online gezet. Daarin staan veertien referenties niet meer opgenomen die wel in het oude rapport nog stonden. Verder heeft Deloitte ergens midden in het rapport een zin toegevoegd waarin het erkent 'een op Azure OpenAI GPT-4o-gebaseerde toolchain' te hebben gebruikt om bepaalde dingen uit te zoeken.

Door Tijs Hofmans

Nieuwscoördinator

06-10-2025 • 20:46

32

Reacties (32)

Sorteer op:

Weergave:

Vertrouwen is een unieke (voor)waarde, daarom kom je er soms niet onderuit dat je externe hulp inschakelt. Het is logisch dat dat geld kost, want er zit moeite in. Een maatschappij waarin dat systeem goed werkt groeit, qua sociaal kapitaal.

Misbruik van zoiets is maken is crimineel als je het mij vraagt. Net als accountantskantoren als ze hun werk niet goed doen. Ik hoop dat het laatste woord hier nog niet over gezegd is. Je zal maar iemand zijn die door dit systeem benadeeld is. Dat gaat niet alleen om geld, maar om veel meer. Dit lijkt in zekere zin op de toeslagen affaire. Vertrouwen, (on)macht, mensenlevens. Computerprogramma’s onterecht laten oordelen. Verantwoordelijkheid ontlopen. Belangrijk dat hier over gepubliceerd wordt.
Tja, die bronnen hadden ze moeten checken…dat is slordig. In principe kan AI best zo’n rapport maken, als je maar de juiste input and prompts geeft. En de meeste van dit rapporten blinken doorgaans niet uit in doelmatigheid…
Ik was met een ontwerp bezig van een prompt om software ontwerpen voor in de constructie te controleren en kreeg ook verwijzingen naar niet bestaande artikelen en terwijl ik me er aan ergerde en dat melde kreeg ik doodleuk een uit 2023 Amerikaans verslag voorgeschoteld en idd de auteur bestond maar de auteur was al in 2002 overleden. Toch bleef de AI volhouden dat hij onlangs nog wat had ingediend. Heel hallucinaties en onnodige informatie die je eigenlijk niet wil hebben. Ergste vind ik de blunder dat ze hun eigen rapport niet hebben gecheckt; ja misschien door de AI zelf ( ook hier dan een “wij van WC-eend” gedoe ) . AI kwaakt aan alle kanten ( pun intended).
Nog even gaat AI zelf websites opzetten om maar gelijk te krijgen.
Ik heb de laatste week al mijn eerste bronverwijzing in ChatGPT gekregen naar een overduidelijk door een LLM geschreven website. Het internet is inderdaad dood.
In principe kan AI best zo’n rapport maken.
Blijkbaar niet. Als de AI een reeks referenties en citaten hallucineert, waarom zouden we dan de inhoud nog vertrouwen? En als Deloitte zelfs die niet gecontroleerd heeft, waarom zouden we er dan op vertrouwen dat Deloitte de inhoud wel gecontroleerd heeft?

Dit rapport, ook de aangepast versie, is nu functioneel waardeloos, want niet te vertrouwen.
Dit is maar het topje van de ijsberg als je nagaat hoeveel wetenschappelijke publicaties al door de mand zijn gevallen die door AI waren geschreven en niet door de persoon zelf.

In het hoger onderwijs moeten we ook af van scripties, of op z’n minst het colloquium weer invoeren.

[Reactie gewijzigd door FrostHex op 6 oktober 2025 20:56]

Dan valt niet alleen de publicatie door de mand maar ook wel het journal of de conferentie waar die publicatie in is gebeurd... Dat krijg je alleen voor elkaar bij journals/conferenties waar degene die wil publiceren nog veel harder gescamd wordt dan degene die het AI-paper heeft ingestuurd.

Veel mensen zijn lyrisch over de resultaten van AI, en dat is ook best terecht als je een glad marketing-tekstje of een goedlopend e-mailtje nodig hebt, maar als AI zich gaat wagen aan een wetenschappelijk paper prikt een serieuze lezer daar in twee minuten doorheen. Laat staan in de uren die je als reviewer steekt in het doorgronden van een paper.
Helaas zijn er tegenwoordig nogal veel predatory journals die wel pretenderen aan peer review te doen, maar in werkelijkheid alles publiceren wat maar opgestuurd wordt. En de meer serieuze journals ontkomen daar ook niet aan.

Niet alles is een gigantische rat-penis, helaas.

Qua serieuze wetenschappers valt het wel mee - immers, AI-rotsooi publiceren is funest voor je reputatie - maar er zijn helaas ook veel posities waarbij wetenschappelijke publicaties meer een checkbox zijn voor promotie. Medische doctoren in sommige landen bijvoorbeeld. En die kopen vervolgens een author positie op AI-geschreven manuscripten, en dat wordt niet altijd ontdekt. Het is een substantieel probleem.

[Reactie gewijzigd door FragFrog op 6 oktober 2025 21:37]

De hele AI-ontwikkeling kan zo mooi zijn, maar helaas lijkt misbruik in allerlei vormen ook nu weer de boventoon te gaan voeren.

De AI wedloop bestaat straks uit tools die iets genereren en "contra tools" die controleren of het wel juist is wat er gegenereerd is.
Helaas is geld belangrijker voor veel managers. Controleren kost geld.

AI kan echt een fantastisch hulpmiddel zijn, maar ook gemakzucht in de hand werken. Blijkbaar is dit zelfs voor Deloitte een kosten/baten analyse. De boetes voor lief nemend.

AI is door kapitalisme helaas een kwaad voor de samenleving voor nu, en waarschijnlijk voorlopig. En laten we eerlijk zijn, het verdient de naam AI nog niet, het zijn nog steeds niks meer dan LLM's. Ook in testen binnen ons bedrijf blijkt dit steeds weer, niks intelligents aan, maar in bepaalde situaties wel enorm handig.
AI kan echt een fantastisch hulpmiddel zijn, maar ook gemakzucht in de hand werken. Blijkbaar is dit zelfs voor Deloitte een kosten/baten analyse. De boetes voor lief nemend.
De boetes voor lief nemen kan nooit gevolg van een kosten/baten analyse voor dit soort bedrijven zijn. Het blijft namelijk niet beperkt tot de boetes. Dit kost ook reputatie.

Als Deloitte dit soort dingen te vaak doet gaat daar het image aan kleven van een AI-slop fabriek. Wie wil er dan nog tonnen voor een rapport van hun betalen? Zeker als je zulke dingen bij een overheid flikt. De oppositie zet de minister graag voor schut als ie tonnen heeft betaald voor een rapport wat elke middelbare scholier ook gewoon uit ChatGTP kon halen.
Die reputatie valt ook in de kosten baten analyse natuurlijk. Ligt eraan waar priotiteiten worden gesteld.
De hele AI-ontwikkeling kan zo mooi zijn, maar helaas lijkt misbruik in allerlei vormen ook nu weer de boventoon te gaan voeren.

De AI wedloop bestaat straks uit tools die iets genereren en "contra tools" die controleren of het wel juist is wat er gegenereerd is.
Ik denk dat AI alleen maar nog meer voor gaat zorgen dat het kloof naast arm en rijk, ook tussen kwaliteit en rommel gaat vergroten. En daarmee bedoel ik dat als je niet zorgvuldig AI toepast je in je werk gewoon matige kwaliteit gaat afleveren.

Ook ik zie het dat steeds meer op dagelijks werkbasis. Requirements die bijv. volledig AI gegenereerd zijn, waarbij je vervolgs doorvraagt en op geen antwoorden uitkomt. Het is wel ernstig...

AI maakt de werknemer eerder dommer dan slimmer, want het gemak is hoger geworden. Maar dit gaat ten koste van echt betekenisvolle werk.
Makkelijk verdienen dacht Deloitte, ik vind dat ze er nog goed van af komen. In principe kan malpractice ook tot een rechtszaak ontplooien.
Probleem is dat veruit de meeste contracten die afgesloten worden met externe consultancy bureaus hier niet op voorzien zijn, dus kan je het ook niet gaan claimen.
Nou, goede reden om Deloitte nooit meer te gebruiken. Ze geven niets om de diensten die ze leveren.
Nou, goede reden om Deloitte nooit meer te gebruiken. Ze geven niets om de diensten die ze leveren.
Mee eens. Dit gaat ook om professionele integriteit, zeker als je het bedrag ziet wat betaald is. 250.000 euro koopt een enorme berg aan manuren. Je mag dan wel een flink stukje vakinhoudelijke (menselijke) expertise en maatwerk verwachten. Dat tools ingezet worden om die uren effectiever in te zetten snap ik, maar alleen na expliciet overleg met de klant en duidelijke verdeling van verantwoordelijkheden. Als klant moet je er op kunnen vertrouwen dat men het beloofde werk ook daadwerkelijk doet.

Dit is een vertrouwensbreuk op zo'n basaal niveau dat dat niet te fixen is. Ik zit zelf meer dan 25 jaar in consulatancy en ben gepromoveerd op klant-leveranciers-relaties in de IT, en dit beschadigd zo'n relatie op zo'n fundamenteel punt. Dit is echt misbruik maken van het vertrouwen wat je als klant in een opdrachtnemer moet hebben. Dit geenst aan oplichting. Als opdrachtgever zou ik gewoon al mijn geld terugeisen wegens wanprestatie en ze op de zwarte lijst zetten.

[Reactie gewijzigd door J_van_Ekris op 6 oktober 2025 23:36]

Ach, bij dit soort partijen is toch allang duidelijk dat ze niets op maat maken?

Het aantal keer dat ik stukken 'in concept' heb ontvangen waarbij er nog de verkeerde bedrijfsnamen in het document stonden zijn niet meer op 2 handen te tellen. :D

Dit verbaast me dus niets. Maximaal aantal knaken voor minimaal werk.

[Reactie gewijzigd door Martinez- op 6 oktober 2025 22:24]

Dat het niet om maat wordt gemaakt is helemaal niet gek, want de meeste organisaties zijn niet zo bijzonder, en dus is veel theorie gewoon herbruikbaar. Dat is echter niet hetzelfde als een rapport genereren met AI.
Ik doe juridisch werk en als ik opeens een random engelse term van desbetreffende wet voorbij zie komen weet ik al hoe laat het is ;)
Eigenlijk zijn juist dit soort consultancybedrijfjes geschikt om compleet opgedoekt te worden door AI. Het gaat bij Deloitte en consorten al lang niet meer puur over de techniek en inhoud, maar meer over hoe je het brengt, uiteraard wel in een net pak. Juist dat soort 'werk' is wat AI prima kan overnemen.
Deloitte kennende met al hun audits en compliance checks, en dan doen ze zoiets. Geloofwaardigheid is onder 0 gezakt.


Om te kunnen reageren moet je ingelogd zijn