Rekenkamer: Nederlandse overheden hebben vaak geen risicoafweging van AI gemaakt

Nederlandse overheidsorganisaties hebben in meer dan de helft van de gevallen de risico's van gebruikte AI-systemen niet afgewogen tegen de opbrengsten. Dat schrijft de Algemene Rekenkamer in een rapport. Bij de Nederlandse overheid zijn 120 AI-systemen in gebruik.

De Algemene Rekenkamer heeft voor het onderzoek bij zeventig overheidsorganisaties gevraagd of en hoe zij AI gebruiken. Veertig hiervan gaven aan AI daadwerkelijk te gebruiken en vijftien gaven aan vooralsnog alleen te experimenteren met AI. De veertig organisaties die AI actief gebruiken, hebben samen 120 AI-systemen in gebruik. Bij 35 procent van deze 120 systemen is niet bekend of de systemen de verwachtingen waarmaken, omdat vooraf bijvoorbeeld niet is bepaald wat het doel is.

Bij 54 procent van de 120 AI-systemen is ook geen aantoonbare risicoafweging gemaakt, schrijft de Algemene Rekenkamer. Dit is wel verplicht onder de Europese AI-verordening, die de komende jaren gefaseerd van kracht wordt. Risicovollere systemen, die bijvoorbeeld worden gebruikt om toeslagen te regelen voor kwetsbare huishoudens, moeten eerder aan extra voorwaarden voldoen dan systemen met weinig risico's.

Volgens de Algemene Rekenkamer classificeerden organisaties de meeste AI-systemen als 'minimaal risico'. Overigens valt het de Rekenkamer op dat indien er wel een risicoafweging is gemaakt, deze niet op een uniforme wijze gebeurt. "De instrumenten die organisaties gebruiken lopen uiteen van privacytoetsen en AI-toetsingkaders tot zelfontwikkelde risicoanalyses. Er is geen rijksbreed instrument om risico's af te wegen." De Rekenkamer merkt daarnaast op dat van de in totaal 433 AI-systemen, inclusief systemen waarmee wordt geëxperimenteerd en beëindigde systemen, 'slechts' 5 procent te vinden is in het openbare algoritmeregister.

De meeste overheidsorganisaties zeggen niet meer dan drie AI-systemen te gebruiken. Vaak gaat het om systemen waarmee burgers en bedrijven niet direct te maken hebben, schrijft de Rekenkamer. "Zo zetten organisaties AI in om kennis te vergaren of te verwerken, of om hun interne processen te optimaliseren." Tegelijkertijd zijn er ook organisaties waarbij AI wel een impact heeft op burgers en bedrijven, zoals systemen die ingezet worden voor inspectie en handhaving, of om de dienstverlening voor burgers of bedrijven te verbeteren. De politie en het UWV gebruiken met respectievelijk 23 en 10 AI-systemen de meeste systemen van de onderzochte organisaties.

De staatssecretaris van Digitalisering Zsolt Szabó zegt 'verheugd' te zijn met het onderzoek 'dat ons als Rijksoverheid helpt om de juiste prioriteit te geven aan verantwoorde inzet' van AI. De staatssecretaris zegt dat er wordt gewerkt aan impactanalyses binnen de Rijksoverheid, om overheidsorganisaties te helpen bij het uniform uitvoeren van risicoafwegingen.

Reacties (53)

[Electrowolf]

Het lastige van dit onderzoek is dat het een zogenaamd "focusonderzoek" is waarbij de Rekenkamer alleen feiten wil rapporteren en niet aan eigen meningsvorming doet. Helaas verdwijnt daarmee ook veel van de nuance van dit hele verhaal.

Een paar voorbeelden:

• De Europese AI-Act is ondertussen (deels) in werking getreden, maar is nog niet "af". Overheden zijn nu druk bezig met het implementeren en voldoen aan de AI-Act. Een uitdaging hierbij is dat er nog geen normeringen vastgesteld zijn (die komen nog vanuit de EU). Normeringen zijn belangrijk omdat ze uitleggen wanneer iets binnen een bepaalde risico-categorie valt. Dus "wanneer is iets een hoog-risico algoritme". De tekst van de AI-Act zelf geeft hier maar in beperkte maten antwoord op waardoor elke organisatie nu zelf moet gaan bedenken hoe ze de tekst begrijpen.
• Overheden hebben toegezegd voor eind 2025 alle hoog-risico AI-systemen in het algoritmeregister te zetten. Daar zijn ze op dit moment heel druk mee bezig. De Rekenkamer komt nu midden in dit proces langs om te kijken of alles netjes is, terwijl je van te voren al weet dat het niet af is.
• Veel overheden experimenteren op dit moment met AI om zelf te ervaren hoe je hier verantwoord mee kan werken. Hierbij is het begrip "experimenteren" erg breed. Helaas is er geen ruimte in het onderzoek om dit verder te duiden. Tijdens dit experimenteren wordt ook gekeken hoe op een goede manier risicoafwegingen kunnen worden gemaakt, want (zie hierboven) hoe dat exact moet is nog geen eenduidig antwoord op. Hierdoor is het heel logische dat er maar beperkte "aantoonbare risicoafwegingen" zijn (de Rekenkamer is vaak redelijk strikt in wat wel en wat niet "aantoonbaar" is).

Al met al komt de Rekenkamer op een onhandig moment langs om onderzoek te doen. Iedereen is druk om aan gemaakte beloften te voldoen (eind 2025 alles in het register) en de nieuwe regels te snappen (EU AI-Act). Het is een beetje alsof je je nieuwbouwhuis 1,5 jaar voor oplevering komt inspecteren en gaat kijken of de plinten in de keuken goed zijn. Vervolgens zie je dat dat niet zo is (want de keuken zit er nog helemaal niet in) waarna je de aannemer een slechte review geeft...

Het zou interessant zijn als de Rekenkamer eind 2025 dit onderzoek nog een keer doet. Dan zouden de uitkomsten een stuk meer hout moeten snijden .

Zo ben ik bijvoorbeeld erg benieuwd hoe de 22% bezuiniging op de overheid hier impact op gaat hebben. Een grote uitdaging op dit moment (wat trouwens ook in het rapport staat) is het personeelsgebrek. Er zijn weinig mensen die dit soort werk kunnen doen, en vaak zijn die ook niet goedkoop. Als ze die gaan ontslaan wegens de bezuinigingen is er een kans dat er externen worden ingehuurd om aan de wet te voldoen... Wat vervolgens nog duurder is .

[Reactie gewijzigd door Electrowolf op 17 oktober 2024 20:24]

[RCdeWit]

> Al met al komt de Rekenkamer op een onhandig moment langs om onderzoek te doen.

Bovendien kregen instanties maar beperkt de tijd om te reageren (een aantal weken). En het lijstje definities van de Rekenkamer correspondeerde blijkbaar niet met die uit de AI verordening of die van de OESO.

Dan is het ook niet zo verwonderlijk dat het de instanties niet is gelukt om halsoverkop alle informatie aan te leveren.

[hpt870]

Zie ook de reactie van de verantwoordelijke Staatssecretaris:
https://www.rekenkamer.nl...p-ai-bij-de-rijksoverheid

[hbsJR]

Korte disclaimer: dit is mijn eigen perspectief.

Ik werk voor de overheid en kan mij wel vinden in dit verhaal, ook heb ik mijn eigen theorie hoe dit kan. Voor mijn bedrijf is op hoog niveau nog geen "compliance" geregeld voor AI, dus zeggen ze: We mogen het niet gebruiken.

Punt. Einde discussie.

Het probleem dat je krijgt, is dat je een enorm dilemma zit. Je hebt een (soms) prachtige technologie waarmee je echt stappen kan zetten, maar we mogen het niet gebruiken. Hierdoor krijg je een vorm van gedoogbeleid dat men projecten opstart en dat we wel zien waar het schip strandt.

Mijn frustratie zit hem ook dat ik al menig project heb moeten afwijzen vanwege dat compliance verhaal en dat niemand eens even de tijd neemt om de AI-act door te nemen: https://digital-strategy....s/regulatory-framework-ai

Ook dit verhaal nemen ze niet mee in mijn bedrijf. Er liggen al best goede fundamenten om snel richtlijnen mee te geven hoe we moeten omgaan met AI.

Maar nee.... We moeten eerst eindeloos lullen, een duur bedrijf inhuren om een analyse te doen en de wereld haalt ons razendsnel in.

[djwice]

Kom bij mijn werkgever werken. Mijn werkgever is het enige IT-bedrijf in Nederland die de EU AI-Act heeft ondertekend.
Ik werk voor de overheid aan een systeem dat alle burgers raakt.
En we gebruiken AI. Voor gebruik heb ik gewoon een heldere analyse gemaakt welke AI we in kunnen zetten zonder kans op negatieve effecten en heb dat uitgelegd en aangetoond.
En die modellen zetten we in, met goedkeuring.

[Reactie gewijzigd door djwice op 16 oktober 2024 23:21]

[klakkie.57th]

Neem dit vooral niet persoonlijk en ik weet niet precies waar je AI voor gaat inzetten,dus dat maakt de discussie ook al moeilijk op voorhand.

Waar kan in als burger deze modellen inkijken ?
Stel dat beslissing op basis van AI slecht uitdraait voor mij, hoe kan ik mij voor een rechtbank gaan verdedigen als ik niet weet hoe een AI model tot een bepaalde conclusie is gekomen ?

Gewoon zoveel vragen

[BCC]

Ja, het voelt een beetje als een ISO/NEN certificering - we hebben op papier alles voor elkaar, dus we produceren heel veilig betonnen zwembanden.

[djwice]

De AI verwerkt geen burger data, heeft ook geen mogelijkheid om daar bij te komen en geeft geen advies over burgers, en maakt ook geen besluiten die burgers raken.

Ook wordt de AI niet getraind met burger data en is de AI zelf zo geïsoleerd dat die geen toegang heeft tot opslag of netwerk.

De AI krijgt per sessie van de gebruiker een verse start, zodat er geen potentiële vermenging kan optreden tussen twee gebruikers.

[Reactie gewijzigd door djwice op 17 oktober 2024 08:16]

[NobodyCares4U]

Ik zie er zo snel twee staan die het ondertekend hebben.

Dus je werkt of bij booking of KPN ;-)

[SPee]

Er staan genoeg bedrijven tussen die in Nederland actief zijn: de lijst

[NobodyCares4U]

Ja daarom dacht ik dat OP een "Nederlands" bedrijf bedoelde.

Zo eentje die niet alleen een brievenbus of kantoor in NL heeft maar daadwerkelijk op nederlandse bodem is ontstaan.

[Reactie gewijzigd door NobodyCares4U op 17 oktober 2024 15:17]

[djwice]

Welke zijn puur IT-bedrijf in die lijst?

[djwice]

Je moet iets hoger in de lijst kijken.

[kodak]

prachtige technologie waarmee je echt stappen kan zetten

Ten eerste is de technologie niet prachtig zolang er geen duidelijkheid is wat voor problemen het geeft. Dat is na 200 jaar aan industrialisatie wel duidelijk tenzij je men opzettelijk selectief perse maar naar de voordelen wil kijken (lees: deze wil (ver)kopen).
Ten tweede valt onder 'stappen zetten' ook terug hollen naar steeds dezelfde fouten: doen alsof er vooruitgang is terwijl men geen benul heeft, of wenst te hebben, of dat wel realistisch is.

[TMC]

Je zit op Tweakers, een website voor mensen met interesse in technologie, maar je vindt de techniek niet mooi? Dat vind ik bijzonder raar.

Een LLM die op bijna alles een feilloos antwoord teruggeeft is gewoon verbluffend. Dat het niet perfect is en dat er risico's aanzitten zal niemand ontkennen, maar kom op zeg, als je een LLM niet eens prachtig durft te noemen snap ik echt niet wat je hier doet.

[nullbyte]

Een LLM die op bijna alles een feilloos antwoord teruggeeft

Mwah zelden meegemaakt dat het antwoord feilloos was. Indrukwekkend maar het is een tool, niet meer dan dat.

[Reactie gewijzigd door nullbyte op 16 oktober 2024 22:20]

[djwice]

Teksten herschrijven naar A2 taal niveau voor mensen die dat nodig hebben.

Maar ook foutloze code kunnen genereren na een paar prompts voor een hele applicatie infrastructuur van cdn, firewall, API gateway tot microservices en database model aan toe.
En deze vertalen van de ene cloud provider naar de andere, in de infrastructuur als code taal van de ander.

Foutloos goede service workers proxies schrijven met 1 prompt.

Of een WCAG compliant HTML5/CSS3 formulier met 2 prompts.

Of een authenticatie laag voor je API op basis van OpenAPI als configuratie bestand en een JWT-token in de request, gewoon in Java Quarkus als je dat wil in een prompt.

Het is maar net hoe je het vraagt, met wat oefening krijg je structureel mooie, veilige en goed werkende code.

[Reactie gewijzigd door djwice op 16 oktober 2024 23:33]

[tweaker29789]

- Teksten schrijven naar A2 taal niveau zullen die mensen toch eerst zelf moeten leren. Hoe kunnen ze anders het resultaat beoordelen? Of moet dat altijd iemand anders zijn?

Mijn issue is de controle van het resultaat. Hoe uitgebreider/complexer de output wordt hoe meer werk dat wordt.
Je kunt je ook afvragen of afhankelijkheid van LLM voor productiviteit niet ten koste van kwaliteit gaat omdat je minder hoeft na te denken. Bij programmeren kan ik me voorstellen dat dat een groot probleem kan worden. Vooral bij het onderhoud van de door AI gegenereerde code.

[djwice]

De ervaring leert dat je kennis moet hebben van wat je wil om er goede resultaten uit te laten komen, of letterlijk prompts over moet nemen van iemand met die kennis.

In dat laatste geval kun je net zo goed de bestaande code hergebruiken.

Ik zie het meer als het vervangen van het schrijven van code waarvan ik toch al weet hoe het moet en het alleen vooral een kwestie van doen is.

En het is ook een speeltje, dan vraag ik een bepaald bordspel te implementeren. Altijd weer leuk als dat lukt. De sport is om dat met zo min mogelijk prompts in 1x goed werkend te krijgen.

A2 wordt inderdaad nagelezen door een taalkundige. Maar het scheelt veel tijd en het geeft soms verrassende brengt formuleringen die we zelf niet bedacht zouden hebben, maar wel goed de lading dekken.
Uiteraard merken we ook in de praktijk dat de hergeformuleerde tekst veel beter wordt begrepen door de doelgroep. Als dat niet zo zou zijn zouden we dit proces natuurlijk niet zo uitvoeren.
Door deze aanpak kunnen we veel sneller meer informatie helder beschikbaar maken voor een grotere doelgroep.

Het mooie bij het schrijven van een goede prompt is dat je ook eisen kunt stellen aan de code opbouw, code structuur en kwaliteit. We krijgen dus eigenlijk beter onderhoudbare code en veiligere code omdat de code veel consistenter is in opbouw, formulering en structuur en aan stricte eisen voldoet, waar sommige programmeurs dingen uit verveling soms overslaan 'die check is niet nodig, wordt daar ook al gedaan'.

[Reactie gewijzigd door djwice op 17 oktober 2024 08:34]

[NobodyCares4U]

Euh waarschijnlijk niet dus.


https://arxiv.org/abs/2211.03622
Do Users Write More Insecure Code with AI Assistants?

We conduct the first large-scale user study examining how users interact with an AI Code assistant to solve a variety of security related tasks across different programming languages. Overall, we find that participants who had access to an AI assistant based on OpenAI's codex-davinci-002 model wrote significantly less secure code than those without access. Additionally, participants with access to an AI assistant were more likely to believe they wrote secure code than those without access to the AI assistant. Furthermore, we find that participants who trusted the AI less and engaged more with the language and format of their prompts (e.g. re-phrasing, adjusting temperature) provided code with fewer security vulnerabilities. Finally, in order to better inform the design of future AI-based Code assistants, we provide an in-depth analysis of participants' language and interaction behavior, as well as release our user interface as an instrument to conduct similar studies in the future.

https://www.code-intellig...isks-of-ai-generated-code
The Risks of AI-Generated Code

https://www.ciodive.com/n...nerated-code-snyk/705900/
AI-generated code leads to security issues for most businesses

https://www.blackduck.com...erated-code-security.html
Is AI-generated code secure? Maybe. Maybe not.

[SPee]

En https://shenisha.substack...-assistants-really-saving

Uplevel, which analyzes coding and collaboration data, reports that the use of GitHub Copilot resulted in a 41% increase in bugs.

Als junior developer zorgt AI code generatie er ook voor dat je minder leert, waardoor je kennis ook minder groeit. Dus het duurt langer om senior developer te worden (of de kwaliteiten voor een senior dalen).

[djwice]

Het hangt af van je vakkennis, prompt skills en de kennis die je hebt van de AI.

Ik weet hoe je die dingen goed en veilig moet doen, dus ik kan ook vragen stellen met het vereisen van de juiste standaarden aanhalen. En ik weet per model wat de beperkingen zijn.

Dat zorgt er voor dat ik goed werkende, goed leesbare en veilige code krijg.

Ik kan zelfs infrastructuur als code voor public cloud van AWS naar Azure laten vertalen met 1 of twee prompts. De native AWS services zijn dan vertaald naar Azure en CloudFormation is vertaald naar ARM. En de functies en eigenschappen van de infrastructuur zijn behouden, incl. vertalingen/transformaties waar nodig.

Dus je kunt generieke stukken aanhalen van bijna een jaar oud, maar dat is een beperkte realiteit, de modellen zijn 2 releases verder en zijn niet te vergelijken met toen en de kennis hoe je de modellen moet gebruiken is ook verbeterd.

Recent heb ik een presentatie gegeven waarin ik liet zien met de echt gebruikte prompts en werkelijke output, hoe je een werkende app genereerd met html, css, service worker proxy, waf, CDN, api gateway, microservices en nosql schema.

Incl. strikte input validatie op alle lagen, voor bsn, email, uuid en Nederlands niet betaal nummer.

Alles zonder te specificeren hoe die validaties er uit moesten zien. Zonder te specificeren hoe de iam policies er uit moesten zien op de infrastructuur.

Ik heb simpelweg aangegeven welke architectuur standaard en security tests ze moesten doorstaan. En aan welke accessibility standaard de frontend moet voldoen.

Ik leerde uit de reacties van het publiek dat niet iedereen bekend was met die standaarden, dat is de bron van waarom zij onveilige API's van de AI krijgen en waarom hun UI niet intuïtief werkt en ik een veilige en goed werkende applicatie krijg.

[NobodyCares4U]

Ik weet hoe je die dingen goed en veilig moet doen, dus ik kan ook vragen stellen met het vereisen van de juiste standaarden aanhalen. En ik weet per model wat de beperkingen zijn.

Of je denkt dat je dat weet. Je weet niet wat je niet weet en gezien je zoveel vertrouwen in jezelf hebt, heb je waarschijnlijk een flinke blindspot.

Heb je die app ook daadwerkelijk getest en door een derde laten auditen of het volledig aan de architectuur standaard en security tests voldoen?

[Reactie gewijzigd door NobodyCares4U op 17 oktober 2024 17:35]

[djwice]

Grapjas. Soms weet jij niet met wie je praat denk ik.

Ben je jaloers als ik iets kan wat jouw nog niet lukt? Mag hoor, als je het maar omzet in nieuwsgierigheid om het zelf ook te kunnen.

Soms kom je namelijk mensen tegen die er voor zorgen dat de wereld echt veranderd. Die laten je dingen zien die vakgenoten 10 jaar later nog steeds verbazingwekkend vinden. Die leiden teams naar dingen die ze zelf voor onmogelijk hielden. Die zetten standaarden in plaats van ze slechts te volgen.

Enjoy the ride while it lasts. Did you ever right click in your editor? Just say thanks.

[Reactie gewijzigd door djwice op 17 oktober 2024 17:43]

[NobodyCares4U]

Zeker weten dat ik niet weet met wie ik praat, jij ook niet.

Je kan zeker iets wat me nog niet lukt, dat is niet zo raar. Ik kan ook nog steeds niet netjes mijn was opvouwen.

Zowieso ben ik geen klik monkey die cloud services implementeert. Geen root, dan gebruik ik het niet. Heb ook nog nooit een chatGPT oid gebruikt zelf maar wel diverse LLM's draaien en ook eigen datasets om te trainen gemaakt. Maar de intresse was er snel vanaf.

Tip: Right click in vim doesn't do shit, or do I need to use Emacs? xD

[Reactie gewijzigd door NobodyCares4U op 17 oktober 2024 18:15]

[djwice]

Oh, soms is het dan paste.

[NobodyCares4U]

Zeker gezien je hele andere antwoorden krijgt door bijv. het toevoegen van niet relevante informatie.

https://arstechnica.com/a...pple-researchers-suggest/
Apple study exposes deep cracks in LLMs’ “reasoning” capabilities
Irrelevant red herrings lead to "catastrophic" failure of logical inference.

[kodak]

Je toont precies aan waarom het niet zomaar mooi is: omdat sommige mensen liever doen alsof er geen nadelen zijn dan verantwoordelijkheid nemen bewust te willen zijn van de nadelen. Geen enkele middel is zonder risico. Dus doen alsof een LLM feilloos is of een AI gebruikt kan worden omdat het een goed gevoel geeft is niet realistisch.

[TMC]

Heb je een voorbeeld van iemand die zegt dat er geen nadelen zijn? Die mensen heb ik nog nooit gezien. Jouw punt snap ik daarom totaal niet.

[TMC]

Jammer dat de nadruk bij AI zo op regulering ligt en niet op de enorme kansen.

Natuurlijk moeten algoritmes rechtvaardig en ethisch zijn, maar dat vind ik eigenlijk nogal een dooddoener. Het alternatief, een handmatig proces, moet toch net zo goed ethisch en rechtvaardig zijn? Ik hoor nooit iets over risico inschattingen voor handmatige processen, terwijl die er (vooralsnog) véél meer zijn. Waarom niet? Het idee dat algoritmes vooral riskant zijn en het alternatief niet, dat zie ik niet.

De enige vacature mbt AI die momenteel openstaat bij de Rijksoverheid gaat over compliance. Erg jammer.

[Reactie gewijzigd door TMC op 16 oktober 2024 21:32]

[vrije_vogel]

Als een proces handmatig wordt uitgevoerd maakt iedere medewerker bij iedere casus een afweging. Natuurlijk kan daar ook slordig en routinematig mee worden omgegaan, misbruik is altijd mogelijk. Maar in potentie is er steeds iemand die een nieuwe afweging maakt.
Dat is bij de inzet. van systemen gebaseerd op machine learning niet zo. Het is de dataset die historisch is gebruikt om een model te trainen, die het gedrag van het systeem bepaalt. Wat erg lastig is te controleren.
Die dataset kan verouderen of niet meer van toepassing zijn op het huidige type casussen.

Mensen zijn doorgaans ethische en rechtvaardige wezens, met uitzonderingen. Modellen zijn a-ethisch en a-rechtvaardig.

Voor degene die met zo'n model werkt is het een black box. Er is onderzoek gedaan hoe mensen handelen wanneer ze eerst zelf een afweging maken en daarna een afweging maken op basis van een advies van een systeem. Kort door de bocht is d uitkomst dat ze nagenoeg altijd stoppen met denken en het advies van het systeem overnemen.

Met LLM's is er een complicerende factor dat we op dit moment praktisch geen inzicht en controle hebben over de datset waarmee zo'n model wordt gebouwd.

[TMC]

Mensen zijn doorgaans ethische en rechtvaardige wezens, met uitzonderingen. [

Dit is natuurlijk een gigantische aanname.

[Fornoo]

Inderdaad, we worden gedreven door onze emoties en gevoelens. Dat we er daarna nog capaciteit hebben om die emoties en gevoelens te verklaren, is louter dat. Een sausje dat er achteraf overheen wordt gegoten. Gelukkig zijn mensen sociale wezens, en doen we het liefst geen anderen kwaad. Helaas neemt dat aantal af naarmate je hogerop in de toplaag van onze maatschappij komt. Waar macht en ambitie de norm zijn.

[NobodyCares4U]

Ja dat gelooft toch niemand, maar dit geld dan automatisch ook voor LLM's gezien de enorme bias die je erin kan stoppen

[TMC]

Ja dat is precies mijn punt, elk proces kan bevooroordeeld zijn of op een andere manier onrechtmatig, dus ook geautomatiseerde processen. Maar het is erg vreemd om te doen alsof die risico's alleen voor geautomatiseerde processen gelden.

[klakkie.57th]

Die regulering is net nodig omdat bedrijven , de overheid, mensen in het algemeen steeds weer de kantjes op gaan zoeken van wat “wettelijk” kan of mag.

We zouden er ook kunnen voor kiezen om AI in het geheel te verbieden voor een aantal domeinen. Ik denk niet dat er iemand problemen heeft als we AI inzetten voor kankeronderzoek of het testen van nieuwe molecules.Maar iets als profilering aan de hand van camerabeelden zou resoluut verboden moeten worden.

[TMC]

Jij vindt profilering overlaten aan mensen een beter idee? Mensen hebben geen vooroordelen?

[NobodyCares4U]

En die mensen trainen het algoritme met dezelfde vooroordelen.

Het enige verschil is dat ze kunnen wijzen naar "Computer says no!" ipv ik heb die keuze gemaakt.

[TMC]

Ja, dus je bent het mij eens dat er geen wezenlijk verschil zit tussen besluitvorming middels een algoritme of menselijke besluitvorming? En dat het dus onzin is om te zeggen dat algoritmes riskant zijn, terwijl het alternatief niet meer of minder riskant is?

[NobodyCares4U]

Er is dus eigenlijk ook geen voordeel voor besluitvorming middels een algoritme.
Je moet in beide gevallen alles controleren, dus waarom dan een LLM gebruiken?

Ik kan chatGPT vragen om een scriptie te schrijven maar ik moet dan alsnog alle bronnen gaan lezen en de tekst controlleren op fouten/rariteiten.

Waarom zou ik het dan gebruiken?

[Reactie gewijzigd door NobodyCares4U op 17 oktober 2024 15:13]

[Lisadr]

Nederlandse overheden hebben veel te weinig kennis (van risicomanagement) wanneer het gaat om technologie. IT, AI, Cybersecurity, Enterprisearchitectuur en andere domeinen is de kennis vaak beperkt en word veel uitbesteed aan derden. Werk regelmatig met de overheidsdiensten waarbij het niet ongebruikelijk is dat een kwart of de helft van de medewerkers externen zijn.

Het is vaak voor specialisten niet interessant om bij de overheid te werken, behalve een salaris die veel lager is dan de markt, is de mandaat en positie vaak ook veel beperkter. En niet te beginnen over management die vaak helemaal geen ervaring heeft en daarmee bedoel ik titels zoals CIO, Directeur IT enz waarbij ze vaak worden ingevuld door mensen via de Algemene Bestuursdienst die toe waren een promotie en geen enkele ervaring hebben binnen IT. Het is een veel grotere probleem dan allen AI.

[nst6ldr]

Dat is nogal een overkoepelend statement, zo meer dan 10% van werkend Nederland wegzetten. Er zijn absoluut overheidsdiensten die weten wat ze doen op technologisch vlak.

[NobodyCares4U]

Noem er eens 1?

[nst6ldr]

Zo uit m'n hoofd zijn mindef, minbuza, AIVD, MIVD, NCSC, NFI en het Nationaal Archief echt wel volwassen, de beheer- en ontwikkelafdelingen daar streven menig bedrijf voorbij om de doodeenvoudige reden dat ze meermaal per dag te maken hebben met statelijke actoren. Dan is alleen frequent patchen niet voldoende.

[Reactie gewijzigd door nst6ldr op 17 oktober 2024 14:41]

[NobodyCares4U]

Dat kan zo zijn maar daar heb ik zelf nooit inzicht in gehad, ken wel een aantal ex-collega's die bij deze instanties werkten maar dat waren zeker niet de besten. Wel de saaiste meest bureaucratische collega's vaak.

Als het een vergelijking met menig bedrijf moet zijn dan is dat absoluut niet "weten wat ze doen op technologisch vlak".

Heb bij vele multinationals problemen verholpen in het verleden en het is echt dramatisch. Het enige verschil met de overheid is dat ze vaker wat sneller reageren als het echt veel geld gaat kosten.

Verder zijn het dezelfde soort mensen als de ambtenaren met dezelfde soort interne politiek en onkunde.

[Lisadr]

Rekenkamer roept het al jaren. https://www.rekenkamer.nl/onderwerpen/ict-en-digitalisering

10% van werkend Nederland werkt niet als specialist op IT afdeling van Nederlandse overheden en is al helemaal niet daar een CIO of Direceur ICT.

[nachtuil]

Tja, tot ze het afwegen is het al te laat..

[yevgeny]

Teveel geld en te weinig toezicht hoe het geld besteed wordt met als gevolg hobby projecten.

[bursche]

Toeslagenramp is straks niks bij de trainwreck die eraan zit te komen.

[TMC]

Toeslagenaffaire had niks te maken met algoritmes maar alles met bestuurlijk falen.

Je kan ook zeggen dat het door PowerPoint kwam omdat er ongetwijfeld slides zijn gemaakt in PowerPoint die eraan hebben bijgedragen, maar net zoals een algoritme is is PowerPoint slechts een tool.

[bursche]

Fout. De toeslagenramp (het was geen affaire) had alles te maken met algoritmes en het apparaat dat hierom heen is gebouwd. En dat plaats je vervolgens in het bakje bestuurlijk falen inderdaad.
Dit is precies hetzelfde, maar dan in potentie nog veel erger.

[Reactie gewijzigd door bursche op 17 oktober 2024 05:49]

[TMC]

Heb je daar een bron van?

[SPee]

Er werd weliswaar gebruik gemaakt van een systeem om overtreders te achterhalen.
Maar...
- Dat systeem mocht niet gebruikt worden, zoals het gebruikt werd
- Kleine foutjes in aanvragen werden keihard afgestraft ipv correctie of "menselijke maat"
- In (beroep) rechtzaken werd niet de waarheid verteld
- Interne kritiek wordt genegeerd

Het systeem of "algoritme" is maar een klein deel. Heel het apparaat eromheen is hoe de organisatie is/werkt. En dat kan ook zonder algoritme, LLM of AI een ramp worden. Repareer je de fouten in de organisatie, dan kun je ook met (kleine) fouten in de LLM of AI omgaan.