TNO wil AI-proeftuin voor risico's gebruik algoritmes door overheid

TNO wil dat er een experimentele omgeving voor kunstmatige intelligentie komt om onbedoelde nadelige gevolgen van algoritmische publieke besluitvorming te testen. Hierbij zouden ook burgers betrokken moeten worden, aldus het instituut.

De proeftuin zou een afgeschermde omgeving moeten worden waarbinnen toepassingen van de overheid die gebruikmaken van algoritmes getest kunnen worden. Dit moet het mogelijk maken controle en toezicht uit te oefenen op de toepassing van AI-systemen en te rapporteren wat de risico's zijn en de impact is. Daarbij gaat het met name om toepassingen met een hoog risico, zoals die zijn benoemd in de door de EU voorgestelde regulering van AI. De EU noemde onder andere het gebruik van algoritmes voor werkgelegenheid, software voor het beheer van migratie, asielaanvragen of grenscontrole en kunstmatige intelligentie voor autoriteiten.

TNO zelf noemt als voorbeeld een AI-systeem dat het CJIB gebruikt om mensen uit schulden te houden door voorspellingen te doen op basis van historisch betaalgedrag. Dit systeem was volgens ethics by design-principes ontwikkeld, maar bleek onverwachte langetermijneffecten te hebben, zoals oneerlijkheid bij het uitlichten van bepaalde groepen en extra werk voor ambtenaren.

De bedoeling is dat meerdere partijen betrokken worden bij de AI-omgeving om alle belangen mee te wegen. Het gaat onder meer om ontwikkelaars, beleidsmakers, overheidsfunctionarissen en burgers. TNO stelt voor een bijsluiter voor burgers te ontwikkelen om te helpen bij het begrip hoe het systeem werkt en wat voor impact dit op hun leven kan hebben.

Het voorstel voor de AI-proeftuin vloeit voort uit de paper ‘Op zoek naar de mens in AI’ die TNO publiceert. Het instituut denkt dat er anderhalf jaar nodig is om deze omgeving op te zetten en het doel is om dit samen met meerdere universiteiten te doen. In de paper beschrijft TNO een methodiek voor verantwoordelijke algoritmische besluitvorming waar de proeftuin een onderdeel van is. Voorafgaand aan de inrichting en implementatie van AI-systemen zouden volgens deze methodiek vragen gesteld moeten worden zoals op welke maatschappelijke vragen de AI-toepassing gericht is en wat het gerechtvaardigd belang is om data en AI in te zetten.

Volgens eerder onderzoek van TNO is het gebruik van AI bij de overheid de afgelopen twee jaar sterk toegenomen. Dat het mis kan gaan, toonde de problematiek van het Systeem Risico Indicatie aan, dat na een toetsing achteraf in strijd met het Europees Verdrag voor de Rechten van de Mens werd verklaard en inmiddels niet meer gebruikt wordt om fraude te analyseren.

Reacties (17)

[starfight]

zoals oneerlijkheid bij het uitlichten van bepaalde groepen en extra werk voor ambtenaren.

Als de A.I. goed "geleerd" heeft kan dat nu eenmaal gebeuren ja, misschien is dat ook wel een feit dat "bepaalde groepen" een hogere kans op schulden hebben?

Hang natuurlijk volledig af van de trainingsdata, als daar inderdaad meer groep X inzit en groep X over het algemeen meer kans heeft op schulden dan groep Y dan is dit toch een logische conclusie?

[hoeksmarp]

Het gaat er natuurlijk om wat voor gevolgen dat heeft. Er is inderdaad niet noodzakelijk iets mis met het herkennen van een groter risico bij een bepaalde groep mensen. Het mag echter niet betekenen dat die groep (of juist andere groepen) om die reden gediscrimineerd worden (dat laatste hebben we zo bij wet bepaald). Het is allemaal erg ingewikkeld omdat objectieve feiten, discriminatie op basis van persoonskenmerken en historische bias hier op vreemde manieren bij elkaar (kunnen) komen.

[Nas T]

Ik weet niet of het bij een softwarematig systeem te realiseren is om niet te discrimineren.
Ik denk ook niet dat dat het doel moet zijn. Wat ik belangrijker vind, is dat in de be/veroordeling van personen, uiteindelijk een menselijke factor de bepalende factor moet zijn. Dat is menselijker en duidelijker qua verantwoordelijkheid. Ik zou het namelijk niet graag op mijn geweten willen hebben om onschuldige mensen te markeren als potentieel fraudeur met de (slepende) gevolgen van dien.

Ik zou mijn geld (zeker) niet inzetten op een goedwerkend IT-systeem bij de overheid. Ik denk dat we de laatste 10~20 jaar al legio projecten hebben zien falen, zonder al te veel verandering.
Ik denk dat dat een belangrijk leerpunt is: ok, we zijn niet goed met IT en daar moeten we dus niet op vertrouwen. Zeker als het gaat om zaken die de integriteit van burgers ernstig nadelig beïnvloedt.

[hoeksmarp]

Je gebruikt continu algoritmes, overal, niet alleen in softwaresystemen (denk bijvoorbeeld aan de scripts die callcenters hebben of het online en zelfs het papieren belastingformulier). En ook mensen hebben hun vooroordelen. Ook het feit dat er uiteindelijk een mens naar kijkt maakt niets uit, want dan is de informatie al gefilterd. Het is misschien niet makkelijk om discriminatie te voorkomen door dit soort systemen, maar dat moet zeker niet betekenen dat je het niet moet proberen en het lijkt mij helemaal geen slecht idee om het op deze manier te proberen.

[dutchminator]

Trainingsdata is natuurlijk niet heilig, want er kan een bias in de wijze van verzamelen van deze data zitten. Als er in het verleden vooringenomen is gecontroleerd op fraude, dan zit die scheefgroei ook in je trainingsdata.

[Reactie gewijzigd door dutchminator op 24 juli 2024 10:45]

[ThomasG]

Volgens mij begrijp jij het artikel niet, want TNO wil helemaal niet de wetgeving testen door middel van AI. Ze willen dat wanneer de overheid algoritmes in de vorm van AI of ML gebruikt, dat deze dan eerst zorgvuldig worden getest om een veilige omgeving zodat de mogelijke risico's daarvan aan het ligt komen.

Zoals bijvoorbeeld een belastingdienst dat algoritmes gebruikt waar allerlei processes aan gekoppeld zijn, maar de risico's en gevolgen daarvan niet goed heeft ingezien.

[watercoolertje]

Zoals bijvoorbeeld een belastingdienst dat algoritmes gebruikt waar allerlei processes aan gekoppeld zijn, maar de risico's en gevolgen daarvan niet goed heeft ingezien negeert.

Maar wat je zegt klopt wel, vond het praatje omtrent AI van 2 (of 3?) jaar geleden op Tweakers dev summit ook bijzonder interessant al snap ik van AI nog niks

[pclin]

Volgens mij begrijp je mij niet. Ik zeg ook niet dat de wetgeving hiermee wordt getest. De algoritmen die zijn opgesteld op basis van onlogische en soms zichzelf tegenspreken worden beoordeeld door de AI. Maar om te beoordelen wat de 'risico en impact' is moet je risico en impact wel vastleggen. Risico en impact zijn volgens mij ook begrippen die verschillend kunnen worden uitgelegd. Dat is wat ik bedoelde met de "Of laten we aan de AI over om te bepalen wat het BESTE is voor de samenleving".
Maar natuurlijk kan ik het verkeerd begrepen hebben. Ik ben een beetje allergisch voor het te pas en te onpas gebruik van de term AI. In de meeste projecten waar ik in aanraking kwam met 'AI', was het voornamelijk ML.

[Wh4ck0]

Ben ik het helemaal mee eens. "algoritmes" worden door het nieuws als de grote boze wolf weggezet. Maar het gaat vooral mis met de beleidsvoering.
Probelemen met toeslagen waren intern bekend, maar hoge heren zetten werknemers onder druk om het stil te houden. Daar is waar het mis ging.
Ben zelf programmeur, en merk vaak dat specificaties niet goed opgesteld worden en de software dus PRECIES doet wat je het zegt. Als je daar als programmeur iets hebt van: "vraag me af of dat de bedoeling is", dan gaat er sowieso al heel veel tijd over heen om specificaties aan te passen, dat er in productie gewoon dingen niet juist gaan.

[kodak]

Klinkt als een oplossing zonder duidelijk te maken hoe het een oplossing is. Net als iets ethics by design noemen geen oplossing is gebleken.
Zolang ze niet uitleggen wat deze proeftuin werkelijk voor verschil maakt en waarom (theorie is niet zomaar praktijk door iets 'anders' voor testen te bedenken) lijkt het redelijker om per 'algoritme oplossing' te bekijken of het wel realistisch valt te doorgronden. Het probleem van de risico's lijkt er niet bij gebrek aan een proeftuin, maar bij gebrek aan grenzen wat nog ethisch is om niet te kunnen of willen doorgronden.

[hoeksmarp]

Dat je iets kunt "doorgronden" (ik neem aan dat je bedoelt dat je de code kunt begrijpen), wil niet zeggen dat je kunt analyseren wat de gevolgen zijn van het inzetten ervan.

Voorbeeld (al ruim uitgekauwd maar toch):
Ik maak een algoritme wat analyseert in welke gebieden van een stad (extra) moet worden gesurveilleerd door de politie op basis van het aantal overtredingen en misdrijven per inwoner.
Dit klinkt prima en iedereen met een beetje programmeerkennis kan verifiëren dat het algoritme doet wat het moet doen, niks aan de hand. Maar toch discrimineert dit algoritme, omdat de data die ik invoer al een bias vertoont: Doordat er historisch in bepaalde wijken waar meer allochtone Nederlanders wonen meer werd gesurveilleerd en dus sowieso al meer boetes werden uitgeschreven. Daardoor zorgt het algoritme, in combinatie met de ingevoerde data, ervoor dat iemand van allochtone afkomst in de stad een grotere kans heeft om gecontroleerd te worden door de politie.

Er zijn vast een paar details in het voorbeeld die niet perfect kloppen, maar het idee zal duidelijk zijn.

[kodak]

Alleen zorgt een proeftuin dus net zo goed niet zomaar voor ontdekken dat de gebruikers in de praktijk ongewenste gegevens invoeren. Kort gezegd vergroot je net zo goed de kans dat een algoritme op onjuiste aannamen risico's heeft als dat die risico's weggenomen kunnen worden door eisen in het ontwerp en gebruik beter toe te passen. De proeftuin klinkt dus vooral handig om toch maar algoritmes met risico's te blijven proberen en er geld aan te verdienen, in plaats van te zorgen dat je algoritmes met een onacceltabel risico gewoon niet moet willen accepteren.

[hoeksmarp]

Dus je wilt voor ieder algoritme wat gebruikt wordt wiskundig bewijzen dat er geen risico's aan kleven? Dan kan ik je nu al zeggen dat er geen algoritme meer gebruikt kan worden (met alle gevolgen van dien).

[begintmeta]

Dit systeem was volgens ethics by design-principes ontwikkeld, maar bleek onverwachte langetermijneffecten te hebben, zoals oneerlijkheid bij het uitlichten van bepaalde groepen en extra werk voor ambtenaren.

Ik zou verwachten dat een systeem dat volgens "ethics by design-principes" is ontwikkeld altijd voordat het iets doet op al zijn handelingen zou moeten reflecteren, om de mogelijke gevolgen van die handeling en de ethische implicaties ervan zo goed mogelijk af te kunnen wegen. En vervolgens ook weer achteraf de gevolgen evalueren en hierop reflecteren.

In die zin zou een dergelijk systeem dan eigenlijk ook altijd 'zijn eigen proeftuin' moeten gebruiken, voordat het wat dan ook doet, en kan nauwelijks een dergelijk systeem worden ontwikkeld zonder proeftuin (en is het een beetje vreemd dat dat kennelijk wel wordt gedaan).

Lijkt me knap lastig een ethisch handelend systeem te ontwikkelen (daarbij ontkom je er bijvoorbeeld niet aan ook meta-ethische vragen te incorporeren), mensen zelf lukt dat ook vaak maar zeer matig.

[Reactie gewijzigd door begintmeta op 24 juli 2024 10:45]

[martijn86]

Dit maakt mij hoopvol. Ik ben blij dat er partijen die dicht bij de overheid zitten hier praktijkervaring in gaan opdoen. Na big data is nu AI en ML nu vooral bekend om de oplossingen die het kan bieden en wordt het maar al te graag ingezet. Als er risico's en nadelen aan zitten, is het belangrijk dat kamerleden daar bekend mee zijn en ook transparant over zijn naar de burger. Zo kan er met een beetje geluk de volgende grote blunder of misbruik van worden voorkomen.

Offf... De pogingen om het systeem te saboteren blijven van links en recht komen. In welk geval wij ons moeten gaan afvragen of wij zelf niet de simulatie zijn.
/aluhoedje sluiten

[Skit3000]

Het paper is wel wat karig in hoe die proeftuin er uit moet komen te zien. Zo gaan ze uit van zes punten (verkennen, inrichten, meewegen van belangen, aanpassen en toepassen, toetsen, en in kaart brengen en monitoren). Alleen die laatste stap is iets wat echt in een proeftuin gedaan zou kunnen worden, en dat is het versneld simuleren van wat een (AI)model uiteindelijk teweeg brengt. Op die manier zou je bijvoorbeeld na kunnen gaan of de beslissingen van AI zichzelf versterken (politieagenten die meer gaan posten op plekken waar meer misdaad is, waardoor er meer misdaad wordt waargenomen, etc). De vijf andere punten die ze noemen zijn van belang om rekening mee te houden wanneer je algoritmen ontwikkelt maar ik kan niet zien hoe een "proeftuin" zonder die laatste stap (in kaart brengen en monitoren) toegevoegde waarde heeft.