Kabinet: gebruik van algoritmen binnen overheid wordt getoetst en gevalideerd

Het Nederlandse ministerie van Binnenlandse Zaken heeft de resultaten van een verkennend onderzoek naar het gebruik van algoritmen binnen de overheid gepresenteerd. Volgens de staatssecretaris blijkt uit het onderzoek dat toetsing en validatie op algoritmen plaatsvindt.

In een Kamerbrief van staatssecretaris Knops van Binnenlandse Zaken staat dat uit het onderzoek is gebleken dat nagenoeg alle aan het onderzoek deelnemende overheidsonderdelen hun algoritmen toetsen of valideren. Zij geven aan dat de werking van de ingezette algoritmen geverifieerd kan worden op basis van het algoritme zelf, de implementatie ervan en de gebruikte data. Deze verificatie kan worden uitgevoerd door rechters en toezichthouders, 'maar niet door burgers'. Staatssecretaris Knops van Binnenlandse Zaken zegt in een Kamerbrief dat hij gaat kijken hoe deze transparantie verbeterd kan worden.

Uit het onderzoek blijkt dat de overheidsorganen aangeven dat de keuzes voor het inzetten van een algoritme afhangen van de vraag hoe goed het algoritme verklaard en uitgelegd kan worden en in welke mate het getoetst kan worden op nauwkeurigheid en juistheid. Dit laatste gebeurt zowel intern, door audits of toezichthouders. Daarbij melden de organisaties dat ze hun keuzes voor algoritmes ook baseren op de vraag of ze in lijn zijn met privacywetgeving. De overheidsorganen geven aan dat een algoritme het best uitgelegd kan worden door woordelijk te omschrijven wat het algoritme doet.

Andere resultaten uit het onderzoek zijn dat 48 procent van de overheidsorganen 'intelligente algoritmen' gebruikt. De organisaties zetten algoritmen vooral in voor het 'signaleren van verhoogde risico's'. In de brief staat dat veel organisaties geen negatieve gevolgen voorzien van de inzet van algoritmen, al is niet altijd duidelijk of die gevolgen ook daadwerkelijk afwezig zijn. Verder melden de organisaties dat de uitkomsten van een algoritme worden beschouwd als een advies en niet als eindoordeel; dat maakt dat het meestal aanleiding is voor nader onderzoek. De organisaties geven ook aan dat ze het soms lastig vinden om af te wijken van het oordeel van een algoritme.

Het onderzoek richtte zich alleen op algoritmen die de basis vormen voor besluiten over personen. In dat kader hebben leden van de Tweede Kamer meerdere malen hun zorgen geuit over de gevolgen van het gebruik van algoritmen. Zo hanteert de overheid een risicoprofileringssysteem genaamd het Systeem Risico Indicatie, ofwel SyRI. De kritiek is dat dit systeem te ondoorzichtig is en de mensenrechten schendt; meerdere burgerrechtenorganisaties besloten daarop de Nederlandse Staat aan te klagen. D66 pleitte in september nog voor de oprichting van een waakhond om de werking van algoritmes te controleren, omdat volgens de partij steeds vaker besluiten worden genomen op basis van algoritmes die in de praktijk discriminerend kunnen uitpakken.

De belangrijkste hoofdvraag uit het verkennende onderzoek was of de verschillende overheidsorganen het mogelijk achten om inzicht te geven in de werking van de door hen gebruikte algoritmen en of ze daarover kunnen communiceren. Het onderzoek is uitgezet bij departementen, uitvoeringsorganisaties, gemeenten, provincies en waterschappen; het Centraal Bureau voor de Statistiek is daarbij gevraagd om de vragenlijsten te analyseren. Staatssecretaris Knops benadrukt dat hij dit onderzoek als een eerste verkenning beschouwt en dat de uitkomsten niet zijn te veralgemeniseren.

Reacties (28)

[TaboZ]

Gerelateerd: https://bijvoorbaatverdac...enbaring-syri-algoritmen/

[tweaknico]

Openbaar making zou het proces belang van de staat kunnen schaden

Dat wil dus zeggen dat het model de staat niet vrijpleit, of dat de staat mogelijk schuldig zou kunnen zijn....
Anders zie ik niet hoe het belang van de staat geschaad zou kunnen worden.
Overigens ook wel bijzonder dat een dergelijk ingrijpend issue als een hamerstuk door de kamer gaat.

Probleem blijft dat via een "duister en geheim onderzoeksproces" iemand tot target gebombardeerd wordt, dat mechaniek kennen we al AIVD/MIVD.
In mijn ogen lijkt SyRI niet veel meer of minder dan een nieuwe xIVD.... dan zou de CTIVD het toezicht ook kunnen doen als het werkelijk zo belangrijk is.

De vraag is dan welke besluiten er nog meer op een dergelijke manier "doorgedrukt" zijn/worden. (De praktijk is nl. breder, de EU Landbouwministers hadden ooit (2004/2005) een hamerstuk over "software patenten". Dat was trouwens ook een dossier waarbij D66 minister "L.J. Brinkhorst" een opdracht van de 2e kamer voor een tegenstem naast zich neer had gelegd).

[robvanwijk]

Dat wil dus zeggen dat het model de staat niet vrijpleit, of dat de staat mogelijk schuldig zou kunnen zijn....
Anders zie ik niet hoe het belang van de staat geschaad zou kunnen worden.

Stel dat er een algorithme is om mogelijke belastingontduikers op te sporen. Openbaarmaking daarvan zou verraden welke vormen van belastingontduiking het makkelijkst gedetecteerd kunnen worden en, aan de andere kant, voor welke vormen geen automatisch detectie bestaat. Aangezien de overheid er belang bij heeft dat belastingontduikers opgespoord worden, zou openbaarmaking dus inderdaad het belang van de overheid schenden, zonder dat de overheid iets fout doet of zich ergens schuldig aan maakt. Jouw redenatie gaat dus niet op.

[Verwijderd]

Je hebt hier dus een redelijk fundamenteel probleem, namelijk dat de overheid zich niet in de kaarten wil laten kijken bij opsporen, maar tegelijkertijd heb je als burger een duidelijk belang (zo'n groot belang dat we het een recht noemen) om eerlijk behandeld te worden, alsook bij transparantie van de overheid zodat iedereen kan zien dat er eerlijk ge- en behandeld wordt. Daar passen "zwarte beslisdoosjes" gewoon niet bij.

Voortbordurend op je belastingvoorbeeld: De samenleving heeft belang bij een goed functionerende overheid en om die te bekostigen heft de overheid belastingen. Het is daarmee in het belang van de samenleving dat iedereen netjes zijn belasting betaalt, en waarom ontduiking niet de bedoeling is, en daarom niet mag. Want dat is dan weer niet eerlijk tegenover je medeburgers. Wat overigens niet wil zeggen dat alle belastingheffen gerechtigd of rechtvaardig is. Dat is een puntje principe vs. praktijk, en daar zit best veel ruimte tussen.

Maargoed, er moet dus gecontroleerd worden en dus ook gecontroleerd kunnen worden. Maar tegelijkertijd zijn de regels zo hopeloos ingewikkeld dat de belastingdienst wel heel erg veel data moet bekijken en het eigenlijk ook bij voldoende bezetting door kundige ambtenaren nooit echt aan zal kunnen. Vergelijk dit stuk over hoe dat dataverzamelen en data moeten verzamelen een klein beetje uit de hand gelopen is, en dat voorlopig nog wel verder zal blijven doen.

Dan kun je daar als overheid wel met "algoritmen" proberen wat grip op de zich opstapelende complexiteit te krijgen maar je bent bezig zwarte beslisdoosjes te bouwen. Dat is ook wat er met niet zoveel woorden toch wel staat: De burger kan niet meer zien of'ie nog wel eerlijk behandeld wordt. Hij moet het woord van een rechter of een ambtenaar maar gewoon geloven. Dat is geen basis voor een rechtsstaat.

Dus eigenlijk moet je concluderen dat "algoritmen" gewoon niet passen in een rechtsstaat, en dus niet bij onze overheid die nog steeds pretendeert wel een rechtsstaat te zijn.

Het kan dus technisch gezien vast allemaal wel, maar de prijs is best hoog. Je bouwt er een "de computer beslist"-overheid mee. Utopisch of dystopisch, ik dacht dat het hier over mensenwerk ging, niet over machinaal iedereen in het gelid te laten lopen.

Wat dan? Nouja, je kan bijvoorbeeld de belastingregels versimpelen zodat ook de gewone man ze weer begrijpt. Ik denk dat dat uiteindelijk beter gaat werken dan iedere keer weer een regelingetje erbij gooien "om de minima te ontzien" of wat dan ook, want mensen die het het hardst nodig hebben hebben tegelijk de minste sjoege om dat ook allemaal te regelen en correct in de juiste formuliertjes te stoppen. En dan komt er weer een boete overheen vanwege, eigenlijk, stomme foutjes door niet voldoende begrip van de regeltjes. Met "algoritmen" erbij zullen zulke boetes alleen maar meer worden.

Dit nog afgezien van details zoals, bijvoorbeeld, de laatste paar keer dat er initiatiefjes tegen "spookburgers" opgezet werden: Het overgrote deel van de administratieve ongeregeldheden blijken door foutenmakende ambtenaren zelf veroorzaakt te worden, niet door de burger die door de ronkende aankondiging al bijkans kwaadwillend geacht wordt te zijn. Waar we dus zien dat de overheid een handje heeft van naar de burger te wijzen maar niet zo sterk is haar eigen foutjes te verbeteren. Of te luisteren als er eens een burger een probleem wil aankaarten.

Dus ik denk eigenlijk dat of de "algoritmen" wel helemaal "valide" zijn, wat ze daar ook mee bedoelen, niet de juiste framing van de discussie is. Het gebruik ervan is een symptoom van overklotsende complexiteit, en er zijn ook wel andere manieren om daar wat aan te doen.

[robvanwijk]

Je hebt hier dus een redelijk fundamenteel probleem, namelijk dat de overheid zich niet in de kaarten wil laten kijken bij opsporen, maar tegelijkertijd heb je als burger een duidelijk belang (zo'n groot belang dat we het een recht noemen) om eerlijk behandeld te worden, alsook bij transparantie van de overheid zodat iedereen kan zien dat er eerlijk ge- en behandeld wordt. Daar passen "zwarte beslisdoosjes" gewoon niet bij.

Je haalt twee dingen door elkaar. Bij een eerlijke behandeling hoort (mijns inziens) wel dat de overheid kan uitleggen welke regel je hebt overtreden en waarom, maar niet perse openbaar maken hoe ze wisten dat ze jou eens nader moesten bekijken. En dat laatste is om twee redenen belangrijk: ten eerste kost het ontzettend veel geld om alles wat iedereen doet minutieus te controleren, ten tweede willen we sowieso niet dat de overheid continu overal in detail meekijkt ("big brother"). Met het voorbeeld van belastingontduiking is het wat lastig te zien, maar in het geval van fietsen zonder licht is het makkelijker uit te leggen: de agent moet wel uitleggen waarom jij een bekeuring krijgt (je licht doet het niet, daar is weinig discussie over mogelijk), maar niet waarom ie op precies die plek stond te controleren.

Let overigens op het subtiele maar belangrijke verschil tussen "openbaar" en "toezicht". Ook als (in dit voorbeeld) de Belastingdienst niet openbaar maakt (beschikbaar voor elke Nederlander) hoe ze beslissen welke aangiftes het grootste risico op fraude hebben en dus de moeite lonen om door een mens bekeken te worden, dan nog is toezicht (door een onafhankelijke instantie, die haar oordeel openbaar maakt) prima mogelijk. Als die agent bijvoorbeeld altijd staat te controleren in buurten met hoge aantallen allochtonen, dan kan de toezichthouder ze op de vingers tikken en opdracht geven een niet-discriminerende, alternatieve methode te bedenken. Zo'n constructie gebruiken we bijvoorbeeld ook voor de inlichtingendiensten: de CTIVD heeft toegang tot niet-openbare informatie die ze kan bestuderen en op basis daarvan brengt ze een openbaar verslag uit over hoe goed de diensten zich aan de regels houden.

Wat overigens niet wil zeggen dat alle belastingheffen gerechtigd of rechtvaardig is.

Laten we die discussie een andere keer houden; dit onderwerp is al complex genoeg als we on topic blijven.

De burger kan niet meer zien of'ie nog wel eerlijk behandeld wordt. Hij moet het woord van een rechter of een ambtenaar maar gewoon geloven.

Ehm ja, als je rechters en ambtenaren op één hoop gooit, dan wordt het inderdaad een puinzooi. Maar als we die even uit elkaar halen en hier in plaats van "een rechter of een ambtenaar" simpelweg "een rechter" van maken, dan wordt het al een heel ander verhaal. Niemand vindt het vreemd om een rechter te vertrouwen met de beslissing of iemand de cel in moet; waarom kunnen we ze dan niet vertrouwen met de beslissing of de overheid de wet correct naleeft?

Dus eigenlijk moet je concluderen dat "algoritmen" gewoon niet passen in een rechtsstaat, en dus niet bij onze overheid die nog steeds pretendeert wel een rechtsstaat te zijn.

Heb je enig idee wat "rechtsstaat" überhaupt betekent!? In deze context is het belangrijkste kenmerk dat burgers de overheid voor de rechter kunnen slepen en afdwingen dat de overheid zelf zich ook aan de wet houdt, net zoals verwacht wordt van burgers. Ik zie graag een voorbeeld van de volgende situatie:

• De overheid heeft de wet overtreden en het volgende puntje geldt ook.
• Ze zijn daarvoor niet aangeklaagd (máár, alleen als je aannemelijk kunt maken dat mensen wel wilden klagen, maar niet durfden, uit vrees om midden in de nacht in een zwarte helikopter te verdwijnen) óf ze zijn wel aangeklaagd en het volgende puntje geldt ook. Als niemand klaagt, terwijl iedereen de gelegenheid had om te klagen, dan was het kennelijk geen noemenswaardig probleem.
• De overheid is vrijgesproken (maar alleen als je aannemelijk kunt maken dat de vrijspraak is veroorzaakt door corruptie of bedreiging van de rechter of zoiets dergelijks) óf ze zijn veroordeeld maar hebben dat vonnis simpelweg genegeerd, zonder verdere gevolgen.

Zonder zo'n voorbeeld is die opmerking over "pretenderen een rechtsstaat te zijn" nergens op gebaseerd. Voor de duidelijkheid: het maakt geen bal uit of je het eens bent met de huidige wetten; klachten daarover vallen onder "werkt onze democratie naar behoren?". Ook is het (voor deze vraag) niet relevant hoe vaak en hoe hard de overheid de wet overtreedt. Voor het begrip "rechtsstaat" gaat het er alleen over of we de overheid ter verantwoording kunnen roepen en corrigeren wanneer ze de wet overtreedt.

Het kan dus technisch gezien vast allemaal wel, maar de prijs is best hoog. Je bouwt er een "de computer beslist"-overheid mee. Utopisch of dystopisch, ik dacht dat het hier over mensenwerk ging, niet over machinaal iedereen in het gelid te laten lopen.

Nee, dat is dus wat er keihard niet gebeurt:

Zij geven aan dat de werking van de ingezette algoritmen geverifieerd kan worden op basis van het algoritme zelf, de implementatie ervan en de gebruikte data.

En ja, uiteindelijk beslist de computer, maar alleen op manieren die door mensen begrepen worden en uit te leggen zijn. Vergelijk het met je banksaldo: bij het uitrekenen daarvan is echt geen persoon betrokken, maar aan de hand van alle af- en bijschrijvingen kan geverifieerd worden dat het huidige saldo klopt.

Nouja, je kan bijvoorbeeld de belastingregels versimpelen zodat ook de gewone man ze weer begrijpt.

Dat was dus niet waar we het over hadden. Het onderwerp was belastingfraude, niet de complexiteit van belastingregels. Het ging erover hoe de Belastingdienst mensen opspoort die de regels overtreden, niet of die regels eenvoudig of ingewikkeld zijn. Ter illustratie, inkomensbelasting heffen op basis van "iedereen betaalt 40% belasting, geen drempels, geen aftrekposten, geen uitzonderingen" is ontzettend simpel, maar als iemand opgeeft dat ie 100.000 euro verdient heeft terwijl het eigenlijk 200.000 euro was, dan is ie nog steeds aan het frauderen en dat moet nog steeds opgespoord en bestraft worden.
Ja okee, in een zeer complex systeem is het waarschijnlijker dat iemand probeert de regels te volgen, maar vanwege een misverstand per ongeluk de regels overtreedt. De afdeling die fraude opspoort moet daar wel over oordelen en (liefst netjes) afhandelen, maar ik had het alleen over de mensen die bewust en opzettelijk frauderen.

Met "algoritmen" erbij zullen zulke boetes alleen maar meer worden.

Dat zul je moeten onderbouwen. Juist een algorithme kan een veel grotere dataset analyseren en dus makkelijker uitrekenen "dit klopt niet, maar... (reken reken reken) het verschil is uiteindelijk maar tien euro en... (controleer twintig jaar aan vorige aangiftes) deze persoon heeft nooit eerder gefraudeerd -> negeer maar, dat is de moeite niet". Voor een mens is de kans groter dat ze zien "dit klopt niet, en... eh ik kan zo snel niet uitrekenen hoeveel het effect uiteindelijk geweest is en ik word betaald van belastinggeld, dus kan het niet maken om alle vorige aangiftes te controleren -> gooi er maar een boete op".

Het gebruik ervan is een symptoom van overklotsende complexiteit, en er zijn ook wel andere manieren om daar wat aan te doen.

Voor zover ik kan zien zijn het twee losse problemen (ook al hebben ze wel met elkaar te maken). Het lijkt mij het handigst om die discussies niet met elkaar te vermengen; dat is op zichzelf namelijk een gevalletje "overklotsende complexiteit".

[Verwijderd]

Je haalt twee dingen door elkaar. Bij een eerlijke behandeling hoort (mijns inziens) wel dat de overheid kan uitleggen welke regel je hebt overtreden en waarom, maar niet perse openbaar maken hoe ze wisten dat ze jou eens nader moesten bekijken.

Kan ik inkomen. Maar dan zie ik dit:

``Verder melden de organisaties dat de uitkomsten van een algoritme worden beschouwd als een advies en niet als eindoordeel; dat maakt dat het meestal aanleiding is voor nader onderzoek. De organisaties geven ook aan dat ze het soms lastig vinden om af te wijken van het oordeel van een algoritme.''

De eerste zin zegt wat jij ook zegt, en dus wat de bedoeling is. Tot zover ga ik erin mee. De tweede zin is waar het hele feest op z'n muil gaat, en we een "computer says no" tegenkomen. Het is dus niet zozeer dat ik dingen doorelkaar haal, maar dat de organisaties precies daarmee zelf wel eens moeite hebben. En daarin zit hem het venijn.

Met het voorbeeld van belastingontduiking is het wat lastig te zien, maar in het geval van fietsen zonder licht is het makkelijker uit te leggen: de agent moet wel uitleggen waarom jij een bekeuring krijgt (je licht doet het niet, daar is weinig discussie over mogelijk), maar niet waarom ie op precies die plek stond te controleren.

Het is niet zo moeilijk een algoritme te bedenken dat altijd dezelfde straathoek uitkiest, en als er dan op de vingers getikt wordt zegt de politie "jamaar het algoritme is toch objectief ja toch niet dan?"

Om nog maar te zwijgen van truuks als parallel construction, waarvan ik graag zou willen kunnen aannemen dat dat hier noooooit zou gebeuren, maar zulke aannames, die zijn gevaarlijk.

Let overigens op het subtiele maar belangrijke verschil tussen "openbaar" en "toezicht". [...] Zo'n constructie gebruiken we bijvoorbeeld ook voor de inlichtingendiensten: de CTIVD heeft toegang tot niet-openbare informatie die ze kan bestuderen en op basis daarvan brengt ze een openbaar verslag uit over hoe goed de diensten zich aan de regels houden.

Waarbij je die ambtenaren dus maar gewoon op hun eindoordeel moet vertrouwen want de benodigde data waarmee ze hun wc-eend rapportjes knutselen krijg je gewoon niet te zien.

In het geval van de geheime diensten ben ik er niet blij mee maar zie ik ook zo snel even niet hoe dat beter kan zonder gevoelige informatie te lekken aan onze vijanden (voorzover ze die nog niet hebben, maar soit). Maar van bijvoorbeeld het CIOT en hun jaarlijkse "er gebeuren hier soms hele rare dingen maar het is echt allemaal wel okee hoor"-rapportjes krijg ik nou ook niet echt een warm gevoel.

Om nou, cru gezegd, alle departementen maar van zwarte beslisdoosjes te voorzien en die eens per jaar door de zwarte beslisdoosmagiërs der toezicht te laten inspecteren... kan dat niet beter?

Ehm ja, als je rechters en ambtenaren op één hoop gooit, dan wordt het inderdaad een puinzooi.

Dat doet de overheid dus min of meer zelf. Alweer cru gezegd, de rechters voor de vervelende burger die waagt het de overheid te betwijfelen, de ambtenaren om zichzelf stempels van goedkeuring te verlenen. En dat is wel hoe het ingericht is.

Maar als we die even uit elkaar halen en hier in plaats van "een rechter of een ambtenaar" simpelweg "een rechter" van maken, dan wordt het al een heel ander verhaal. Niemand vindt het vreemd om een rechter te vertrouwen met de beslissing of iemand de cel in moet; waarom kunnen we ze dan niet vertrouwen met de beslissing of de overheid de wet correct naleeft?

Een enkele rechter, niet echt. Het feit dat er een heel procedurecircus in naam van de zorgvuldigheid omheen opgetuigd is, en dat er beslissingen aangevochten kunnen worden, en zelfs rechters gewroken, in de hoop dat er uiteindelijk een in ieder geval goed doordachte beslissing uitrolt, dat wel, of iig meer dan die enkele rechter.

Heb je enig idee wat "rechtsstaat" überhaupt betekent!? In deze context is het belangrijkste kenmerk dat burgers de overheid voor de rechter kunnen slepen en afdwingen dat de overheid zelf zich ook aan de wet houdt, net zoals verwacht wordt van burgers. Ik zie graag een voorbeeld van de volgende situatie:

Ik denk dat je hier zelf een beetje doorschiet. Het dichtste dat we publiekelijk bij perongeluk-uit-het-vliegtuig-gevallen zijn gekomen wat betreft de rechtsgang is toch wel de eerste anti-vingerafdrukkenzaak waar de klager kennelijk uit zichzelf dood omviel. In hoeverre alufolie hoedjes daarbij gerechtvaardigd zijn, laat die discussie maar. En dat er elders plaatsen zijn waar het allemaal veel erger is, natuurlijk. We zijn al enige eeuwen aan het bouwen aan ons land, dus dan wordt verbeteren langzaamaan steeds lastiger (er een bende van maken daarentegen, steeds makkelijker). Maar niet onmiddelijk een heel specifiek voorbeeld kunnen ophoesten is geen bewijs dat het dus allemaal wel snor zit.

Zonder zo'n voorbeeld is die opmerking over "pretenderen een rechtsstaat te zijn" nergens op gebaseerd.

Dat is niet waar. Je leest er zelf meer in dan er staat. Namelijk, de overheid zegt zelf een rechtstaat te zijn. Met andere woorden, dat pretenderen ze. Of ze dat ook overtuigend in weten te vullen is een volgend discussiepunt. Ikzelf denk dat daar nog wel eea te verbeteren is, maar het gaat er in context vooral over dat ze dat "wij zijn een rechtsstaat" uitgesproken hebben. Dat is een belofte en die maakt schuld.

Dat je daarom uit je slof schiet moet je zelf weten. Ik zeg, ze hebben die belofte gedaan en die mogen ze gestand doen. Daar horen sommige dingen wel bij, en andere dingen niet. Ik denk dat "algoritmen" daar eerder niet bij horen.

Ook is het (voor deze vraag) niet relevant hoe vaak en hoe hard de overheid de wet overtreedt. Voor het begrip "rechtsstaat" gaat het er alleen over of we de overheid ter verantwoording kunnen roepen en corrigeren wanneer ze de wet overtreedt.

Nou, als de overheid categorisch de eigen regels overtreedt, zoals bijvoorbeeld de politie Rotterdam die met ANPR-cameras aan het spelen was en "vergat" de rommel op te ruimen, en de enige reactie die de minister weet te verzinnen is "nou, dan rekken we de wet gewoon op, net zo lang tot het wel mag", dan zit er iets goed scheef. Dat is geen corrigeren.

Net zo goed dat de politie slinkse een-tweetjes met de belastingdienst doet en zowel belastingdienst als politie moedwillig de grenzen van de wet opzoekt, en wel zo dat we er zo min mogelijk over horen zodat ze lekker hun gang kunnen gaan... Je kan dan wel op de strepen van de definities gaan staan, ik zeg, er stinkt hier iets.

Ik ben vast ook niet de enige die gemerkt heeft dat de overheid niet erg sterk is in misstanden bij zichzelf recht te zetten. Aankaarten is alvast lastig, en daarna schiet het ook nog niet zo erg op. Dat je bek opentrekken niet betekent dat je dan ook maar verdwijnt (hoewel, Nekschot die vanwege een cartoon per AT van z'n bed gelicht werd...) betekent niet dat er niets te verbeteren valt.

[...]
En ja, uiteindelijk beslist de computer, maar alleen op manieren die door mensen begrepen worden en uit te leggen zijn. Vergelijk het met je banksaldo: bij het uitrekenen daarvan is echt geen persoon betrokken, maar aan de hand van alle af- en bijschrijvingen kan geverifieerd worden dat het huidige saldo klopt.

Wat je aanhaalt zegt eigenlijk alleen maar dat je dezelfde invoer nog eens aan het beslisdoosje kan voeren en "kijk maar, er komt hetzelfde uit". Dat is een hele zwakke vorm van "verificatie". Combineer dat met dat moeite hebben met van het oordeel van het algoritme afwijken en de mens is bijkans uitegeschakeld.

Dat de cijfertjes kloppen is voor je banksaldo ongeveer het hele eieren eten. Voor bestuurlijke beslissingen toch wat minder (dat proberen ze wel eens, met "we hebben ons helemaal aan de regeltjes gehouden dus valt er niets te verwijten", maar daar worden ontevreden burgers niet tevredener van, dus die blijven procederen), en in de rechtsspraak begint het niet genoeg te zijn.

Dat was dus niet waar we het over hadden. Het onderwerp was belastingfraude, niet de complexiteit van belastingregels.

Nou, ik zet vraagtekens bij de wenselijkheid van die inzet van "algoritmen", en doe een suggestie om ze niet nodig te hebben. Lijkt me vrij relevant. Ook al is dit dus een voorbeeld van wat ze "out of the box thinking" noemen.

Ja okee, in een zeer complex systeem is het waarschijnlijker dat iemand probeert de regels te volgen, maar vanwege een misverstand per ongeluk de regels overtreedt. De afdeling die fraude opspoort moet daar wel over oordelen en (liefst netjes) afhandelen, maar ik had het alleen over de mensen die bewust en opzettelijk frauderen.

Dat kan dus net even niet: Die algoritmen kijken naar iedereen en dat eruithalen en netjes afhandelen van de onschuldige-foutjes-bijvangst moet integraal meegenomen worden.

Dat zul je moeten onderbouwen.

Dat is niet zo moeilijk. Het ding legt volautomatisch op alle slakken zout, ze hebben de mankracht niet om alle "gedetecteerde" zaken goed door te lichten, en de boetebrieven vliegen in groot volume de deur uit.

Het is in organisaties, zeker grote, vaak veel makkelijker je mond te houden en gewoon te doen, dan op te merken dat er nu wel heel erg hard van stapel gelopen wordt. Dat moet iemand anders maar doen. Desnoods een burger op het acht uur nieuws ofzo. Twee oudjes die noodgedwongen in een abri wonen, zoiets.

Juist een algorithme kan een veel grotere dataset analyseren en dus makkelijker uitrekenen "dit klopt niet, maar... (reken reken reken) het verschil is uiteindelijk maar tien euro en... (controleer twintig jaar aan vorige aangiftes) deze persoon heeft nooit eerder gefraudeerd -> negeer maar, dat is de moeite niet". Voor een mens is de kans groter dat ze zien "dit klopt niet, en... eh ik kan zo snel niet uitrekenen hoeveel het effect uiteindelijk geweest is en ik word betaald van belastinggeld, dus kan het niet maken om alle vorige aangiftes te controleren -> gooi er maar een boete op".

Dan moet je dat dus wel doen. En dat is een stukje houding. Even die extra stap zetten, even verder kijken. Die algoritmen worden door mensen geknutseld, die werken in opdracht (laagste bieder) of voor de organisatie zelf waar ze "soms" moeite hebben het algoritme niet op z'n mooie blauwe ogen te vertrouwen. En oh ja, vaak onderbezet zijn, te hoge werkdruk hebben, en zo voort, en zo verder. Dus je hebt helemaal gelijk dat in theorie zo'n algoritme dat allemaal mooi zou kunnen doen, als iemand er voor gaat zitten en dat even bouwt. En in de praktijk, nouja, blijkt het allemaal toch niet zo te werken.

Wat er wel gebeurt is dat er maar aangenomen wordt dat het algoritme zijn best gedaan heeft en het dus wel okee zal zijn wat eruit rolt. En er dus vooral reden is om bezwaren af te wijzen "want het algoritme is gevalideerd".

Ik zeg dus, die mooie plannen zijn allemaal mooi, maar laat ze ook robuust zijn tegen de praktijk. En dan is dat zo'n algoritme theoretisch meer kan niet voldoende. Laat maar zien dat het ook goed werkt in de praktijk. En dat zie ik zo snel nog niet gebeuren. Ik denk dat er juist dommer doorgestoomd gaat worden en er meer "computer says no" als antwoord gegeven gaat worden. En onder andere daarom zullen er meer boetes regenen.

Voor zover ik kan zien zijn het twee losse problemen (ook al hebben ze wel met elkaar te maken). Het lijkt mij het handigst om die discussies niet met elkaar te vermengen; dat is op zichzelf namelijk een gevalletje "overklotsende complexiteit".

Dat denk ik niet. Ik denk dat precies de vraag "willen we dit wel" een hele gerechtigde vraag is, en eentje bovendien waar "we moeten wel want de regels zijn zo complex" geen valide antwoord is. Terwijl dat antwoord wel aanlokkelijk is als je de discussie zo strikt wil inperken als jij voorstelt.

Het alternatief is dat de regels minder complex worden. Iets waarvan ik toch wel dacht dat daar wat aan gedaan mocht worden (zie linkje de correspondent, maar ook bijvoorbeeld die "inkomensval" voor net-geen-minima) aangezien dit "algoritmen"-onderwerp dat probleem alleen nog maar zal verergeren, ondoorzichtiger maken en ongrijpbaarder voor de burger. Zodat die op een gegeven moment mischien zelfs geen flauw benul meer heeft waarover en tegen wie dan nog te klagen en het daarom alleen al maar laat.

Ik haal hier nog even Brian Kernighan bij: ``Everyone knows that debugging is twice as hard as writing a program in the first place. So if you're as clever as you can be when you write it, how will you ever debug it?''

Okee, dus je schrijft een "algoritme", oftewel een in programmacode gegoten "educated guess" om te zien of iemand zich wel aan de regels gehouden heeft. En die debuggen is dubbel zo moeilijk. Die werkelijk valideren is zelfs nog moeilijker, als we het hebben over iets als "model checking", formele verificatie op correcte functie. ("Strictly harder than NP.")

Maargoed, om die "algoritmen" te schrijven moet je de regels in programmacode gieten. Hoe moeilijk is het om code te schrijven om regels na te lopen die je zelf al niet begrijpt? Want die belastingregels die begrijpen de belastingregelspecialisten al niet eens meer, laat staan de programmeurs.

Lijkt me reden genoeg om dat "valideren" in twijfel te trekken. Zowel hoe ze het zelf beschrijven, als wanneer ik er even over nadenk en bwk erbij haal. Beide kanten lijken me vrij relevant voor dit onderwerp.

Dus dan is voorstellen om twee vliegen in een klap te slaan en eerst eens de regels nog eens tegen het licht te houden op complexiteit helemaal geen gek idee. Zeker aangezien er vanuit andere hoek ook al over de complexiteit en onwerkbaarheid van de regels geklaagd werd, bijvoorbeeld door de belastingconsulenten. "Algoritmen" toevoegen maakt het geheel van regels en handhaven complexer, niet minder complex. Als zelfs de specialisten het gedeelte met de regels nauwlijks meer snappen, dan wordt het heel moeilijk dat mensen nog de algoritmen kunnen "valideren" op de regels. Anders dan kijken of dezelfde invoer herhalen ook dezelfde uitvoer herhaalt. En dat lijkt me een beetje magertjes.

[kodak]

Hoewel de overeenkomst is dat de samenleving op achterstand gezet kan worden zijn de achtergronden verschillend. Waar de een in gaat op specifiek het wel of niet openbaar maken van een algoritme maakt de ander er van dat die moeite heeft om het geheel van algoritme tot en met toetsing en valideren van de toepassing in twijfel trekt.

Als er geen vertrouwen is kan alles wel in twijfel worden getrokken. Het is dan misschien verstandig om eens te bedenken waarom er geen vertrouwen is. En als het antwoord is dat iets niet transparant is dan ben ik benieuwd wanneer iemand die klaagt over gebrek aan transparantie eens gaat komen met hoe die transparantie dan wel vertrouwen geeft. Transparantie is geen doel op zich. Het is net als met een algoritme. Je kan als samenleving de invoer transparantie hebben en als uitvoer vertrouwen willen, maar als niemand het wil hebben over de inhoud van het algoritme zijn we bijna terug bij af.

[Sandor_Clegane]

Je moet gewoon aan kunnen tonen hoe je tot een conclusie bent gekomen, dat is toch niet zo raar?

Als je een boete krijgt moet het gewoon duidelijk zijn wat het algoritme aan elkaar heeft geknoopt en hoe dat werkt.

Krijg je zo'n samenleving met lijstjes waarvan je niet ineens weet of je erop staat. en nog belangrijker, hoe je er weer vanaf komt. Net als met het BKR en die no fly lijsten, drama's zijn het.

[psyBSD]

Dan kun je daar als overheid wel met "algoritmen" proberen wat grip op de zich opstapelende complexiteit te krijgen maar je bent bezig zwarte beslisdoosjes te bouwen. Dat is ook wat er met niet zoveel woorden toch wel staat: De burger kan niet meer zien of'ie nog wel eerlijk behandeld wordt. Hij moet het woord van een rechter of een ambtenaar maar gewoon geloven. Dat is geen basis voor een rechtsstaat.

Volgens mij werken die doosjes om te helpen bij de opsporing, niet bij de bewijsvoering. Het lijkt me niet dat daar een probleem zit. Het maakt het onderzoeken van fraudeurs een stuk effectiever dan willekeurig iemands naam uit een hoed trekken.

[Stangg]

Ook vanuit mijn lange bedrijfs-ervaring is de oorzaak van complexe IT (de soort die niemand meer durft aan te raken) te vinden in complexe regels en processen.
In plaats van "laten we er een tooltje tegenaan gooien" -of het nu het huidige trending AI is of niet- is het beter om de oorzaak te verwijderen. Maar dat vereist het opbouwen van inzicht en durf, terwijl een "wondertool" er tegenaan gooien de verantwoordelijkheid lijkt te verschuiven naar de tool. "Hey, ik kan er niets aan doen dat het verkeerd ging, het was de computer".

Ik deel je visie dat de beslissingen over mensen bij mensen moeten blijven liggen, inclusief de morele consequenties. Het blijft daarbij belangrijk mensen te kiezen en aan te stellen die geen bord voor hun kop hebben natuurlijk (Jair Bolsonaro). Maar dat weten we hopelijk al vanuit de talrijke -goed gedocumenteerde- ervaringen uit het verleden.

[andreetje]

De wereld draait niet om het belang van de overheid. De overheid hoort juist het belang van burgers te dienen.

Als belastingontduiking niet eenvoudig is op te sporen, dan heeft de overheid de wetten te complex gemaakt.

[tweaknico]

Inderdaad de overheid is feitelijk in dienst van de bevolking, de bevolking is geen slaaf / eigendom van de overheid.
Voor die dienst krijgen de overheid een vorstelijke beloning door middel van belastingen.

[Reactie gewijzigd door tweaknico op 31 juli 2024 22:07]

[tweaknico]

Hm... Als de belastingregels zo ingewikkeld worden dat een AI nodig is om ze te controleren, betekent dat eigenlijk ook dat een AI nodig wordt voor het invullen volgens de regeltjes, anders is een foutje zo gemaakt.
Dus dat wordt meer en meer een "war of the AI" zoals jij het schetst.

Ik denk dat in belastingwetgeving zo wie zo ontspoort is. Als je een regeling maakt en daarna extra regels om groepen te gaan ontzien en vervolgens nog meer regels voor steeds kleinere niches, dan geef je als overheid eigenlijk toe dat je teveel belasting heft bij de verkeerde mensen.... In plaats van de uitzonderingen op uitzonderingen kan dan mogelijk een betere grondslag gevonden worden.

[Reactie gewijzigd door tweaknico op 31 juli 2024 22:07]

[Xorgye]

Grappig, ik dacht even 'men laat zien dat AI algoritmen getoetst en gevalideerd kunnen worden'.
Dat zou pas een hele kluif zijn...

Maar dit is dus een goede zaak. Het valideren van algoritmen. Juist om te voorkomen dat een machine iemand selecteert op basis van een patroon, zonder dat dit een wettelijke basis heeft.

[Maurits van Baerle]

Eens, een foutje in een algorithme van Uber of Facebook betekent misschien dat je iets langer op je taxi moet wachten dan gehoopt of dat je onzinnige vriend suggesties krijgt.

Een foutje in een overheidsalgorithme kan betekenen dat iemands recidive gevaar verkeerd wordt ingeschat en kan het verschil betekenen tussen gevangenisstraf of niet. In de VS zijn daar al schokkende problemen met dit soort systemen in de rechtspraak ontdekt.

[stefanhendriks]

Aan de andere kant mensen maken ook fouten en zijn ook minder consistent. Daarnaast zijn mensen vatbaar voor allerlei externe factoren. Een algoritme zal het altijd “goed” of “fout” doen wat dan bijgestuurd kan worden.

[Phoenix_X]

Helaas is dat niet zo. Het algoritme kan het bijna altijd goed doen en dan ineens één iemand fout. Die wordt dan sterk benadeeld omdat het algoritme betrouwbaar wordt geacht.
Mensen kunnen er ook soms naast zitten, maar dan kan je vragen naar de redenering en dat aanvechten. Bij een algoritme krijg je nooit de redenering ("de dataset heeft het uitgewezen").
Een algoritme is ook niet perse altijd hetzelfde omdat de dataset steeds groter wordt. Dus vandaag heeft het een case goed, volgende week zou exact dezelfde case fout beoordeeld kunnen worden. En jij weet niet eens dat er iets veranderd is (of wat).
Dus alles behalve "altijd goed" of "altijd fout". Daarom is het van belang dat het algoritme in te zien is, incl de data. Dan heb je nog iets in de richting van "de redenatie". Hoewel je daar alsnog een flinke expert voor nodig hebt.

[CH4OS]

Tja, aan de andere kant is het dus ook een vorm van discriminatie. En wat doet 'de overheid' (ook een lekkere algemene term) wanneer de validatie niet deugd? En wanneer deugd die niet? Ik vind het vrij algemeen allemaal en alles behalve duidelijk.

Dus leuk die validatie, maar als het algoritme een bug heeft, kom je er wellicht door de validatie achter; maar dan? Is het een false positive, of toch niet? En, afhankelijk waarvoor "het algoritme" gebruikt wordt, worden mensen of groepen dan inderdaad buitengesloten?

Sorry, maar dit is wat mij betreft echt weer een hoop gebakken lucht om het volk te pleasen, als je het mij vraagt. Een boel praat, om interessant te doen, maar om nu te zeggen dat het duidelijk is...?

EDIT:
Het is dus niet de staatssecretaris, maar Tweakers die er een hoop gebakken lucht van maakt en weinig context / verduidelijking geeft. Bedankt, @TaboZ!

[Reactie gewijzigd door CH4OS op 31 juli 2024 22:07]

[totaalgeenhard]

Begin met publiceren vermeld doel, input, output en noodzaak.

Maar zover gaan ze niet.

[Maurits van Baerle]

Ik zie het nog wel gebeuren dat de inhoud van belangrijke algoritmen door overheden openbaar gemaakt gaan worden.

Dit onderzoek komt niet uit het niets, er is al een tijdje een fundamentele discussie gaande op overheidsniveau over het nut en de gevaren van algoritmen voor de publieke zaak. Het openbaarmaken wordt daar vaak geopperd.

[Jhonnijhoff]

Ach ! heer vergeef het hen, ze weten niet beter !
https://www.youtube.com/watch?v=_2u_eHHzRto

[pe0mot]

Er bestaan geen algoritmen die menselijk gedrag kunnen vrijpleiten/beoordelen.
Alleen de afwijkingen van de nominaal worden gedetecteerd, dat is dus inherent discriminerend!

[kodak]

Dat menselijk gedrag kunnen vrijpleiten/beoordelen lijkt het algoritme ook niet te doen, het geeft een uitvoer. Nu is het nieuws dat er ook nog toetsing en validatie plaats heeft, door mensen. Dus wat is er precies discriminerend in deze situatie?

[MrMonkE]

Zeg loonslaaf kun je even alle algoritmes die in programma X zitten dat al 10 jaar oud is en 800keer is gewijzigd documenteren?
God alleen weet hoeveel meuk ze daar hebben draaien.. je zal er maar werken en dit moeten gaan documenteren zoals boven beschreven..

[Reactie gewijzigd door MrMonkE op 31 juli 2024 22:07]

[Verwijderd]

Ik weet dat de werkelijkheid anders is, maar eigenlijk niet het algoritme er gedocumenteerd worden en daarna pas geprogrammeerd. Bij de documentatie hoort ook hoe getoetst moet worden en wat foute en goede uitkomsten moeten zijn.

Als toetsing op deze manier lastig of onmogelijk is een er staat veel op het spel, dan moet je dezelfde Blackbox laten bouwen door volledig ander team met andere technologie. Deze hoeft niet dezelfde performance te hebben, maar dient om de uitkomsten te kunnen vergelijken.

[Verwijderd]

...

Het gaat om algoritmes mbt dataverwerking van personen, zoals bv SyRI - waar @TaboZ naar verwijst. Dat was je wel duidelijk geworden als je de brief leest plus de verwijzing die TaboZ gaf.