Overheid stopt met controversieel frauderisicoalgoritme SyRI

De overheid stopt met het controversiële controlesysteem SyRI. Staatssecretaris Van Ark van Sociale Zaken gaat niet in beroep tegen de gerechtelijke uitspraak dat SyRI onwettig is. Wel komt er een nieuw instrument dat fraude moet bestrijden op basis van risicomodellen.

Staatssecretaris Tamara van Ark van Sociale Zaken en Werkgelegenheid schrijft in een brief aan de Tweede Kamer dat het kabinet niet in hoger beroep gaat tegen een gerechtelijke uitspraak uit februari. Toen verklaarde de rechtbank in Den Haag het Systeem Risico Indicatie-algoritme, of SyRI, in strijd met het Europees Verdrag voor de Rechten van de Mens. SyRI werd daarop stopgezet.

Sinds de uitspraak wordt SyRI ook niet meer toegepast, schrijft Van Ark. Er lopen geen huidige projecten, en er zijn geen nieuwe aanvragen binnengekomen. "Gegeven de uitspraak van de rechter is het zeer onwaarschijnlijk dat dit nog zal gebeuren", schrijft Van Ark. "Een eventuele nieuwe aanvraag wordt niet in behandeling gekomen."

Van Ark begint wel een verkennend onderzoek naar een alternatief voor SyRI. "Ons stelsel van sociale zekerheid is daarmee belangrijk voor de welvaart van ons land. Misbruik ondermijnt het draagvlak en daarom is fraudebestrijding cruciaal voor het behoud van ons sociale stelsel."

Van Ark ziet in de uitspraak van de rechter wel aanknopingspunten om een onderzoek te starten. In de uitspraak stond expliciet dat de toepassing van algoritmen en data-analyses legitiem was. Het was de specifieke implementatie van SyRI die niet mocht. Het systeem had namelijk te weinig waarborgen om de privacy van burgers te beschermen. Zo was het systeem onvoldoende inzichtelijk en controleerbaar, en buitenproportioneel voor het doel waarvoor het werd ingezet.

Hoe een vervolgsysteem eruit komt te zien weet Van Ark nog niet. Voor de ontwikkeling van 'het nieuwe instrument' wil Van Ark zich baseren op de leerpunten van SyRI. Daarbij worden partijen betrokken die ervaring met SyRI hadden om de knelpunten te bespreken en te kijken welke wensen zij hebben. Dat zijn bijvoorbeeld de Belastingdienst, het UWV, en de Vereniging van Nederlandse Gemeenten.

Van Ark wil ook samenwerken met 'andere partijen en inhoudelijke experts'. Wie dat precies zijn schrijft de staatssecretaris niet. "Samen met die verschillende partijen wil ik gaan onderzoeken hoe nieuwe technologische hulpmiddelen kunnen worden ingezet om op een effectieve en efficiënte manier fraude te bestrijden, met voldoende waarborgen ten aanzien van privacy." De staatssecretaris komt later dit jaar met 'een visie op gegevensuitwisseling en privacy in het sociaal domein.'

SyRI was een controversieel systeem waarmee overheden en instellingen zoals gemeenten en de Belastingdienst fraude konden opsporen. Dat gebeurde op basis van algoritmen die op grote groepen inwoners van bepaalde wijken werden losgelaten. Door data over bijvoorbeeld inkomens, uitkeringen of reizen te bestuderen kon een risicoanalyse gemaakt van welke burgers mogelijk fraudeerden. Het systeem werkte slecht. Het werd slechts vijf keer ingezet, waarbij het proces regelmatig fout ging en er uiteindelijk nooit een fraudeur is opgepakt. Veel burgerrechtenorganisaties en andere partijen, waaronder vakbond FNV en het Platform Burgerrechtenbescherming, waren tegen het systeem en spanden daarom een rechtszaak aan.

Reacties (61)

Stap 1: bouw een relatief eenvoudig algoritme om met 80-90% zekerheid fraude vast te kunnen stellen.
Stap 2: geef een auditor een naam, de data, maar NIET de reden van fraude. Dus alleen toegang tot de brondata.
stap 3: een persoon is verplicht om de data te beoordelen en apart te concluderen of iemand daadwerkelijk fraude pleegt
stap4: bouw bewust false positives in om de kwaliteit van de auditors te beoordelen.

Automatische fraude detectie en een human factor om te verifieren. Dossier daarna ook gewoon inzichtelijk maken. Je hoeft geen toegang te geven tot de AI data, want het dossier met human factor is de enige bron om de fraude mee te bewijzen.

Dit gebeurt veel bij gezichtsherkenningsalgoritmes en wat er in de praktijk tot nu toe keer op keer gebeurt is dat agenten vervolgens gaan rubberstampen met de gedachte dat het algoritme het toch wel beter zal weten.

Daar zou deze tegen moeten behoeden, als er daadwerkelijk beloningen/sancties staan op goed/slecht werk leveren.

stap4: bouw bewust false positives in om de kwaliteit van de auditors te beoordelen.

[Reactie gewijzigd door job_h op 23 april 2020 16:23]

Aan wat voor sancties zat je te denken voor deze ambtenaren?

Waarschuwing en ontslag.

Als je aangenomen wordt om fraude zaken te beoordelen en je drukt zonder de zaak te beoordelen op de "ja het algoritme heeft dit goed, dit is fraude" knop terwijl je weet dat er false positives tussen zitten, dan doe je je werk niet. En dan mag je van mij prima met als reden "disfunctioneren" ontslagen worden.

Als een werknemer het een aantal keer fout heeft, prima. Maar het moet niet een automatisch akkoord worden zonder controle.

Quis custodiet ipsos custodes?

Maar dat betekent dat je de controleur die het algoritme controleert die controleert op fraude moet gaan controleren, wordt dat niet een beetje omslachtig? Uiteindelijk ben je dan goedkoper en efficiënter uit om het oude systeem van enkel menselijke controleurs te behouden, aangezien je dan niet meer de controleurs hoeft te controleren op "rubber stamping". Daarnaast hebben we voor het huidige systeem alle privacywaarborgen al geïmplementeerd. Bovenal, ieder mens kan zijn beslissingen beter uitleggen dan de beste "Explainable AI", daarmee kunnen we een mens ter verantwoording roepen waar we bij een Big Data Algorithm dat niet kunnen.
Waar we veel kunnen automatiseren betwijfel ik daarom of dat altijd wenselijk is in het geval van dit soort uiterst gevoelige beroepen. Om dezelfde redenen zou ik, ondanks alle subjectiviteit, liever door een menselijke rechter berecht worden dan door een algoritme, omdat we bij een algoritme er automatisch vanuit gaan dat deze objectief is en we ingeslopen bias daarmee al gauw over het hoofd zien: https://www.theguardian.c...ng-all-our-worst-impulses

Ik denk dat het algoritme en de medewerker elkaar prima kunnen controleren. Een globale voorselectie door het algoritme zou de werkdruk kunnen verlagen door een bepaald percentage van de zaken direct als "geen fraude" te bestempelen.

Ik zie 5 situaties:
1. Als het algoritme "potentieel fraude" zegt en doorstuurt, en de mederwerker zegt "fraude" -> Prima.
2. Als het algoritme "potentieel fraude" zegt en doorstuurt, en de mederwerker zegt "geen fraude" -> Prima.
3. Als het algoritme "geen fraude" zegt en niet doorstuurt -> Prima.
4. Als het algoritme "geen fraude" zegt maar als test wel doorstuurt, en de mederwerker zegt "geen fraude" -> Prima.
5. Als het algoritme "geen fraude" zegt maar als test wel doorstuurt, en de mederwerker zegt "fraude" -> Second opinion van een andere medewerker en als de mederwerker overduidelijk fout zat is het tijd voor een waarschuwing.

Als er een on-line machine learning algoritme gebruikt wordt kunnen deze datapunten gebruikt worden om het algoritme verder te trainen, vooral als het algoritme en de medewerker van mening verschillend. Al is dat (mede om de bias die in het algorimte zal sluipen) waarschijnlijk niet aan te raden bij dit soort gevoelige kwesties.

Dat klinkt als een verstandige methode. Als vergelijking zie ik hoe de Technische Universiteit (TU) Delft nu mondkapjes test. Ze zijn geen officieel gecertificeerd testlaboratorium en daarom mogen ze niet aangeven wat goede mondkapjes zijn, maar met hun apparatuur kunnen ze wel aangeven wat op zeker slechte mondkapjes zijn. Door dat uit te spitsen reduceer je al een heleboel. Waardoor de vijf officiële testlaboratoria in Nederland zich louter bezig hoeven te houden met de tests die alleen zij kunnen uitvoeren, namelijk het scheiden van de goede mondkapjes van de middelmatige.
Hetzelfde principe zou inderdaad toegepast kunnen worden bij de fraudeselectie door het systeem de niet-fraudeurs eruit te laten filteren. Goed idee.

Er is een verschil tussen disfunctioneren en gewoon fouten maken. Bij ieder werkgever is disfunctioneren een reden voor waarschuwing en ontslag. Je trapt een open deur.
Met zulke sancties in het achterhoofd zullen deze ambtenaren minder vaak een positive melden, bang om fouten te maken en ontslagen te worden.

Er is een verschil tussen disfunctioneren en gewoon fouten maken. Bij ieder werkgever is disfunctioneren een reden voor waarschuwing en ontslag. Je trapt een open deur.
Met zulke sancties in het achterhoofd zullen deze ambtenaren minder vaak een positive melden, bang om fouten te maken en ontslagen te worden.

Ik ben blij dat je het met me eens bent dat disfunctioneren een prima reden voor ontslag is. Het enige wat ik zeg is dat als je op een andere conclusie komt dan het algoritme (zowel positief als negatief) je jouw eigen conclusie moet kunnen onderbouwen. Als je dat meermaals niet kunt dan mogen we aannemen dat je gewoon op het "akkoord" knopje aan het drukken bent en dat we dat als disfunctioneren op mogen vatten.

Het algoritme kan het fout hebben, de medewerker kan het fout hebben, het kan een grijs gebied zijn, allemaal mogelijkheden. Alleen als de medewerker het vaak fout heeft en niet kan verklaren waarom, dan lijkt het me tijd voor een andere baan.

Stap 1: bouw een relatief eenvoudig algoritme om met 80-90% zekerheid fraude vast te kunnen stellen.

Dat neemt niet weg dat zo'n algoritme dan geen vooringenomenheden heeft.
Verder ben je denk ik aan het dromen. Zo'n algoritme kan niet eenvoudig zijn. Zeker als je 80-90% zekerheid wilt bereiken. De gevallen waarbij het eenvoudig is om automatisch aan te tonen dat er met hoge zekerheid gefraudeert was is beperkt. De meeste cases zijn complexer en dan heb je niet zoveel aan zo'n automatisch systeem.

Ik meende dat 1 van de problemen van het algoritme was dat het onbedoeld discriminerend is. Fraude correleert met een bepaalde achtergrond, algoritme is domme machine learning en vervolgens wordt iedereen met die achtergrond geselecteerd.
Je hebt dan wel fraudeurs te pakken (het correleert immers), en op basis van statistiek strenger controleren kan in principe wel, maar dit gebeurt op basis van geloof, sexuele geaardheid of ethniciteit is het natuurlijk helemaal mis.
Het probleem met een "onbegrijpbaar" algoritme is dat het, ook al haal je alle eigenschappen uit de database waarop je kan discrimineren, toch discriminerend bezig kan gaan. In plaats van directe selectie op Brabanders gaat het algoritme bijvoorbeeld mensen selecteren die worstenbroodjes eten. Misschien volgens de letter van de wet nog wel ok, maar alsnog min of meer discriminerend.

De grootste kritiek was dat het systeem niet voldoet aan een 'een redelijke verhouding'tussen het maatschappelijk belang van een wet en de inbreuk op iemands privéleven. Je kan wel een paar stappen omschrijven om fraude in te schatten en personen een taak te geven, maar daarmee los je zonder duidelijk doel en regels over wat er wel en niet ingevoerd mag worden en waarom iets wel of niet fraude zou betekenen niets op.

Wat zou dit ons allemaal gekost hebben? Lijkt me geen goedkoop grapje voor slechts 5x inzetten. Uiteraard was de intentie dit meer te gebruiken, maar zoals het vaker met overheidsprojecten gaat....
Waarom wordt zoiets niet vooraf gescreened op privacy? Iedereen weet toch inmiddels wel dat een dergelijk project afgeschoten wordt als je je niet aan de regels houdt.

Ga er maar vanuit dat dit slechts een deel van de algoritmes is, die de belastingdienst heeft draaien. (Edit: En dus slechts een deel van de kosten.)
En als land kun je relatief makkelijk je nationale wetgeving aanpassen (ANPR als voorbeeld), zodat het algoritme voldoet aan de wetgeving. Zolang het maar niet tegen de EU wetgeving ingaat.

[Reactie gewijzigd door wjn op 23 april 2020 13:41]

"Ga er maar vanuit dat dit slechts een deel van de algoritmes is, die de belastingdienst heeft draaien."

Dat is onjuist. Het was zelfs een aantal jaren geleden zo dat een fors aantal controles in de software van de BD uitgezet werd omdat er domweg niet genoeg mankracht was om de signaleringen op te volgen.
Zelfs de controle of iemand die hypotheekrente aftrok, ook wel daadwerkelijk huis(mede-)eigenaar was, heeft een tijd uitgestaan.

De laatste tijd zit ik wat minder in die fiscale wereld, dus het kan zijn dat e.e.a. nu anders is. Maar ik denk het niet, zeker omdat sindsdien o.a. een forse uitstroom van het ervaren personeel plaatsgevonden heeft door een foutje met een uistroomregeling....

EDIT: Er was wel een experiment met een speciaal team, dat aan de hand van big data probeerde e.e.a. op te sporen; maar dat was buiten alle "normale" systemen en procedures om. Toen bleek dat dat (net als Syri overigens) onwettig was, in ieder geval voor de publieke tribune, gestopt.

[Reactie gewijzigd door dingo35 op 23 april 2020 14:09]

Nog sterker; waarom wordt er geen check gedaan op de moraliteit van dit soort zaken?

Uiteindelijk is zoiets als de privacy wetgeving slechts een formalisatie van de moraliteit. Iedereen die 3 seconden nadenkt over de moreel achter SyRI snapt dat je zoiets niet moet willen. Dan is een check op de legaliteit niet eens meer interessant.

Ik heb er over nagedacht en wil het wel. Trouwens niet alleen voor uitkeringsfraude, maar ook voor belastingsfraude.

Hoezo denk je dat het zeker is dat niemand dit zou willen? Ik betaal mijn belastingen eerlijk en erger me aan mensen die dat niet doen (zodat ik meer moet betalen), of van mijn moeite fijn gratis geld krijgen. Aangezien niet iedereen compleet gecontroleerd kan worden, zul je een focus moeten leggen waar zo een programma bij helpt. Als dat bepaalde groepen vaker treft is dat voor mij geen discriminatie maar iets waar je je groepsleden op aan moet kijken - wettelijk is dit zeker anders.

Als dit programma slecht werkte is het natuurlijk wel een probleem.

Iets waar je je groepsleden op aan moet kijken!?!?

Je bedoelt blonde mensen?
Of mensen met een baard?
Of mensen die in een bepaalde wijk wonen?
Of mensen die zwanger zijn?
Of mensen die ooit in de WAJONG gezeten hebben?

Ik hoop dat je begrijpt hoe enorm immoreel zoiets is. Hoe levensgevaarlijk.
Dit is het zelfde algoritme wat er voor gezorgd heeft dat er duizenden mensen plots onterecht geen kinderopvangtoeslag meer ontvingen waardoor sommigen plots niet meer naar hun werk konden. Maar de belastingdienst werd op het hart gedrukt dat fraudebestrijding met "een paar" false positives belangrijker was dan een eerlijke maatschappij......

Wat die belastingen betreft die jij betaald; realiseer je heel erg goed dat er veel meer geld naar fraude bestrijding gaat dan dat er ooit gefraudeert is..... De fraudebestrijding zelf kun je op die manier zien als geinstitutionaliseerde fraude..... Het volk de illusie geven dat fraudebestrijding nuttig is, is op zich al frauduleus.....

Als er een seriemoordenaar losloopt, wordt er standaard van uit gegaan dat het een blanke man is. Statistisch klopt dat en het helpt met opspeuren (als de dader uiteindelijk niet blank is is het een nadeel). Ik voel me er niet benadeeld op dat er standaard van een blanke man wordt uitgegaan.

Ik moet daarvoor niet bij de politie zeuren, maar bij de blanke seriemoordenaars.

Uiteraard mag iemand daarvoor niet veroordeeld worden. Maar dat een wietplantage eerder bij een zigeunerkamp dan bij een bejaard echtpaar gezocht wordt is voor mij geen discriminatie. En ja, ik weet dat het wettelijk wel discriminatie is, ook al zal elke agent het bejaarde stel het laatst verdenken omdat de agent de realiteit kent.

Dit is het zelfde algoritme wat er voor gezorgd heeft dat er duizenden mensen plots onterecht geen kinderopvangtoeslag meer ontvingen waardoor sommigen plots niet meer naar hun werk konden.

Dat wist ik niet en is natuurlijk compleet onacceptabel. Ik ging uit van een systeem wat tegen de ambtenaar zegt "kijk eens goed naar Pietje met zijn drie BMWs", niet een systeem wat preventief de uitkering voor Pietje stopzet.

realiseer je heel erg goed dat er veel meer geld naar fraude bestrijding gaat dan dat er ooit gefraudeert is...

Heb je daar bewijs van? Er wordt gigantisch veel belasting ontdoken, en de meeste mensen die ik in Duitsland kende die bijstand kregen werkten zwart (6 van 8 ). Bovendien zou je de kosten moeten vergelijken met de fraude die er zou zijn als er niet gecontroleerd werd - niet met de verblijvende fraude.

En zelfs als je uitspraak bewezen kan worden: ik geef liever 100 euro aan opsporingsambtenaren dan 80 euro aan fraudeurs. Ook liever 200 of 300. Ergens houdt het uiteraard op, maar de som X < Y, dus fraudeer er maar op los gaat bij niet op.

[Reactie gewijzigd door _Pussycat_ op 24 april 2020 06:28]

Uiteraard mag iemand daarvoor niet veroordeeld worden. Maar dat een wietplantage eerder bij een zigeunerkamp dan bij een bejaard echtpaar gezocht wordt is voor mij geen discriminatie. En ja, ik weet dat het wettelijk wel discriminatie is, ook al zal elke agent het bejaarde stel het laatst verdenken omdat de agent de realiteit kent.

Grappig dat je juist dit voorbeeld aan haalt. Kom voor de gein eens naar het zuiden. Je weet wel, waar de wietplantages echt staan. Die zitten voor grofweg 95% in rijtjes huizen. Maar het is een mooi voorbeeld van hoe discriminatie werkt; een vooroordeel zonder feitelijke grond......

Dat wist ik niet en is natuurlijk compleet onacceptabel. Ik ging uit van een systeem wat tegen de ambtenaar zegt "kijk eens goed naar Pietje met zijn drie BMWs", niet een systeem wat preventief de uitkering voor Pietje stopzet.

Het systeem (als in: Het automatiseringssysteem) signaleert ook alleen maar. Het systeem (als in: De set aan processen die in gebruik zijn) ziet die signalering als de waarheid en acteert daar op. Het kost tenslotte veel te veel tijd en moeite om zelf die check te gaan doen.

En dat is ook meteen het probleem. In de ogen van de ambtenaar heeft het systeem gelijk. Wordt degene die gesignaleerd wordt ook meteen, zonder feitelijke basis, als verdachte behandelt. En dat kan niet in een rechtstaat waar het uitgangspunt is dat je onschuldig bent.

Heb je daar bewijs van? Er wordt gigantisch veel belasting ontdoken, en de meeste mensen die ik in Duitsland kende die bijstand kregen werkten zwart (6 van 8 ). Bovendien zou je de kosten moeten vergelijken met de fraude die er zou zijn als er niet gecontroleerd werd - niet met de verblijvende fraude.

Om even wat statistieken er bij te pakken:
België: https://www.denktankminer...de-een-beetje-perspectief
Sociale fraude (zwart werken en onterechte uitkeringen, om het even heel simpel te stellen) wordt geschat op €250'000'000. Op het totaal budget van zo'n €70 MILJARD (van sociale zekerheid) is dat ongeveer 0.3%.
Daar staat tegenover: Fiscale fraude (belasting ontduiking in het groot) is grofweg €2.5 MILJARD. Een factor 10 meer.
Nochtans wordt er aan Sociale fraude een factor 10 uitgegeven aan opsporing dan aan Fiscale fraude.....

Nee, jouw annecdote zegt helemaal niets. Behalve dat jij blijkbaar met fraudeurs om gaat en er dus waarschijnlijk zelf ook één bent (aldus SyRI). In werkelijkheid wordt er nagenoeg niet gefraudeert. Althans; niet met uitkeringen. Wel wordt er enorm gefraudeert met vennotschaps belasting terwijl daar nauwelijks opsporing op gedaan wordt....

Kom voor de gein eens naar het zuiden. Je weet wel, waar de wietplantages echt staan. Die zitten voor grofweg 95% in rijtjes huizen. Maar het is een mooi voorbeeld van hoe discriminatie werkt; een vooroordeel zonder feitelijke grond......

Ik kom uit het zuiden . Maar: interessant om te weten. Inderdaad, ik ging van mijn vooroordelen uit, en als jij je daar beter in uitkent: I stand corrected!

Ik ga niet echt met die fraudeurs om, eerder irritante buren die 's nachts zuipen en de politie aanballen / bekenden van bekenden / navolger van mijn huurflat etc. Uiteraard is dat geen perfecte statistiek, maar eigen ervaring vormt het beeld altijd sterker dan andere statistieken.

Betreffende de belastingontduiking: jep, daar mag en moet veel sterker tegen opgetreden worden. Ik wordt ook pissig als ik dat hoor (uiteraard vooral in het klein, niet betreffend vennootschapsbelasting, daar hoor ik niets van).

[Reactie gewijzigd door _Pussycat_ op 24 april 2020 08:53]

Ik ga niet echt met die fraudeurs om, eerder irritante buren die 's nachts zuipen en de politie aanballen / bekenden van bekenden / navolger van mijn huurflat etc. Uiteraard is dat geen perfecte statistiek, maar eigen ervaring vormt het beeld altijd sterker dan andere statistieken.

Maar dit is wel precies hoe het algorithme te werk gaat. Geografische gegevens zijn een factor. En dus ben jij, door je buren, al als verdachte aangemerkt.

Zie je nu waarom zoiets absoluut onwenselijk is?

Als ik daardoor gecontroleerd wordt (in het systeem) en er niet mis is vind ik het prima.

Als ik daardoor bij elke vlieghaven 2 uur ondervraagd wordt voor ik vliegen mag (zoals ik hoorde van mensen uit het Midden-Oosten), dan niet.

Voor mij hangt het van de overlast af. Als het niet merkbaar is mag het van mij. Als regelmatig de politie aan de deur staat niet, dan worden de mensen lastig gevallen. Uiteraard is daartussen nog een grijs gebied.

Iedereen weet toch inmiddels wel dat een dergelijk project afgeschoten wordt als je je niet aan de regels houdt.

Ik weet niet uit mijn hoofd wanneer oorspronkelijk begonnen is met SyRI, maar dat was jaren geleden. Op dat moment waren de privacyregels niet heel veel anders, maar het was (voor mijn gevoel) niet het gigantische aandachtspunt dat het nu is. Juist het falen van SyRI was één van de redenen dat er tegenwoordig veel beter op de privacy-impact wordt gelet.

De regels waren er wel, maar er waren geen straffen. ==> allerlei instanties/bedrijven trokken een lange neus en gingen alsnog met de data aan de haal.... (100% pakkans, maar 0% gevolg gosten)

Nu kan het ze de kop kosten... en er zijn werkelijk risico's wanneer je over de schreef gaat.
Nu is de pakkans aanzienlijk, maar ook de gevolgen kunnen fors oplopen. als x% van de omzet, het gaat dus niet over winst die je maakt, maar gewoon omzet.

We hebben een klein inkijkje gekregen met de corona-app en daar werd ik niet heel vrolijk van. Daar bleek ook weer dat er meteen een hamer werd gekocht om daarna te kijken of er iets op spijkers leek.
Gewoon de tekentafel en juridische aspecten overslaan blijkt toch niet zo efficient.

Het was natuurlijk wel leerzaam.
Tussen de regels staat heel erg duidelijk dat 'men' op zoek is naar versie 2.0.
Daarin zit natuurlijk heel veel kennis van de verboden versie.

Ben benieuwd wat dit allemaal weer gekost heeft, misschien gewoon mensen het geld geven? 5 x ingezet voor wat? een uitkering van 800 Euro in de maand?

Maar ja, dat is weer niet des "managements".

Het was de specifieke implementatie van SyRI die niet mocht. Het systeem had namelijk te weinig waarborgen om de privacy van burgers te beschermen. Zo was het systeem onvoldoende inzichtelijk en controleerbaar, en buitenproportioneel voor het doel waarvoor het werd ingezet.

Wat deed het dan verkeerd? Plaatse het mijn inkomens gegevens op een publieke website?

Ik heb mij niet voldoende ingelezen in dit specifiek onderwerp, maar in het algemeen is het toch wel heel begrijpelijk dat de BD niet 17M+ inwoners handmatig kan controleren. Een filter wat de groep mensen die handmatig bekeken moet worden kleiner maakt lijkt mij heel nuttig. En het lijkt mij een gegeven dat daarvoor inzage nodig is in gevoelige gegevens. Dat zou bij een handmatige controle ook moeten, maar dan zien mensen het, die kunnen praten en toevallig de gegevens van de buurman kunnen tegenkomen.

Wat is er dan zou fout aan dit systeem? Dan behalve dat het niet werkt, maar daar kan aan gewerkt worden, dat hoeft geen reden te zijn om de boel meteen de nek om te draaien. En per definitie gaat het er toch om wat mensen dan weer met informatie uit dat systeem doen? Het systeem rapporteert en mensen moeten aan de hand daarvan gaan bepalen of ze iemand handmatig willen controleren.

Stiekem heb ik vaak het gevoel dat het makkelijker is om een stukje software de schuld te geven terwijl de fout ergens anders zit. Maar wellicht heeft iemand hier er meer verstand van.

In ons achtergrondstuk over SyRI beschrijven we wat er naast de werking mis is. Met name het feit dat het oncontroleerbaar was was niet goed, maar ook dat het als het zware een sleepnet uitgooide over een groep burgers (die sociaal sowieso al meer achtergesteld waren) was erg.

Er waren een aantal problemen met het systeem:
Er waren sociale factoren meegenomen die fraude detecteerde. Basically waren "de rijken" uitgesloten, terwijl die net zo hard frauderen natuurlijk. En in de middenlaag ook.
Er werd gebruik gemaakt van deep learning, waardoor een AI onjuiste verbanden kan leggen. (losgeslagen leermodel)
Er was GEEN handmatige controle, in ieder geval niet op de wijze dat je zou willen. Computer zegt ja? Oh het is een turk? Oke, fraudestempel!
Er was GEEN mogelijkheid tot inzage, omdat het model andere personen meenam en factoren die "geheim waren" en vooral dit laatste is een beperking die je nooit kan hebben in een democratie zoals de onze.

Het algorithme kon ook niet uitleggen waarom een bepaald persoon X als "fraudeur" bestempeld was. (bv. omdat er een verkeerd dossier in het leer traject gebruik was) als dat dossier was nu net de weegfactor voor geval X bleek te zijn was het niet uit te leggen.

Met andere woorden, je wilt een rapportje kunnen draaien waar in staat: meneer X is 22, heeft een uitkering en huurtoeslag voor een woning van EUR 150.000,- en rijdt een recente, zwarte BMW => 93% kans op fraude.

Nee, ik wil dat er een rapport wordt gedraaid met
Meneer X, 22 jaar, werkzaam bij, lijst van familieleden
potentiele gedetecteerd bij fraude bij: zorgtoeslag, PGB, whatever
Bijlagen: aangifte belasting. lijst van bezittingen, aanvraag zorgtoeslag, aanvraag PGB

Beste inspecteur, graag UW visie op deze potentiele fraude en beoordeling.

Dan heb in eerste instantie een computer die een voorselectie doet en een mens die de uiteindelijke beoordeling doet ZONDER informatie waarop de initiele afweging heeft plaatsgevonden. De voorselectie doe je op basis van diverse algoritmes, maar die kan je geheim houden omdat ze geen onderdeel vormen van de uiteindelijke afweging van de inspecteur.

Voordeel: Je kan false positives toevoegen, zodat je de inspecteur kan controleren of hij z'n werk goed doet. En dus ook bewust een turk uit de schilderswijk met dikke mercedes, maar wel een correcte aangifte. Je kan ook false "negatives" toevoegen uit klasses die normaal buiten de inspectie blijven om zo eventuele fraudes per toeval tegen te komen. Bijvoorbeeld een wassenaarse bewoner met een normale aangifte. Controleer je die ook eens steeksproefgewijs.

De inspecteur weet niet beter dat hij 10% van zijn werk at random geintroduceerd is om hem te controleren. Daarmee dwing je de inspecteur altijd zijn werk correct uit te voeren. Of in ieder geval om beter op te letten.

En natuurlijk wordt er geen moment bij stilgestaan of het probleem hier niet veel fundamenteler is, namelijk het concept van 'risicomodellen' voor sociale zekerheid. Nee, gewoon weer door op het oude pad - maar nu binnen de juridische lijntjes, zodat ze niet weer op de vingers getikt kunnen worden.

Daar wordt juist erg veel bij stilgestaan in de Kamerbrief. Van Ark ziet nog steeds veel toekomst in het inzetten van risicomodellen, alleen niet in de specifieke implementatie van SyRI. Of je het daarmee eens bent is een tweede punt, maar ze staat er wel degelijk bij stil.

Daar wordt juist erg veel bij stilgestaan in de Kamerbrief. Van Ark ziet nog steeds veel toekomst in het inzetten van risicomodellen, alleen niet in de specifieke implementatie van SyRI. Of je het daarmee eens bent is een tweede punt, maar ze staat er wel degelijk bij stil.

Uit de kop van het artikel:
"Wel komt er een nieuw instrument dat fraude moet bestrijden op basis van risicomodellen"
en dan verderop:
et was de specifieke implementatie van SyRI die niet mocht. Het systeem had namelijk te weinig waarborgen om de privacy van burgers te beschermen.

Die kamerbrief staat daar wel bij stil maar in de praktijk zal het veel te ingewikkeld en kostbaar zijn om aan alle bezwaren te voldoen. De praktijkuitwerking door de regering en ambtenarij zal er uiteindelijk wel op neerkomen dat men zorgt dat het nog net binnen de juridische grenzen toegelaten is (het EVRM kunnen ze gelukkig niet zomaar even aanpassen zoals ze dat met andere wetten doen) waarna men tegen zo gering mogelijke inspanning en kosten een zo groot mogelijk resultaat zal proberen te verkrijgen.

Het probleem was dan ook niet in de eerste plaats het fundamentele concept of het onwettig zijn van deze tool, maar het feit dat het "slecht werkte", dus vele false positives gaf in combinatie met de onwettigheid. Wel is er langzaamaan wel een verschuiving aan het plaatsvinden. Etnisch profileren is ook ontstaan omdat het - binnen zekere grenzen en om bepaalde redenen - werkte. Echter naarmate onze samenleving verder evolueert, gaan die redenen niet meer op en blijkt het ethisch en moreel verwerpelijk te zijn.

Dat is niet waar. Risicomodellen inzetten om fraude op te sporen is toegestaan volgens de rechter. Hoe SyRI dat deed was echter fout: er werd vooraf geen goede proportionaliteitsafweging gemaakt, ze zetten het in op te grote groepen, en die groepen waren kwetsbaar (waardoor ze nóg beter hadden moeten bestuderen of het proportioneel was).

Dat is niet waar. Risicomodellen inzetten om fraude op te sporen is toegestaan volgens de rechter.

Dat staat al in je artikel

Hoe SyRI dat deed was echter fout: er werd vooraf geen goede proportionaliteitsafweging gemaakt, ze zetten het in op te grote groepen,

De slechte effectiviteit van het model hangt waarschijnlijk ook samen met die te grote groepen.
Daarnaast is het zo dat de keuze van op welke groepen je het inzet ook een vorm is van profileren. Ook daarmee kun je stigmatiseren. Bijvoorbeeld door zoals @morphje hieronder aangeeft: "Er waren sociale factoren meegenomen die fraude detecteerde. Basically waren "de rijken" uitgesloten, terwijl die net zo hard frauderen natuurlijk. En in de middenlaag ook. " het in te zetten op bepaalse klasses van mensen.

Het meest duidelijke voorbeeld daarvoor is dat bij de losgeslagen kinderopvangtoeslagfraudecontrole. Even heel kort door de bocht waren degenen die daar beschuldigd werden van fraude voor een groot deel ofwel
- mensen van niet-autochtone afkomst
- mensen die gebruik maakten van kinderopvang geleid door iemand van niet-autochtone afkomst.

Een van de grote problemen is dan ook een algortime te maken dat én effectief is én niet discrimineert.
Zoals @HugovB aangeeft:
Ik meende dat 1 van de problemen van het algoritme was dat het onbedoeld discriminerend is. Fraude correleert met een bepaalde achtergrond, algoritme is domme machine learning en vervolgens wordt iedereen met die achtergrond geselecteerd.

Zodra - ook al is het onbewust - bij de invoer van de gegevens een discriminerend element aanwezig is, zal de machine-learning hierop triggeren en op dat element correlatie vinden.

In het voorbeeld van @HugovB zijn mensen die worstebroodjes eten (lijkt niet discriminerend) grotendeels Brabanders te zijn (wel discriminerend), als gevolg daarvan katholiek (wel discriminerend) enzovoorts.

en die groepen waren kwetsbaar (waardoor ze nóg beter hadden moeten bestuderen of het proportioneel was).

Klopt. Het is logisch te veronderstellen dat bepaalde soorten fraude in kwetsbare groepen sneller voor zal komen dan in andere groepen. Het is een bekend gegeven dat mensen met een bijstandsuikering vaker bijstandfraude plegen als mensen die geen bijstandsuitkering krijgen. Mensen die kwetsbaar zijn omwille van financiële omstandigheden bijvoorbeeld
- geen werk
- uitzendwerk
- wisselend werk zonder zekerheid, bv steeds een paar jaar en dan met een onderbreking weer ergens anders
- laag betaald werk
- in een huis wonen dat slecht geisoleerd is, of een hoge huur heeft.
- hoge ziektekosten heebben
zullen een sterkere druk op zich voelen om inkomsten niet op te geven of bv accijnzen te ontduiken op tabaksartikelen en drank.

In andere groepen zul je andere soorten fraude vinden. Witteboordencriminaliteit vind je niet bij mensen van de plantsoenendienst. De trend is toch om naar bepaalde soorten fraude meer onderzoek te doen als naar andere. Zoals de link van @martin-026 hieronder, https://www.cijfers.net/fraude.html onderaan ook al aangeeft:
Hé, dat is gek! Daar waar bijstands- en uitkeringsfraude hard wordt aangepakt, laten politie en Justitie andere fraudeurs doorgaans ongemoeid. En dat is, als je naar de cijfers kijkt, op z'n minst 'een beetje' vreemd...
Totale fraude, excl. bijstands- en uitkeringsfraude (€)
Vandaag: 21 727 224 Dit jaar: 3 476 814 151
Waarvan opgespoord (hooguit 2%) Vandaag: 434 544 Dit jaar: 69 536 283

Bijstands- en uitkeringsfraude (€) Vandaag: 297 553 Dit jaar: 47 614 802
Waarvan opgespoord (ruim 70%) Vandaag: 214 238 Dit jaar: 34 282 657

Ook dat zijn keuzes die onze overheid maakt..

waarna men tegen zo gering mogelijke inspanning en kosten een zo groot mogelijk resultaat zal proberen te verkrijgen.

ow nee, wat erg. een overheid die probeert efficient te zijn. Schandalig! Het zou verboden moeten zijn.

Nee, dat is het probleem niet, je trekt de zin uit zijn verband. Waar het om gaat is dat ze dit doen - welliswaar nog net binnen de wettelijke grenzen - maar vervolgens over alle andere zaken heenwalsen.

Het zo groot mogelijk resultaat is zuiver financiëel. Dit systeem zal, net als het vorige, en net zoals o.a. gebeurde bij de kinderopvangtoeslagaffaire, heel veel mensen als fraudeur aanwijzen, die vervolgens - conform de praktijk bij de dienst toeslagen* keihard aangepakt worden ook al klopt er van die beschuldiging niets.

* wat weer het gevolg was van druk vanuit de kamer vanwege de affaire met de Roemeense toeslagenfraude

De auteur van het artikel, @TijsZonderH geeft ook aan dat de resultaten die uit dit soort sytemen komen rollen vaak blindelings geloofd worden. Men gaat er dan vaak van uit dat wat de computer aangeeft beter zal kloppen als de eigen analyse. Hij noemt dat hierboven Rubberstamping.
Dit gebeurt veel bij gezichtsherkenningsalgoritmes en wat er in de praktijk tot nu toe keer op keer gebeurt is dat agenten vervolgens gaan rubberstampen met de gedachte dat het algoritme het toch wel beter zal weten.

Het klinkt inderdaad alsof van Ark vrolijk door wil gaan met de risicoprofielen die toch een significante aanleiding leken te vormen om Syri te verbieden. Het goede nieuws lijkt me dat rechtzaken precedent scheppen, waardoor we er al redelijkerwijs vanuit kunnen gaan dat nieuwe soorgelijke initiatievenook in de prullenbak zullen belanden.

Risicomodellen opstellen mag. Dat an sich is niet verboden. Hoe proportioneel je ze maakt is het gevaar, en hoe je ze inzet (verantwoording vooraf etc).

De conclusie is dus dat de overheid verder gaat met Siri 2.00. Andere naam, zelfde doel.

Voor mij is dit overigens weer een klein signaaltje dat contant geld meer privacy geeft.

Volgens Siri heeft u vorige maand slechts 10 euro via uw pinpas uitgegeven bij de supermarkten. U wordt daarom verdacht van het hebben van een grote hoeveelheid contant geld en krijgt een vaste boete van 500 euro.
Dit bericht is automatisch aangemaakt en daarom niet ondertekend.
Gemeente Amsterdam

nee dus. SyRI was alleen een middel om verdachte activiteiten te markeren. daarna volgt, net als bij elke andere verdenking, een handmatig onderzoek.

Moet dan wel contant binnenkomen en uitgaan en besteed worden aan anonieme zakeb. Autos, (vlieg)reizen etc worden dan nog steeds gezien...

Was het ook niet zo dat men de uitkomsten van SyRI als feiten beschouwen.
Dus dat er teveel "false positives" waren.

Deze verdwijnt, maar er komt echt wel iets anders voor terug.

Ja dat is letterlijk de derde zin van het stuk.

Wel komt er een nieuw instrument dat fraude moet bestrijden op basis van risicomodellen.

off topic;

frauderisicoalgoritme, wat een rot woord om te lezen lol

Ja, inderdaad, de belastingdienst heeft ervaringen met SyRI. en hoe heeft dat ook alweer uitgewerkt? En het UWV? Geen onterechte uitkeringen richting Polen toch? Pijnlijk.

Is het dan niet beter om eens goed naar de invulling van dat sociale stelsel te gaan kijken? Wie kan waarop aanspraak maken, en onder welke voorwaarden? En, even heel lomp gezegd, moeten we niet ook gewoon eens beginnen met paal en perk stellen aan wie er precies gebruik van mag maken? Nu is het één grote lappendeken en komt er lapmiddel op lapmiddel, waar SyRI er dus ook eentje van is. Dat lijkt mij niet een houdbare situatie.

Het is ook gewoon een drama, ik snap ook niet dat het allemaal zo moeilijk moet zijn.
En dan heb je ook nog dat hele toeslagen fiasco... Mensen die zich van kant wilden maken omdat de BD ze onterecht aanmerkte als fraudeur.

Politici hebben de neiging om met steeds weer nieuwe uitzonderingen de systemen zodanig te "fine-tunen" dat "oneerlijkheden" voor specifieke groepjes geëlemineerd worden.
Bovendien zijn het zelden béta's, hebben dus moeite om wetten gestructureerd en conceptueel waterdicht te maken.
Tot slot begrijpen ze heel veel basisprincipes niet (bijvoorbeeld dat je discontinuïteiten in regelgeving moet vermijden; dus niet werken met tabellen, maar met formules, zodat geen ongewenste "overgangsverschijnselen" optreden).
Zo is bijvoorbeeld in de geestelijke gezondheidszorg een tabel (DBC-codes) die aangeeft hoeveel een psychiater mag declareren. Ik meen dat er op 80 uur een discontinuïteit zit, m.a.w. bij 81 uur krijg je véél meer dan bij 79 uur. Als je dan de grafiek van aantallen patiënten (Y-as) en aantal bestede zorguren (X-as bekijkt, zie je een soort zaagtand ontstaan, afnemende aantallen tot het eerstvolgende drempelbedrag, dan schieten de aantallen maximum omhoog, om vervolgens weer te dalen...

En iedereen zich maar afvragen waarom de kosten in de gezondheidszorg zo blijven stijgen...

Het is zo moeilijk omdat alles verweven is.
Beetje off-topic misschien maar wel een goed voorbeeld.
Veel dure auto's in een wijk met voornamelijk erg lage inkomens is een rode vlag. (fraude, drugsgeld) Fiets door de wijk en schrijf kentekens van dure auto's op. De agent op kantoor doet wat onderzoek.
Maar dat mocht dus niet, omdat de rode vlaggetjes heel vaak achter niet Nederlandse namen stonden.
Dan heet het discriminatie.
Als de methode zeer breed ingezet zou worden heet het een sleepnet/privacy schending.

En hetzelfde gaat spelen met jouw goede vraag/voorbeeld.
Overbevolking is een probleem. Kinderbijslag voor max 2 kinderen kan een goede regel zijn. Maar dat geeft weer problemen omdat bepaalde groepen veel vaker de klos zijn. En dan loopt het weer vast.

Er is een groter, onderliggend probleem. Het huidige belastingstelsel is een puinhoop, en niet zo'n kleintje ook. Dat er fraude gepleegd wordt, komt simpelweg omdat er teveel regels zijn, maar ook weer veel uitzonderingen op die regels. Veel belastingen stijgen jaarlijks disproportioneel, zogezegd omdat alles duurder wordt. Dat zal gerust, maar links- en rechtsom bloeden we leeg omdat die kosten voor veel groepen dan weer (deels) gecompenseerd moeten worden. Als je nou eens begint met stoppen met overhevelen van geld, dan heb je in mijn ogen al een aardige stap gemaakt. Als je de regels eindelijk eens transparant maakt, stopt met het maken van uitzonderingen voor particulieren en (vooral!!!) bedrijven en idealiter gezien gewoon over heel Europa dezelfde regels gaat hanteren, dan is er geen optie meer om te frauderen of belasting te 'ontwijken'/ontduiken.

Dan hebben we het volgende probleem: Het hele subsidiestelsel klopt van geen kant. Als je tien van de twaalf maanden recht hebt op een subsidie en de laatste twee niet, dan mag je gelijk alles voor een heel jaar terugbetalen. Veel subsidies werken met een 'voorberekening' die negen van de tien keer gewoon niet klopt. Ons hele subsidiestelsel doet veel meer kwaad dan dat het goed doet, want er komen echt bizar veel mensen door in financiële problemen.

TL;DR
Regels zijn te complex en teveel uitzonderingen. Alles gelijk trekken, normale hoeveelheid belasting en stoppen met subsidies. Dan is er ook niets meer te frauderen en hoeft er ook geen inbreuk meer op onze privacy gemaakt te worden.