Amnesty: Nederlandse overheid gebruikt vaker algoritmes voor risicoprofilering

De Nederlandse overheid zet steeds vaker algoritmes in voor risicoprofilering van burgers, stelt Amnesty International. De mensenrechtenorganisatie zegt dat het demissionaire kabinet te weinig doet om dat te voorkomen en pleit voor meer geld voor instanties als de AP.

Amnesty International schrijft in een rapport dat de Nederlandse overheid een 'structureel en overheidsbreed probleem heeft' met etnisch profileren en discriminatie door instanties als de Marechaussee, de Belastingdienst en de politie. Dat komt deels door algoritmes die de overheidsinstellingen gebruiken voor risicoprofilering. "Overheidsorganisaties hebben zeer ruime bevoegdheden om mensen te controleren en zetten steeds vaker risicoprofilering en algoritmen in", schrijft Amnesty. "Dit zet de deur open voor machtsmisbruik en etnisch profileren. Alle overheidsorganisaties moeten zich verantwoorden over hoe ze burgers controleren en over wat ze doen om etnisch profileren te voorkomen."

Amnesty constateert dat de overheid op verschillende punten niet goed omgaat met zulke algoritmes. De organisatie pleit onder andere voor een verplicht impactassessment voor de inzet van algoritmes. Hoewel het demissionaire kabinet daarvoor een aantal moties heeft aangenomen, is er nog niet zo'n verplichting en is het volgens Amnesty onduidelijk hoe zo'n verplichting moet worden gehandhaafd. "Ook is er nog weinig inzicht in de manier waarop overheidsorganisaties zo'n assessment toepassen", schrijft de organisatie.

Verschillende toezichthouders moeten daarom volgens Amnesty meer bevoegdheden en vooral 'voldoende capaciteit' krijgen om onderzoek te doen naar de inzet van zulke algoritmes en om eventueel op te treden bij overtredingen. Amnesty noemt onder andere de Autoriteit Persoonsgegevens, maar ook de Ombudsman en het College voor de Rechten van de Mens. De Autoriteit Persoonsgegevens heeft sinds begin vorig jaar een afdeling die toezicht houdt op algoritme-inzet, maar krijgt daar lang niet genoeg geld voor.

De overheid zou diverse dingen kunnen doen om transparanter te zijn over de inzet van algoritmes. Dat kan door 'zinvolle informatie te verstrekken over de onderliggende logica, het belang en de verwachte gevolgen van beslissingen' van algoritmes. Dat is het idee achter het algoritmeregister dat eind 2022 van start ging, maar dat is vooralsnog geen groot succes. Tweakers zag bijvoorbeeld dat er na een half jaar slechts acht nieuwe algoritmes aan het register werden toegevoegd. Volgens Amnesty zijn er verschillende problemen met de huidige opzet van het register. Het is nog niet verplicht voor overheden en ook is de informatie 'niet compleet en ontoereikend'. De overheid wil bovendien dat algoritmes die worden gebruikt voor opsporing, defensie en inlichtingenverzameling, niet in het register hoeven te komen.

De kritiek van Amnesty komt niet helemaal als een verrassing. De inzet van algoritmes voor risicoprofilering staan al jaren hoog op de radar van het Nederlandse kabinet. Dat kwam grotendeels doordat het kabinet-Rutte III in 2020 viel over het toeslagenschandaal, waarbij de Belastingdienst discriminerende risicoprofileringsalgoritmes inzette. In het kabinet-Rutte IV, dat inmiddels demissionair is, zit een staatssecretaris voor Digitalisering. Alexandra van Huffelen is de drijvende kracht achter de algoritmetoezichthouder en het algoritmeregister, maar het aantal risicoprofileringsalgoritmes lijkt vooralsnog niet significant te dalen.

Reacties (84)

[Roy23]

Ik snap dat dit maatschappelijk gevoelig ligt, maar ik heb zelf niet persé een probleem met profilering. Dat doen we op allerlei vlakken en om een goede reden.
Als een bepaalde etniciteit vaker voorkomt in statistieken waarin je liever niet voorkomt kan je boos kijken naar het algoritme, maar dat voelt een beetje als het probleem niet onder ogen willen zien.

[Proliges]

Alleen dan moeten de statistieken wel kloppen. Nu worden mensen met bijv een niet nederlandse achternaam vaker gecontroleerd en dat lijdt derhalve ook tot meer vondsten. Dan klopt het statistisch wel, maar is de basis van je statistiek al niet goed.

In een straat met een flitspaal worden meer mensen geflists als in een straat zonder flitspaal.

[kiang]

Je zou denken dat mensen geleerd hebben van de toeslagenaffaire, maar jij bewijst dus dat dat niet het geval is.

Sterker nog, je juicht het toe dat we alleen maar harder gaan toepassen wat net de toeslagenaffaire veroorzaakt heeft.

Lekker bezig.

Edit: mensen gaan nu dus ontkennen dat de toeslagenaffaire een uiting van institutioneel racisme was. Prachtig...
Even voor de goede orde: in de toeslagenaffaire werden mensen van een niet-Nederlandse afkomst veel vaker geraakt dan mensen met van Nederlandse afkomst. Dat concludeert het college voor de rechten van de mens.

De voorgeschiedenis was racistisch: het was opgeklopte xenofobie, namelijk de Bukgarenfeaude. Die werd gebruikt om een buitenproportionele heksenjacht op buitenlanders te openen.
En de uitvoering was racistisch: simpelweg een dubbele nationaliteit hebben was een van de zwaarste factoren die bepaalde of je onterecht, zonder bewijs, als fraudeur werd aangemerkt.

Nu dus slap gaan lullen dat de toeslagenaffaire niets met racistische profileren te maken heeft is dus echt dikke vette onzin.

[Reactie gewijzigd door kiang op 23 juli 2024 15:01]

[bamboe]

Etnisch profileren hoeft niet fout te zijn maar het gaat er om hoe je daar mee omgaat. Je moet natuurlijk niet iemand vooraf veroordelen op entische achtergrond zonder bewijs, maar het is ook bekend dat er bij bepaalde etnische achtergronden procentueel meer criminaliteid plaats vind ten opzichte van andere etnische achtergronden. Ik vind het dan niet fout is om die bepaalde doelgroep wat vaker te controleren gezien de kans op het vinden van een overtredingen daar procentueel groter is.
Dat wil niet zeggen dat je de rest niet hoeft te controleren, maar ja van mij mag je bepaalde doelgroepen best wel wat meer controleren dan andere doelgroepen.

Bij de toeslagen affaire zijn er andere dingen fout gegaan, waaronder het niet geloven of accepteren van weerwoorden en bewijzen van de verdachten. De profilering die daar is toegepast is op zich niet fout en nog best wel logisch te vinden, alleen is de manier van aanpak na de profilering compleet fout gegaan waardoor onschuldigen schuldig verklaard werden. Dat heeft niets met profilering te maken die daar aan vooraf ging maar meer met een fout vervolgtraject na de profilering.

[Budha]

Wat jij zegt is dat burgers niet allemaal gelijk zijn voor de wet en mensen met een bepaalde etnische of culturele achtergrond meer in de gaten moeten worden gehouden omdat ze toevallig onderdeel uitmaken van die groep. Zie je zelf niet hoe zeer dat indruist tegen onze rechtsstaat?

[joker1977]

Je lijkt een beetje te zijn "getrapt" in het beeld wat er is geschetst dat het probleem de algoritmes waren. "The computer says no" - een beetje dat beeld en scenario.

De realiteit is natuurlijk dat er nog altijd na "selectie uit een algoritme" een opvolging plaats moet vinden waaruit blijkt dat de geselecteerde ook echt schuldig is aan het gestelde. En juist dát gebeurde niet goed bij de toeslagen-affaire.

Het is een mooie dekmantel, "ja maar het algoritme was de boosdoener". Welnee, er is gefaald in de hele keten, maar dan zouden er écht veel meer koppen moeten rollen en dat doen we (ook) weer niet.

[locke960]

Het is niet de profilering die bij de toeslagenaffaire het probleem was. Het was de opvolging.

Als er geen profilering was geweest dan was dit nog steeds gebeurd, alleen waren andere mensen het slachtoffer geworden. Kwantitatief zou precies hetzelfde gebeurd zijn.

[kiang]

....maar het gebeurde wel, en als gevolg trof de toeslagenaffaire voornamelijk mensen van niet-Nederlandse afkomst.

Nu een hypothetisch argument maken dat "mochten we niet racistisch hebben gehandeld dan was er geen racistisch beleid gevoerd", dat slaat nergens op en is nogal een non-statement.

Ik heb het hier over wat wel gebeurd is, en wat er wel gebeurde was ethnisch profileren dat leidde tot institutioneel racisme.

[centr1no]

wat er wel gebeurde was ethnisch profileren dat leidde tot institutioneel racisme.

Dat is niet logisch. Als er daadwerkelijk etnisch geprofileerd zou worden dan zou institutioneel racisme juist de oorzaak zijn.
Het profileren wordt hier echter pas etnisch profileren genoemd als blijkt dat mensen van niet-Nederlandse afkomst zich vaker ergens schuldig aan maken en daarvoor bestraft worden of er nadelige gevolgen van ondervinden.

Het is vrij apart dat het profileren op zich niet gezien wordt als iets slechts en iedereen het bewust of onbewust doet met zo'n beetje alles en iedereen, maar dat het opeens een probleem wordt als het met afkomst of huidskleur te maken heeft.
Een profiel heeft kenmerken en bij die kenmerken horen ook dingen als afkomst en uiterlijk. Het zou behoorlijk dom zijn om die kenmerken niet mee te nemen in onderzoeken omdat die nu eenmaal relevant kunnen zijn en de te definiëren groep behoorlijk kleiner kunnen maken.

Het profileren op afkomst of huidskleur bij voorbaat in de ban doen of racisme noemen zou er zelfs toe kunnen leiden dat specifieke groepen mensen minder vaak gecontroleerd of aangehouden worden.
Het simpele feit dat huidskleur of afkomst in nieuwsberichten al vaak niet specifiek genoemd wordt geeft al aan dat er schijnbaar niet gezegd mag worden dat er een maatschappelijk probleem is met bepaalde groepen en de kop in het zand steken is niet de manier om dat op te lossen.
En persoonlijk zie ik ook niet waarom we niet op z'n minst lichtelijk geagiteerd mogen zijn als steeds dezelfde groepen verantwoordelijk blijken voor een onevenredig hoog aantal vergrijpen en misdaden.

[kiang]

Het profileren op afkomst of huidskleur bij voorbaat in de ban doen of racisme noemen

Mensen anders behandelen op basis van huidskleur is letterlijk racisme. Bij definitie.

Je zegt nu dus dat je racisme heen racisme meer mag noemen. Lekker bezig!

[Deckkie]

Zonder een kant te kiezen in het hele profileren, vind ik wel dat de toeslagenaffaire anders in elkaar zit. Mensen die hele kleine fouten maken, of zelfs verkeerd werden ingelicht, werden als fraudeur bestempeld en moesten daardoor onmogelijke bedragen terug betalen.

[Skit3000]

Het zwaar bestraffen kwam voort uit een zaak waarbij een 'gastouderbureau' mensen van bepaalde komaf ronselde om op papier hun kinderen op te vangen, in ruil voor een deel van de opvangtoeslag. Dit bureau en deze (honderden, zo niet duizenden) ouders hebben hier flink van geprofiteerd en er (tien)duizenden euros aan overgehouden. Toen dit boven water kwam leek het misschien op profileren, maar uiteindelijk was het gewoon het afgaan van de klantenlijst van dit bureau. Een ander punt was de Bulgaren-affaire, waarbij letterlijk bussen vol mensen uit Bulgarije naar Nederland werden gereden om hier een krabbel te zetten voor een uitkering, om daarna met dezelfde bus weer naar huis te gaan.

Bij dat wat we nu de daadwerkelijke toeslagenaffaire noemen waarbij duizenden mensen na een foutje in de aangifte alle kosten terug moesten betalen, zijn deze mensen zelf niet gevonden via profilering, maar zijn ze wel gestraft door gedrag van mensen voor hen die duidelijk over eenzelfde "profiel" beschikten. Daarnaast is bij de afhandeling van de klachten wél sprake geweest van profileren.

Amnesty zegt dat de overheid de deuren open zet voor etnisch profileren, maar niet dat ze dat ook (bewust) doet. Het is dus vooral een (enorme) waarschuwing, dus ik hoop dat er iets gedaan kan worden met hun aanbevelingen.

In de VS is het trouwens andersom en zijn mensen verontwaardiging als hun etniciteit niet (juist) wordt meegenomen. Daar registreert de overheid dus ook gewoon nog zonder gemopper zaken als ras, religie en politieke voorkeur en kunnen mensen die registratie gebruiken voor allerlei voordeeltjes. Ik ben blij dat we daar in Nederland van af gestapt, als de politieke situatie in een land omslaat is zulke informatie in potentie levensgevaarlijk.

[MadX46]

Mensen snappen niet hoe het werkt. Mits goed toegepast is er niets mis met profilering. Als het goed is stel je een risico profiel op. De risico's waarvan je verwacht dat het hoog is steek je meer. Alle andere risico's steek je ook maar met een laag percentage. Na x-periode moet er een evaluatie plaatsvinden. We dachten dat een bepaald risico hoog zou scoren zien we dat ook. Zo ja dan handhaaf je het risico en neemt wellicht aanvullende maatregelen. Zo nee dan wordt het dus een laag of helemaal geen risico meer. We dachten dat een bepaald risico laag zou scoren klopt dat ook? Zo ja dan blijft het laag zo nee dan maken we er een hoog risico van en gaan we daar extra aandacht aan besteden.
Door die evaluatie kan er geen BIAS in de opzet blijven zitten. Voorwaarde dat het goed wordt toegepast. Een systeem kan goed trekken, personen zou ik het niet toevertrouwen.

Verder, als je in een hoog risico profiel past betekent dat niet dat je schuldig bent. Pas na controle kun je dat vaststellen.

[Littlemarc]

Niks mis hiermee als degene in het hoog risico er helemaal niks van merkt maar zo werkt dat dus niet. Mensen met een hoge risico classificatie moeten inboeten op hun levensgeluk wat erg onwenselijk is (en tegen de grondwet).

[MadX46]

Nee hoor, bovenstaande is niet tegen de grondwet.
Waarom zou jij inboeten op levensgeluk. We hebben het nog steeds over steekproeven, je bent niet altijd het haasje. Bovendien ben je ook niet schuldig als je wel getrokken wordt. En hoe vaak heb je hier mee te maken. Als ik persoonlijk in een hoog risico doelgroep zit en ik zou vaker worden gecontroleerd dan zou ik daar geen probleem mee hebben. Het zegt immers niets over mij. Blijkbaar is dat nodig.

In mijn beleving... als iemand hierdoor zijn levensgeluk minder wordt dan dan heeft die persoon hele andere problemen.

Stel er zijn 1000 personen die een subsidie van €1000 aanvragen. We kunnen 100 aanvragen controleren. We weten op basis van historische data dat een bepaalde duidelijk te definiëren doelgroep altijd fraudeert. Stel die doelgroep omvat 100 personen. Wat gaan we doen? Gaan we dan iedereen controleren, met tot gevolg dat we maar 10 fraude gevallen vinden, of gaan we de specifieke doelgroep controleren?

Stel nu eens dat het niet gaat om subsidies maar om gezondheidsrisico's. Gaan we dan iedereen controleren of de specifieke doelgroep?

En als jij nu 2 verschillende antwoorden hebt gegeven hoe zit dat dan?

Ik geloof overigens zondermeer dat de algoritmes niet altijd correct worden toegepast. Dat mag natuurlijk niet voorkomen.

[Littlemarc]

Vaker controles betekent dat ik minder tijd heb om mijn leven te leven en leuke dingen te doen.

Het gaat van mijn tijd af en ik leef niet onbeperkt lang dus wil het niet besteden aan dingen die me niet zinnen.

[MadX46]

Het is niet dat we geen controles willen of moeten uitvoeren. Het alternatief voor slim controleren is alles controleren. Als alles gecontroleerd moet worden ben je dus altijd het haasje en kost het je dus altijd tijd.

(De rijksoverheid is met ingang van het nieuwe Europese landbouwbeleid vorig jaar overgestapt van alles controleren op slim controleren. Voorheen moesten we van de EU heel veel / alles controleren. Dat leverde heel veel werk voor de boeren op. Nu gebeurd dat slim en bespaart dat veel tijd. Die evaluatie loop zit daar ook vol ingebouwd.)

[kodak]

Amnesty stelt niet dat het profileren op zich een probleem is. Ze leggen het probleem bij fout gebruik van macht en toepassen van etnische profileren bij het profileren, met te weinig tonen van verantwoording om dit te erkennen, voorkomen of stoppen.

Natuurlijk kun je van mening zijn dat iemand die een nut in profileren ziet dan maar niets geleerd zou hebben, maar dat lijkt me te makkelijk. Profileren is niet per definitie fout of ongewenst. We stoppen elkaar al eeuwen in hokjes om het over verschillen en gelijkenissen te kunnen hebben. Zoals bijvoorbeeld om te klagen over de politie of politieke voorkeur in het algemeen, of hoe goed of slecht mensenrechten door mensen in bepaalde landen toegepast worden. Het gaat vooral fout wanneer we daarbij opzettelijk wegkijken van de risico's en deze gaan bagatelliseren om macht te misbruiken of ander verboden gedrag te gaan/blijven toepassen.

[Michiel Jaeger]

Je moet blijven nadenken en niet het algoritme alles direct zelf helemaal laten uitvoeren. En de systemen niet te ingewikkeld maken zoals het hele toeslagengebeuren.

[Michiel Jaeger]

De Bulgarenfraude was toch echt? Dat is dan toch geen xenofobie? Als het een bepaalde mate van massaliteit heeft, dan moet je er toch wat tegen kunnen doen?

[Reactie gewijzigd door Michiel Jaeger op 23 juli 2024 15:01]

[kiang]

De Bulgarenfraude heeft ongeveer 4 miljoen euro gekost aan onterechte uitkeringen.

De toeslagenaffaire rechttrekken gaat ongeveer 8 miljard euro kosten.

In context: Nederland loopt jaarlijklijks naar schatting 22 miljard euro mis door belastingontduiking door bedrijven. Maar daar worden geen Kamervragen over gesteld door achuimbekkende rechtse populisten.

Doen alsof het geen racistische, xenofobe overreactie was is gewoon wiskundig te weerleggen: we kozen ervoor om een keiharde en ondoordachte overreactie uit te voeren, die nu 2000 keer meer kost dan de schade die we wilde tegengaan, en dat alleen maar omdat 'vieze buitenlanders pikken ons belastinggeld' politiek goed scoort: zelfs linkse partijen deden vrolijk mee.
Daarentegen wordt een schadepost van 22 miljard (TWEEËNTWINTIG MILJARD!) totaal genegeerd, want ja: zeggen dat je gesjoemel door bedrijven wilt aanpakken, daar krijg je geen opgehitst stemvee mee op de been.

[Reactie gewijzigd door kiang op 23 juli 2024 15:01]

[Michiel Jaeger]

Verreweg het beste is afschaffen van het hele toeslagensysteem en nastreven dat bedrijven belasting betalen.

[kiang]

100% eens: toeslagen is onzin, zorg gewoon dat kinderopvang voor iedereen goedkoop is, zelfde met zorg en huur. Scheelt heel veel administratie.

[ALittleTooLate]

Ik zou zeggen dat de toeslagenaffaire meer een kwestie was van een grote, logge instantie die burgers verpletterde.

[tweaker2010]

Je zou denken dat mensen geleerd hebben van de toeslagenaffaire, maar jij bewijst dus dat dat niet het geval is.

Sterker nog, je juicht het toe dat we alleen maar harder gaan toepassen wat net de toeslagenaffaire veroorzaakt heeft.

Lekker bezig.

De belastingdienst is politiek gedreven, alle burgers waaronder jijzelf die als hardste roepen creëren uiteindelijk dit beleid. Zij voeren enkel een opdracht uit.

[ArawnofAnnwn]

Het profileren was niet het probleem van de toeslagenaffaire. De gevolgen waren het probleem.

Je hebt een bepaald aantal mensen werken bij de belastingdienst (veels te veel al, maar goed), die moet je zo efficient mogelijk inzetten. Dat ze profileren is dus alleen maar goed, het vergroot de pakkans gigantisch, waardoor er in de toekomst inder fraude is.

Wat er daarna gebeurd is, waardoor meer dan 1000 kinderen bij hun ouders weggehaald zijn, er allemaal boetes gebaseerd op niets gegeven zijn, DAT was fout.

Profileren zodat je makkelijker fraudeurs en andere criminelen kunt aanpakken, is heel belangrijk. Het maakt het land veiliger. De hele bende automatiseren en mensen bestraffen zonder te kijken of het klopt, is heel fout. Dat is niet de schuld van automatiseren.

[kiang]

Het profileren was niet het probleem van de toeslagenaffaire. De gevolgen waren het probleem.

Oneens. De twee zijn onlosmakelijk aan elkaar verbonden: vanuit een racistische, xenofobe motivatie is het geheel tot stand gekomen: het racistisch profileren gekoppeld aan een meedogenloze aanpak. Voor die route was niet gekozen als bleek dat blanke Nederlanders voor 4 miljoen gefraudeerd hadden.

[Tintel]

Dan snap je dus nog steeds niet dat een algoritme dat op basis van correlatie(!) gaat optimaliseren tot ellende kan lijden. Dat is hetzelfde als zeggen: statistisch hebben we meer meldingen(!) gehad dat dikke mensen zijn gevallen. Dus dikke mensen kunnen niet lopen....

Je kan namelijk niet zeggen: als je huidskleur donker is dan ben je waarschijnlijk een crimineel - dat is namelijk de definitie van discriminatie. Statistieken zijn leuk maar geen bewijs voor deze stelling.

[tweaker2010]

Niet iedereen met een hoge BMI is te dik, maar alle dikke mensen hebben wel een te hoge BMI. Bedoel je zoiets?
Nog even en je gaat ontkennen wie er statistisch vaker bolletjesslikken en dus middels steekproef uit de rij gepikt worden want men kan nu eenmaal niet iedereen controleren. Welkom in de realiteit.

[delphium]

En wie slikker er dan vaker bolletjes? Zijn dat mensen met een laag inkomen? Mensen met een hoog BMI? Mensen met autisme, of juist neurotypische mensen? Of mensen met een andere huidskleur dan blank?

Zie je waar het misgaat? Correlatie is geen causaliteit. Helaas blijkt het merendeel van de mensheid niet instaat om dit simpele feit in te zien.

[HarmdBoer]

Het gaat dieper dan dat. Andersom geldt het natuurlijk wel: wanneer er causaliteit is, is er ook een correlatie. Het gaat om het mechanisme achter de cijfers.

De stelling moet eigenlijk zijn dat correlatie niet automatisch een causaal verband betekent en dat er daarvoor gekeken moet worden naar wat er nou precies gebeurt.

[Robbierut4]

Het is een probleem omdat de bron data niet objectief is, omdat racisme en discriminatie ook voorkomt bij normale opsporing. Alleen dat is een menselijke zaak en mensen beseffen steeds meer dat racisme en discriminatie niet oke is.

Zodra het algoritme eenmaal leert van de brondata zal die ook racistisch zijn, alleen kom je dan in een zelf versterkend effect terecht. algoritme is racistisch, vind misbruik, wordt bevestigd in het racisme en gaat daarin door.
En mist waarschijnlijk veel mensen met een andere etnische achtergrond, omdat hun pakkans dankzij het algoritme nog lager ligt dan voor die tijd.

[locke960]

Klopt, dan kun je een zelf versterkende feedback-loop krijgen.

Dat maakt profileren echter nog niet problematisch. Als je een naast het profileren ook een willekeurige steekproef doet, dan kan je de resultaten daarvan gebruiken om je profiel te corrigeren voordat het uit de hand loopt.

[divvid]

Niet alleen profileren. Vandaag in het lokale suffertje dat onze gemeente AI (whatever that may be, waarschijnlijk gewone ML) inzet voor het bepalen van de WOZ waarde.

Niemand weet wet de parameters zijn, misschien wel gemiddelde achtergrond van de bewoners in een wijk?

Of het uiteindelijk invloed heeft op de bepaalde waarde… geen idee. Wat ze nu presenteren is redelijk normaal

[timeraider]

Kijken alleen naar verkoopwaarde van vergelijkbare panden in de buurt en de staat/specificaties daarvan.
Mensen hebben een te grote pet op van de gemeente als ze denken dat hun meer moeite dan dat kunnen doen.... heeft ze al jaren gekost om te leren hoe ze al die data in een csv kunnen stoppen

[divvid]

Was overigens wél verdomd accuraat, dus in hoeverre het gebruik van AI/ML nou slecht is…

[Fermion]

Wel, niet eens met je. Profilering is een manier om bepaalde groepen vooraf te classificeren waarbij daar extra aandacht wordt opgelegd, met alle ellende die daarna erbij komt. Kijk maar terug naar de kinderopvangtoeslag affaire….

[Roy23]

Ik snap wel dat je met profilering ook mensen (in dit geval mensen) meeneemt in je profiel die feitelijk niets misdaan hebben.
Echter is profilering wel een effectieve methode om misstanden op te sporen.
Bij de douane op Schiphol (om maar een voorbeeld te noemen) wordt ook geprofileerd op verdacht gedrag. En lang niet iedereen die zich verdacht gedraagt blijkt uiteindelijk iets fout te doen.

Ik denk dat het veel belangrijker is wat je doet met de resultaten van je profielen; iemand is niet direct dader, maar je gaat in dat geval gedetailleerder kijken of er iets mis is.

Profilering moet natuurlijk ook niet de enige manier zijn om misstanden op te sporen, maar het mag van mij wel onderdeel zijn van een set aan mogelijkheden die je gebruikt.

Ik begrijp ook dat het voor mensen van een bepaalde etniciteit niet leuk is als je binnen een profiel valt waar vaker dan gemiddeld iets "mis" is/gaat. De autoriteiten moeten dus wel respectvol omgaan met de hetgeen dat uit de profilering komt.
Ik ben wel van mening dat etnisch profileren (mitsdien goed ingezet en niet iedere verdachte behandeld wordt als dader) gebruikt mag worden bij het detecteren van misstanden.

Ik heb zelf niet een bijster hoge opleiding gedaan. Ik zou het ook snappen als ik aan een profiel voldoe waar men kijkt naar opleidingsniveau, en dat men mij om die reden extra goed controleert.

[Ossi]

Hoewel dat in veel gevallen ook zo zal zijn, kan het wel degelijk zijn dat alleen bepaalde types gecontroleerd worden op specifieke zaken. Als je alleen die bepaalde types controleert, dan is het logisch dat die als enige voorkomen in de statistieken voor die specifieke zaak. Kip en ei zeg maar.

[MornixRS]

Dat is het probleem ook niet het gaat erom dat die juist vaak onterecht erin komen. In dat geval moet je juist wel boos naar het algoritme kijken. Daarbij hoor je niet als lid van een bepaalde etnische groep afgerekend te worden op het feit dat er ook mindere broeders zijn.

[tw_gotcha]

totdat je zelf 'slachtoffer' bent dan baal je ineens enorm. Studrnten werden door DUO geprofiled en enkele hebben de moeite genomen om naar de rechter te stappen, en dat was een jarenlang en enorm zwaar proces om van het label fraudeur af te komen. Profilering door een systeem betekent dat je in een database zit die weer gekoppeld is en dat kan echt nare gevolgen hebben, want de gebruikers van de algorithmes zijn niet kritisch en geloven er heilig in, of verschuilen zich erachter anders zijn ze verantwoordelijk. Dit zijn heel perverse systemen

[Roy23]

Maar je wordt niet als fraudeur bestempeld omdat je aan een profiel voldoet. Hier maak je volgens mij wel een grote fout.
Het profiel detecteert verdachten, en vervolgens worden verdachten beter onderzocht.
Pas als er echt fraude is vastgesteld word je als fraudeur gezien.
Grote probleem was vooral dat mensen ongenadig hard werden gestraft voor kleine overtredingen. En beroepen werden niet serieus genomen.

[tw_gotcha]

dat is toch niet zoals het in het nieuws kwam. Het bleek ontzettend moeilijk om onder die verdenking uit te komen met vergaande inbreuk in privacy. Jij moet je onschuld bewijzen ipv andersom want het algorithme heeft immers al beeijs geleverd. Ik ben hier heel sceptisch over.

[Xander2]

Er zijn tenminste 2 problemen met algoritmische profilering, ten eerste dat de lijn verdacht/schuldig wel erg dun wordt (zie toeslagenaffaire, computer says no).

Ten tweede self-fullfilling prophecy, het effect wordt sterker naarmate meer 'hits' gevonden worden waarmee je de statistieken en de volgende iteratie beïnvloedt.

Op zich gebeurde dat ook al zonder algoritmes en is etniciteit onderdeel van de statistieken (als ik statistieken etniciteit in gevangenissen mag geloven), het echte probleem is dat deze cyclus geautomatiseerd is en niet de mensen meeneemt die niet verdacht zijn.

De discussie etniciteit is verder weinig hulpzaam (behalve dat het wettelijk niet mag), een AI algoritme komt dan op een correlatie postcode met hetzelfde effect.

[Mit-46]

Ik heb veel last gehad in mijn begin twintiger jaren van ethnisch profileren. Werd soms wekelijks staande gehouden. Ik ben daarom van mening dat als iemand niets verkeerds heeft gedaan je deze persoon met rust moet laten en de overheid maar correcte manieren verzint om diegene die wel wat verkeerds hebben gedaan eruit te vissen zonder onschuldige mensen te benadelen. Hoe ze dat doen moeten ze zelf uitzoeken.
Ga je mensen lastigvallen die niets verkeerds doen dan ga ze zich mogelijk vanzelf misdragen.

[MennoE]

Tsja, 'dat moeten ze zelf uitzoeken'. Maar dat lukt niet, en de gehele samenleving ondervindt daarvan de gevolgen. Overigens ben ik ook niet voor etnisch profileren. Het lijkt mij heel vervelend voor iemand zoals jij dat mensen bij voorbaat vermoeden dat je intenties niet goed zijn. Een goede oplossing is er volgens mij gewoon niet.

[Michiel Jaeger]

Misschien langduriger straffen uitspreken, zodat er minder recidive kan zijn.

[komododraak]

Mee eens. Ik verwacht van elke instantie dat ze nadenken bij wat ze doen. Tegenwoordig heet dat profileren. Niet profileren betekent echter tijd verspilling en onnodig lastig vallen van mensen waarvan je vooraf al weet dat t waarschijnlijk zinloos is.

[MicaLovesKPOP]

Het eerste wat ik dacht was ook "Maar dit is toch juist veel beter dan dat je mensen dit laat doen, die (onbewust) toch racistische trekjes hebben.". Verder lezende denk ik echter wel dat controle en verantwoording een goede zaak is. Ik denk dat de inleiding van het artikel een beetje misleidend is.

[dl658]

Als ze het inzetten betekent dit toch dat het nodig is, wat is het probleem juist?

[B Tender]

Dat de overheid algoritmes inzet betekent niet persé dat het ook nodig is. Wanneer de overheid (of een privé-persoon) geweld inzet betekent ook niet persé dat het nodig is om geweld in te zetten. Mogelijk zijn er ook andere minder ingrijpende middelen om het doel te bereiken, of is het te bereiken doel uberhaupt niet gerechtvaardigd.

Met uw redenering zou de overheid nooit fout kunnen doen?

NB: Ik ben in beginsel geen tegenstander van het gebruik van algoritmes, integendeel. Wel vind ik het van belang om de definitie van de term 'algoritme' heel duidelijk te kaderen. Afhankelijk van de invalshoek cq definitie kwalificeert elk VLOOKUPje in Excel al als algoritme...

[Reactie gewijzigd door B Tender op 23 juli 2024 15:01]

[Tintel]

Zodra een algoritme op statistieken is gebaseerd en deze zelfde statistieken 'voedt' zal het dus een hele sterke bias ontwikkelen. Daarom is het een slecht idee.

[CobraVE]

Waarom zou het een slecht idee zijn om een algoritme te baseren op feiten (statistieken)?

Als bepaalde groepen/bevolkingslagen oververtegenwoordigd zijn kunnen we wel allemaal ongemakkelijk gaan doen en met opzet zo breed mogelijk (en dus de verkeerde kant op) gaan zoeken. Maar dit is pure verspilling van resources en helpt niemand behalve het eigen gevoel van rechtvaardigheid.

[Tintel]

Het idee daqt het versplilling van resources om iedereen te onderzoeken d.m.v. een - zeg iets raars - automatische controle, is toch onjuist? Het idee dat minder moeite willen doen maar het mogelijk fout doen is gewoon luiheid. Die statistische gegevens komen notabene uit dezelfde onderzoeken.... ergens moet iemand toch inzien dat dit niet klopt....

[CobraVE]

Volgens mij verzamelt CBS de statistieken sowieso, gebruik die weer in een algoritme en laat dat draaien. Dit is niet veel extra moeite/resources.

Echter de CBS data pakken, negeren en dan de controles blankedly uitvoeren op iedereen kost extra moeite/resources aangezien je veel wijder aan het zoeken bent dan nodig.

Klopt als een bus.

[CivLord]

Bv. de Belastingdienst gebruikt algoritmes om binnekomende belastingaangiftes te beoordelen op juistheid en vreemde zaken. Daarmee stoppen betekent óf grootschalige fraude accepteren óf tienduizenden extra ambtenaren aannemen om alle aangiftes handmatig te beoordelen. In het laatste geval heb je een ook een grote kans op bias en willekeur (los van het feit dat je die extra mensen gewoon niet kan vinden).

Het gebruiken van een algoritme op zich is niet verkeerd. Je moet alleen zorgen dat er geen (verborgen) bias in zit en dat er bij een signaal vanuit het algoritme niet meteen automatisch van fraude wordt uitgegaan.

[wildhagen]

Ja, vraag dat maar aan de slachtoffers van het SyRi-schandaal (zie nieuws: Overheid stopt met controversieel frauderisicoalgoritme SyRI), die dus tegen de Europese Rechten van de Mens in gingen.

En wat de Toeslagenaffaire voor gevolgen gehad heeft kan je af en toe in het nieuws ook nog volgen.

Daar heb je dus het antwoord op "wat is het probleem?"....

De intenties zijn ongetwijfeld goed, maar dit zijn al 2 high-profile zaken waarbij de praktische uitwerking aanzienlijk minder fraai is uitgepakt, en waar mensen zwaar door gedupeerd zijn met enorme gevolgen.

[Ruben26]

Waarom ging het algoritme bij die onderzoeken die bepaalde kant uit? Was dat omdat de invoer dubieus was of omdat het algoritme een verband vond?

[nestview]

Waarom ging het algoritme bij die onderzoeken die bepaalde kant uit? Was dat omdat de invoer dubieus was of omdat het algoritme een verband vond?

Ik denk niet dat je deze vragen nog relevant vind, als je tot over je oren in de schulden zit, je huis kwijt raakt of zelfs je kinderen uit huis worden geplaatst omdat de overheid met oogkleppen op beleid uit voert naar aanleiding van zo'n algoritme dat je onterecht als fraudeur heeft bestempeld.

[Reactie gewijzigd door nestview op 23 juli 2024 15:01]

[Ruben26]

Is dat niet juist de valkuil van de mens? Zoeken naar andere verbanden,.... omdat het gevonden verband politiek onwenselijk is..

[tw_gotcha]

nee, ik denk omdat de gebruikers in eerste instantie er helemaal in geloven want het neemt ze een hoop werk uit handen, en later als het flink fout zit verschuilen ze zich erachter dat het systeem de schukd krijgt.

[Tintel]

of omdat het algoritme een verband vond?

Dat is dan toch niet meteen een casuaal verband? En dat is precies het probleem. De meeste vogels vliegen....dus statistisch waar maar toch.... we weten wel beter.

[Ruben26]

Dus het is altijd geen causaal verband?

[CivLord]

De toeslagaffaire is niet door risicoprofilering door een algoritme ontstaan.
Het is ontstaan doordat na de Bulgarenfraude harde wettelijke bepalingen zijn ingevoerd om fraude te bestreiden, waarbij kleine foutjes voldoende waren om achteraf een heel jaar toeslag terug te vorderen. Bv. wanneer een adviesbureau was ingeschakeld om een toeslagaanvraag te behandelen en de ouder de eigen bijdrage voor kinderopvangtoeslag wel naar dat adviesbureau had overgemaakt, maar dat adviesbureau die eigen bijdgrage niet naar de kinderopvang overmaakte.
Daarnaast is het een politieke keuze geweest om bij een terugvordering boven een bepaald bedrag standaard fraude aan te nemen, tenzij het tegendeel bewezen is. En wanneer fraude wordt aangenomen is er geen recht/ toegang tot bemiddeling of betalingsregelingen.
Dat zijn politieke keuzes die losstaan van wat voor risicoselectie of profilering dan ook. Dhr. Omzigt stond daar 100% achter toen die keuzes werden gemaakt, totdat de veroorzaakte problemen aandacht kregen in de media op een moment dat het hem goed uitkwam om zich te profileren op partijleider van het CDA te worden.

[Timmiejj]

Dus als de overheid volgende week jou een brief stuurt dat je een transcript van al je prive communicatie moet delen met de overheid dan doe je dat gewoon, want als ze er om vragen zal het wel nodig zijn toch?

[TheVivaldi]

Laat me raden: je hebt liever dat Amnesty zich op andere landen stort, waar mensenrechten veel meer in het gedrang zijn? Dat was namelijk ook de eerste reactie die ik verwachte toen ik de reacties aanklikte. Zo gaat het altijd hier: “ja maar in land xyz is het erger, dus we moeten niet zo op ons eigen land focussen”. Waar ik het overigens niet mee eens ben, laat dat duidelijk wezen.

[cariolive23]

Als ze het inzetten betekent dit toch dat het nodig is

Met die redenering kun je álles goedpraten. Wanneer ik bij jou inbreek en jouw computer steel, dan zal het wel nodig zijn. Toch?

Probleem is dat de modellen worden getraind op data mét bias. Vervolgens gaat zo'n model in productie en gaat voornamelijk mensen (!) aanwijzen op basis van deze bias. De overheid staat er om bekend dat ze ook namen en etnische achtergrond meenemen in hun modellen, hét recept voor discriminatie. En omdat je dan géén Jansen heet en jouw opa niet in Nederland is geboren, wordt jij keer op keer er uit gepikt voor extra controles. Na 10x ben je dat zat en geef je een willekeurige agent een grote bek, krijg je een bekeuring, en ja hoor, zie je wel! Mensen die géén Jansen heten en waarvan de opa niet in Nederland is geboren, begaan vaker overtredingen.

Sturen op "succes".... Of zullen we het gewoon maar "falen" noemen?

[CobraVE]

*OF* de data heeft geen bias maar is simpelweg een statistische weergave van de realiteit.

Data laat keer op keer zien dat bepaalde bevolkingsgroepen en bepaalde bevolkingslagen nu eenmaal over vertegenwoordigd zijn op het crimineel vlak. Kan je wel "Bias!" gaan gillen maar dat veranderd niks aan de feiten.
Als de politie hierop reageert door een subset (die statistisch gezien over vertegenwoordigd is) beter te controleren, is dit volkomen logisch en gewenst.
Politie is er om te handhaven en als tools met datasets gebaseerd op de feiten hierbij helpen, dan is dat gewenst.

Sociaal werkers etc. zijn er om de onderliggende factoren te verhelpen waarom deze groepen over vertegenwoordigd zijn.

Dit is geen discriminatie en heeft hier ook niets mee te maken, het is puur inspelen op de realiteit.

ps: Iedereen die de politie een grote bek geeft krijg op zijn donder, je hebt je maar te gedragen. Jij beslist niet of de politie gelijk heeft of niet op het moment dat ze je aanspreken. Op dat moment luister je gewoon en gedraag je je.

[Ruben26]

Wellicht is Amnesty International bang dat de uitkomst ongewenst is. Daarbij vraag ik me af of ze net zo bang zijn voor een uitkomst die wijst naar een opmerkelijk aandeel van meerderheden als van minderheden....

Ik vind het goed dat de valkuilen goed worden benoemd maar tegelijk hoop ik dat dit niet een gemiste kans wordt om een objectieve(re) uitkomst te krijgen zonder een politiek bias. Bij het invoeren van de input dient de controle goed en objectief te zijn en áls dat is gebeurd dan hoop ik dat de uitkomst dan ook serieus wordt genomen (ook als die politiek ongewenst/incorrect is).

[herpiederpienow]

Van mij mag de overheid best wel gebruik maken van algoritmen ten behoeve van risicoprofielering, maar zoals ik wel vaker zeg moet het politieke en ambtelijk apparaat zich niet blindstaren op wat er uit die algoritmen komt rollen. Ten eerste is de maatschappij aan ontwikkelingen onderhevig, dus zouden de algoritmen dat ook moeten zijn. Daarnaast moet er ook op andere manieren aangetoond worden dat er daadwerkelijk iets onwenselijks van toepassing is. Men dient er in eerste instantie altijd van uit te gaan dat men te maken heeft met een false positive.

Helaas is het precies daar behoorlijk fout gegaan in zaken als de toeslagenaffaire die ook hier weer wordt aangehaald. Ik weet niet of meer budget per se helpt om dat te voorkomen. De ombudsman is in de toeslagenaffaire ook gewoon genegeerd, maar sowieso lijkt meer budget voor toezichthouders een wenselijk iets.

[Tintel]

Men dient er in eerste instantie altijd van uit te gaan dat men te maken heeft met een false positive.

Dat helpt een beetje maar het lost dus niet op dat een deel van de bevolking dus niet gecontroleerd wordt. Er is namelijk alleen maar een statistisch gegeven. Je kunt nooit stellen dat persoon type X, een hogere kans heeft om crimineel te zijn. Dat verband is nooit bewezen. Dus gebruikt men statistiek en omdat dit zichzelf versterkt gaat het mis. Er is tenslotte geen statistiek bekend van een controle groep waarin iedereen wordt gecontroleerd.

[wildhagen]

Verschillende toezichthouders moeten daarom volgens Amnesty meer bevoegdheden en vooral 'voldoende capaciteit' krijgen om onderzoek te doen naar de inzet van zulke algoritmes en om eventueel op te treden bij overtredingen. Amnesty noemt onder andere de Autoriteit Persoonsgegevens, maar ook de Ombudsman en het College voor de Rechten van de Mens.

Helemaal mee eens.

De Autoriteit Persoonsgegevens heeft sinds begin vorig jaar een afdeling die toezicht houdt op algoritme-inzet, maar krijgt daar lang niet genoeg geld voor.

En hier zie je het al meteen fout gaan.... de AP heeft nu al onvoldoende mankracht (en onvoldoende budget om mankracht in te huren) om toezicht te houden, dus wat daar in de praktijk van terecht komt, kan je minstens je vraagtekens bij stellen.

Ik hoop dat dit geen herhaling van het SyRi-schandaal of de Toeslagen-affaire gaat worden op deze manier.

[CivLord]

Een gebrek aan budget is altijd een makkelijke excuus. Maar met extra budget is het probleem niet meteen opgelost.

Stel er werken nu 50 medewerkers, waar ook voldoende budget voor is. Om al het werk goed uit te kunnen voeren zijn echter 100 medewerkers nodig, maar daar is dus onvoldoende budget voor.
Wanneer ze morgen voldoende budget krijgen voor 100 medewerkers, is daar het probleem morgen mee opgelost? Nee. want ze moeten die 50 extra medewerkers eerst aannemen en het is maar de vraag of er op korte termijn voldoende mensen op de arbeidsmarkt beschikbaar zijn voor dat werk. Daarnaast is het gespecialiseerd werk, dat een nieuwe medewerker niet meteen uit kan voeren zonder ingewerkt te worden. En deze nieuwe medewerkers moeten niet alleen ingewerkt worden, maar ook langere tijd begeleid worden door de bestaande medewerkers, die daardoor minder productief zijn. Dus wanneer je nu voldoende budget beschikbaar maakt om met een grote wervingscampagne 50 nieuwe medewerkers aan te trekken zal je dus eerst een lange periode hebben dat er effectief minder werk wordt verricht dan voorheen door 50 medewerkers, voordat de investering in extra budget effect zal krijgen. Het is veel effectiever om het budget stapsgewijs te verhoegen om per jaar een paar extra medewerkers aan te kunnen nemen.

[Meteen]

Als de politie op snelheid van auto’s controleert, doen ze dat natuurlijk beter aan een doorgaande weg die uitnodigt tot hard rijden dan aan een zandweg. En een snelle sportauto zal eerder op snelheid gecontroleerd worden dan een oud Dafje. Omdat de kans op een overtreding groter is. Of mag de politie geen gezond verstand gebruiken? Maw waar gaat slim werken over in discriminatie?

[Proliges]

Zetten ze de flitspalen uit als er een suzuki alto uit 95 langs komt ofzo? En als de politie 'handmatig' controleerd zoals bijv in wegmisbruikers dan wordt er eerst geconstateert dat iemand bijzonder rijgedrag vertoond voordat er een meting wordt gedaan.

De politie mag best gezond verstand gebruiken, maar als je algoritmes handmatig gaat sturen op basis van politiek (Bulgaren fraude in het specifiek) en daarbijbehorende discriminerende maatregelen omdat het politiek goed scoort dan heb je de grens al wel gevonden lijkt me.

[Djeepman]

Gelijk heb je, als het doel en de manier waarop transparant en duidelijk is.

[HADES2001]

Blijf hier altijd een beetje een dubbel gevoel over hebben. Aan de ene kant zou je zeggen dat met het grote personeelstekort risicoprofilering een groot voordeel kan geven. Iemand met een uitkering en huursubsidie die opeens een splinternieuwe BMW koopt van 60k, ja dan snap je snel genoeg dat daar iets niet klopt. (ook een vorm van profilering)
Andere kant is weer hoeveel onderzoek word er gedaan naar die algoritmes? kloppen ze echt of werken die zoals die oude zelflerende chatbots die binnen 24 uur zoveel "geleerd" hadden dat ze de complete mensheid wilden uitroeien? En slaan we niet te ver er in door en moet er gewoon besloten worden dat mensen handjes/ogen erbij nodig zijn om hier goed op in te spelen. (EDIT ik bedoel hier erkennen dat er te weinig personeel is en dat je dat niet oplost met meer algoritm /EDIT)

Denk zeker dat een vorm van risico profilering kan helpen om de makkelijk te vinden problemen in de maatschappij eruit te halen, maar geloof gewoon niet dat die algoritmes zo perfect zijn dat we ze maar blind kunnen vertrouwen

[Reactie gewijzigd door HADES2001 op 23 juli 2024 15:01]

[CobraVE]

Ik snap de ophef wel een beetje maar het is ook heel simpel:
Als er vanuit bepaalde groepen van de bevolking een hoger risico uitgaat (wat statistieken onderbouwen) is er geen probleem met profilering.
Zolang men uitgaat van feiten en statistieken is het namelijk gewoon logisch en gewenst.
Het is onzinnig om capaciteit te verkwanselen met breed zoeken wanneer dit niet nodig is. Die capaciteit kan beter zinnig en effectief ingezet worden.

Er is de laatste jaren een trend gaande om statistieken via alternatieve lenzen te interpreteren om maar te vermijden dat we de koe bij de hoorns moeten vatten. Maar vroeg of later gaat dit enkel maar voor meer problemen zorgen.

Noem het beestje bij zijn naam en ga van daaruit de oorzaak aanpakken. Niet de symptomen zoals steigeren tegen profilering.
Wanneer je namelijk door risico profilering constateert dat er daadwerkelijk dingen gebeuren die niet door de beugel kunnen, in hogere maten bij bepaalde bevolkingsgroepen, is dit geen racisme maar simpelweg constateren van feiten. Onwelgevallig feiten voor sommige, maar feiten niettemin.

[Geekomatic]

Eens,
Profileren moet gewoon kunnen op de legaal beschikbare informatie,
en daarin hoeven van mij geen uitzonderingen gemaakt de worden
om bepaalde aspecten niet te gebruiken. (bv etniciteit).
.
Gewoon gebruiken wat statistisch aantoonbaar objectief werkt.
Zonder "discriminatie" tav de kenmerken vooraf.