AP stelt onderzoek in naar DUO voor discrimineren bij fraudecontrole

De Autoriteit Persoonsgegevens stelt een onderzoek in naar hoe de Dienst Uitvoering Onderwijs fraudecontroles uitvoert. Volgens onderzoek van NOS op 3 en onderzoeksplatform Investico zou DUO in sommige gevallen discrimineren, wat de overheidsdienst tot dusver ontkent.

Het onderzoek van de AP moet uitwijzen of DUO studenten met een migratieachtergrond inderdaad onevenredig vaak beschuldigt van fraude met hun studiefinanciering. Dat concludeerde NOS op 3 en Investico namelijk op basis van eigen onderzoek, waarvoor tientallen advocaten van studenten die beschuldigd werden van fraude werden ondervraagd.

In een statement tegenover de omroep zegt de AP dat er gekeken wordt naar 'de verwerking van persoonsgegevens in algoritmes'. DUO gebruikt namelijk sinds 2012 een algoritme voor de opsporing van vermeende fraudeurs. Hiervoor verwerkt het algoritme door de dienst bepaalde risico-indicatoren om potentiële fraudeurs op te sporen. Wanneer iemand vervolgens als dusdanig wordt aangemerkt, start de studiefinancieringsdienst een daadwerkelijk onderzoek waarbij controleurs huisbezoeken doen en verklaringen van betrokkenen afnemen.

Minister Robbert Dijkgraaf van Onderwijs zei eerder al dat hij de vermeende discriminatie van studenten met een migratieachtergrond grondig wilde nagaan. DUO zelf zei: "Bij ons is niet bekend wat de achtergrond van een student is, daar selecteren wij niet op."

Het is niet voor het eerst dat een Nederlandse overheidsdienst beschuldigd wordt van het discrimineren van bepaalde groepen op basis van een algoritme. Afgezien van een mogelijk discriminerend algoritme voor visumaanvragen past ook de toeslagenaffaire in dit rijtje, waarbij de Belastingdienst in meerdere gevallen op basis van persoonskenmerken heeft geselecteerd wie van fraude verdacht zou worden.

Reacties (265)

[BiaggioLuciano]

Het verbaast me dat veel mensen hier gelijk overtuigd zijn dat DUO niets verkeerd heeft geen, zeker na de toeslagenaffaire. Er zijn meerdere manieren waardoor DUO de data (per ongeluk) gelijk maakt aan vooroordelen:

• Te veel data als input

Denk aan onnodige opgeslagen data zoals naam en postcode van ouders bijvoorbeeld. Naam is onnodig omdat het niet specifiek is. "Mohammed" is waarschijnlijk wereldwijd de meest populaire naam. Als je 5% van de wereldbevolking pakt zal een groot deel die naam hebben.

• Onafhankelijke kans verwarren voor afhankelijke kans

Stel er zijn drie groepen (A, B, C) waar ieder individu auto heeft
Onafhankelijke kans van 1/3 houdt in dat over de hele populatie(A+B+C) 1/3 een rode auto heeft. 1/3 van A heeft een rode auto, 1/3 van B heeft een rode auto, en 1/3 van C heeft een rode auto.
Een afhankelijke kans van 1/3 houdt in dat een er een andere kans aan verbonden aan zit. Dus er is een 1/3 kans op een blauwe auto, in populatie B. 1/5 in populatie C, en 0 in A. Met steekproeven kom je hier niet achter en dit is waarschijnlijk waar het algoritme de mist in is gegaan. Zeker wanneer je een zelflerend algoritme er overheen gooit.

Stel iedere populatie heeft 10 personen. Er is een onafhankelijke kans van 1/3 op een groene auto. Dus 10 in de hele populatie van 30. Maar er kan geen 3 keer 1/3 persoon een groene auto hebben dus een populatie krijgt 1 groene auto meer. De andere twee behouden 3 groene auto's.

In dit voorbeeld: pop A heeft 4 groene auto's en B en C 3 groene autos. Bij een volgende steekproef, na een periode waarbij groene auto's volop werden verkocht, wordt er meer gekeken naar pop A, want die hadden al meer. Met de weging aanpassing worden er 4 steekproeven gedaan in A, en 3 in B en C. Kans op meer in A is groter en dus de volgende keer, krijgen ze weer een grotere focus voor steekproeven. Dit eeuwenoud probleem is een self-fulfilling prophecy en moet dus goed mee uitgekeken worden.

• Te veel vertrouwend op oudere data

Er wordt voornamelijk met bekende data gewerkt. Mensen die gepakt zijn, en onderzocht. Mensen die wijs genoeg zijn om te ontsnappen aan controle of op de lijn van de wet zitten, worden niet onderzocht en komen dus niet in het oog. En de focus zal dus weerlegd worden naar de meer zekere variabelen.

• Sociale situatie/noodzaak

Geen technische punt, maar wel belangrijk: een algoritme kijkt niet naar waarom, maar alleen naar waar. Iemand die uitwonend maar toch voor bijvoorbeeld mentale hulp naar huis moet, wordt sneller aangemerkt dan iemand die het spelletje actief kan doorspelen. Laat het nu ook zo zijn dat als men minder weet heeft van de wet door moeite met taal of hulp krijgen, ben je meer geneigd om gepakt te worden.

• Mogelijk verkeerde conclusies

De daders mogen best gepakt worden, maar een zelflerend algoritme kan dat ook met de verkeerde argumentatie doen. Voorbeeldstellingen: Conclusie: de zoon beweegt. Argument: De zon rolt over de aarde. Conclusie: koningsdag is een feestdag. Argument: er worden volop feestjes gevierd.

Vice versa ook mogelijk, met correcte argumentaties verkeerde conclusies bereiken.

Dus tja, laat AP DUO maar onderzoeken, en hopen dat er niet mensen onterecht de sjakie zijn.

[Keypunchie]

Er zijn meerdere manieren waardoor DUO de data (per ongeluk) gelijk maakt aan vooroordelen:

Hele sterke argumenten. Maar de waarheid is nog ontluisterender. Er *is* helemaal geen data gebruikt.

Een algoritme en risicoprofiel moeten Duo helpen fraudeurs aan te pakken, besluit minister Plasterk in 2009. Maar waar begin je als je niet weet wie fraudeert en wie niet? Hij besluit een ‘workshop risicoprofiel’ te organiseren, waarin betrokken partijen van ‘gedachten wisselen’ over ‘de mogelijke kenmerken’ van het algoritme. Daarna gaat het snel. Duo geeft een voorzet voor een ‘voorlopig risicoprofiel’ en stuurt handhavers langs bij de hoogrisicoadressen. Bij veertig procent van de gecontroleerde adressen blijkt er sprake van misbruik. ‘Het risicoprofiel lijkt derhalve adequaat’, concludeert Plasterks opvolger in 2011. Sindsdien zijn de indicatoren vrijwel ongewijzigd gebleven.

Uit: https://www.groene.nl/art...ocial&utm_source=linkedin

Dit is alles. Geen validatie, geen controlegroep, geen analyse. Gewoon met wat ambtenaren om tafel brainstormen over wat mogelijke kenmerken zijn en gaan.

[Reactie gewijzigd door Keypunchie op 23 juli 2024 15:06]

[nDust]

En jij denkt dat deze 'verdachte kenmerken' geen biased resultaten opleveren?

Dit soort algoritmen zijn ontzettend lastig. Bias is bijna niet uit te sluiten. Ookal worden de resultaten van het algoritme alleen gebruikt om een voorselectie te maken, want de voorselectie zal wel degelijk invloed hebben op wie er straks gekozen worden voor controle.

Je kan wel controleren op bias, maar dat vraagt weer het bijhouden van allerlei gevoelige gegevens. DUO zegt zelf dat ze de afkomst van de gecontroleerden niet wisten. Ze hadden daarom geen idee dat 97% van de gecontroleerden een migratieachtergrond had.

Als je het mij vraagt kan je beter compleet random selecteren. Dan heeft iedereen even veel kans om gecontroleerd te worden. Hoef je ook niet tonnen belastinggeld te besteden aan het ontwikkelen en onderhouden van een algoritme dat mogelijk discriminerend is.

[Thomas18GT]

Dan ga je tonnen aan belastinggeld besteden aan controles die weinig effectief zijn.

Je gaat ook geen onderzoek doen naar uitkeringsfraude in een villawijk, het is veel effectiever om dat in Rotterdam te doen. Maar dat zal ook wel weer discriminatie zijn tegenwoordig.

[nDust]

Je gaat geen onderzoek doen naar uitkeringsfraude in een villawijk, tenzij daar mensen wonen met een uitkering. Dus in deze casus zou je random selecteren uit de groep van mensen met een uitkering. Als het goed is komen mensen die wonen in villawijken daar niet in voor.

Als je in een villawijk woont met een uitkering lijkt mij dat eigenlijk best verdacht

Dat die random controles niet effectief zijn vraag ik me echt af. Het is bij ieder repressief algoritme het ten minste wel waard om te kijken of het algoritme beter presteert dan random controle.

[Thomas18GT]

En als nou uiteindelijk uit juist uitgevoerde wetenschappelijke onderzoeken blijkt dat mensen uit groep-X vaker frauderen.

Is het dan toegestaan om die groep vaker te controleren?
Moet dan openbaar gemaakt worden dat groep-X vaker fraudeert en daarom vaker wordt gecontroleerd?
Of mag instantie-Y die groep simpelweg vaker controleren zonder hier iets over te communiceren?

[nDust]

Dat lijkt me methodologisch wel te verantwoorden. Of de politiek het oké vind, dat is een andere vraag.

Ik zou dan in ieder geval wel elke X-aantal jaar de boel helemaal opnieuw her-ijken omdat de populatie fraudeurs over de jaren heen waarschijnlijk zal veranderen.

[sympa]

Dat mag dan nog steeds niet als het gaat om afkomst, huidskleur, geloof of geaardheid.
Gebruik dan maar financiële transacties in een buitenland, bezoek aan een specifiek congres als indicatoren.

[Thomas18GT]

Als blijkt uit wetenschappelijk onderzoek dat de kans veel groter is dat wanneer iemand een specifiek congres bezoekt fraudeert, lijkt me dat een prima indicator.

Als uit wetenschappelijk onderzoek blijkt dat "armen" vaker frauderen, lijkt me dat ook een prima indicator.

Dat "armen" bijna 5 keer zo vaak een niet-westerse migratieafkomst hebben, staat daar volkomen los van.

Effect is wel dat als je "arm" als indicator gebruikt, wat prima zou moeten kunnen, je dus niet-westerse migranten bijna 5 keer zo vaak controleert. Is dat dan discriminatie?

Als dit discriminatie is, en dat mag natuurlijk niet, mag geen een selectie, dus ook niet jouw financiële transacties of specifieke congres bezoekers.

[Reactie gewijzigd door Thomas18GT op 23 juli 2024 15:06]

[sympa]

Klopt helemaal, en dan is er een verschil tussen het gebruik van inkomen (relevant bij financiële zaken) en dingen die erbijgehaald worden omdat ze bij ons ongebruikelijk zijn.

[Chrono Trigger]

Een ethisch vraagstuk waarbij wat mij betreft de voorwaarde moet bestaan; zolang je voor bijna 100% kan voorkomen dat mensen onterecht geprofileerd gaan worden. Dan hoop je maar dat er een commissie is die zich heeft gebogen over de toeslagenaffaire en de getrokken lering hier kan inzetten. Want problemen zijn er op zich wel. Zonder populistisch van aard te zijn kan ik bevestigen dat o.a. de stufipot een inkomstenbron is voor mensen die vooral niet in Nederland zijn. Denk overigens dat je moreel gezien beter een sinterklaas voor de aardbol kan zijn dan een corrupte profiterende politicus in een toch al arm Afrikaans land, maar dit is niet duurzaam te bedrijven voor ons land.

[SJCE]

Dat wetenschappelijk onderzoek is gebeurd. Als je dat zou gebruiken onderzoek je voorlopig helemaal geen uitkeringsfraude, maar alleen maar aanbestedings- en belastingfraude.

[jeroen79]

Uitkeringsfraude onderzoek je onder uitkeringstrekkers.

Als niemand in de villawijk een uitkering heeft dan valt daar natuurlijk niets te onderzoeken.
Maar wat als er wel mensen met een uitkering in de villawijk zijn?
Hoeven die dan niet te worden onderzocht omdat mensen die in villa's bovengemiddeld eerlijk zijn?
Of moeten die dan juist wel onderzocht worden omdat het bewonen van een villa en een uitkering nodig hebben een vreemde combinatie is?

[Darkstriker]

Nee, in een villawijk doe je geen onderzoek naar uitkeringsfraude omdat er geen uitkeringen zijn. In een villawijk doe je onderzoek naar belastingfraude.

Maar je argument is natuurlijk volstrekte onzin want onderzoek naar fraude met iets dat iemand niet ontvangt is zeker niet wat mensen hier eisen. Wat ze eisen is dat je op een degelijke en niet op basis van afkomst of huidskleur gebaseerd onderzoek doet naar fraude onder de populatie die de ondersteuning wel ontvangt.

[Thomas18GT]

Nee, in een villawijk doe je geen onderzoek naar uitkeringsfraude omdat er geen uitkeringen zijn. In een villawijk doe je onderzoek naar belastingfraude.

Dan zijn we er toch

De "rijken" worden vaker gecontroleerd op belastingfraude en de "armen" vaker op uitkeringsfraude.

Arme mensen in Nederland hebben nu eenmaal vaker (bijna 5 keer zo vaak) een niet-westerse migratieafkomst. Logisch dat die ook bijna 5 keer zo vaak worden gecontroleerd dan toch?

[Darkstriker]

Mawh, studiefinanciering krijgen kinderen van armen niet vaker dan kinderen van rijken. Aanvullende beurs wel, maar daarom gaat het hier helemaal niet. Dus die scheve verdeling in de beginpopulatie is helemaal niet gegeven. Sterker nog, het zou me niks verbazen als de kinderen van rijke (westerse) mensen juist oververtegenwoordigd zijn in de groep die een uitwonenden beurs krijgt.

[Reactie gewijzigd door Darkstriker op 23 juli 2024 15:06]

[sympa]

Als ik uitkeringsfraude moest onderzoeken dan zou ik beginnen met de lijst van mensen met een uitkering.
Of het om een villawijk gaat zou niet in me opkomen. Het aantal bankrekeningen dat iemand heeft misschien wel.

[Keypunchie]

En jij denkt dat deze 'verdachte kenmerken' geen biased resultaten opleveren?

Nee, dit is een recept voor een ramp. Ik noem het dan ook ‘ontluisterend’, oftewel schokkend.

Als je het mij vraagt kan je beter compleet random selecteren.

Dit lijkt mij vele malen verstandiger. Je zou nog hooguit eens een keer focus kunnen aanbieden, zo van: dit jaar doen we extra onderzoek bij studenten in Utrecht, puur om efficiëntie te bewerkstelligen.

[sympa]

En vervolgens jezelf op de schouders kloppen met een "we sturen brieven met beschuldigingen van fraude, het is dus een succes!".

[IJzerlijm]

Dat mensen die niet gepakt zijn niet in de dataset van fraudeurs zitten mag duidelijk zijn. Hoe kan dat ook anders?

Wat zou de manier zijn om dit te vermijden behalve volkomen willekeurig controleren? En dan ook mensen van boven de 70 die geen student zijn, dat zijn misschien wel de echte meestercriminelen.

[The Third Man]

Het is op zich geen probleem om een set van signalen en patronen voor het model op te stellen, het wordt alleen snel problematisch als je bijvoorbeeld

- dat toetst zonder controle, dus die 40% hit ratio blind aannemen als ‘succesvol’ en dus het model vervolgens toepassen. Dat is net zoiets als elk adres met een plaatsnaam beginnend met A controleren. Dat zal ook een hoge hit ratio kennen omdat veel mensen in Amsterdam wonen… of dat ook een beter model is dan volledige willekeur weet je dan ook niet. Maar de mensen die toevallig in A* wonen worden oneerlijk automatisch als fraudeur gecontroleerd en de rest die misschien wel meer fraudeert niet…
- je zaken als (vermeende) afkomst, geslacht, inkomstenklasse ouders etc als primaire of zelfs enige signalen gebruikt, dan target je een groep die mede door beperkte mogelijkheden het al zwaar heeft en vervolgens nog de koude fraudecheck douche krijgt. Dat is dus niet zeggen dat je niet óók een of meer van die signalen kan gebruiken, maar dat is wat anders dan het primair inzetten.
- je zelfversterkende eigenschappen toepast, zoals of er verderop in de straat of wijk gefraudeerd is, bij dezelfde school/uni, studie etc. Daarmee lijk je meer succes te hebben, maar het gevaar schuilt dat door onder-controle van de rest een scheve rapportage ontstaat, dus de focusgroep lijkt steeds erger te frauderen en de rest minder omdat die steeds minder verschijnen in de statistiek. Dus ben je je eigen resultaat in een positive feedback loop aan het gebruiken als argument om te controleren, niet omdat je weet dat dit beter is dan ook de rest wat vaker te checken.

Kortom het is belangrijk om het met beleid en met wetenschappelijke toetsing te doen, zo kan je best meer doen dan pure willekeur. Maar er zitten altijd nuances en valkuilen in.

[jeroen79]

Eigenlijk zou je voortdurend twee selecties voor controles moeten uitvoeren:
1. Selectie door het door jou bedachte algoritme.
2. Willekeurige controles.

Als 1. dan verhoudingsgewijs niet significant meer vangt dan 2. dan is je algoritme niet goed.

[The Third Man]

Ook dat is niet eens voldoende, want dan is een oververtegenwoordiging raken zal automatisch beter scoren. Bij zowat elke juridische controle vind je meer criminelen door enkel mannen te controleren omdat mannen oververtegenwoordigd zijn in de criminaliteit. Dit is mede hoe etnisch profileren is ontstaan, de hogere succespercentages gaven de indruk 'goed bezig' te zijn... Vervolgens weet een geprofileerde dat ie bij voorbaat verdacht lijkt en een niet-geprofileerde weet dat het waarschijnlijk wel los gaat lopen... Lekkere rechtstaat wordt dat dan.

Je zag het ook bij de toeslagenaffaire, daar speelde o.a. dat de Belastingdienst sterker op fraude gericht was bij hogere toeslagen. Dat is direct gecorreleerd aan het inkomen, en dat zorgt mede voor oververtegenwoordiging van huishoudens met een migratieachtergrond. Dan werd vervolgens die achtergrond (en bijvoorbeeld dubbel paspoort) toegepast als signaal om fraude te signaleren, wat logischerwijs dan veel beter scoort dan willekeur. Maar het is simpelweg omgekeerd beredeneerd en niet te vergeten verwerpelijk.

Oftewel puur de succespercentages helpen hierbij niet, je wilt een causale relatie vinden.

[Reactie gewijzigd door The Third Man op 23 juli 2024 15:06]

[DavidAxe]

je zaken als (vermeende) afkomst, geslacht, inkomstenklasse ouders etc als primaire of zelfs enige signalen gebruikt, dan target je een groep die mede door beperkte mogelijkheden het al zwaar heeft en vervolgens nog de koude fraudecheck douche krijgt. Dat is dus niet zeggen dat je niet óók een of meer van die signalen kan gebruiken, maar dat is wat anders dan het primair inzetten.

Afkomst mag zeker niet als selectiecriterium worden gebruikt, maar we moeten zeker geen fraude gaan toestaan. Ook niet van groepen die het moeilijker hebben.

Daarmee lijk je meer succes te hebben, maar het gevaar schuilt dat door onder-controle van de rest een scheve rapportage ontstaat, dus de focusgroep lijkt steeds erger te frauderen en de rest minder omdat die steeds minder verschijnen in de statistiek.

Dat is eenvoudig te voorkomen door bij alle selecties minimaal enige controles uit te voeren en de fraude gevallen procentueel weer te geven op basis van het aantal controles in die selectie.

Wat mij niet zou verbazen als bij de selectie een lijst van postcodes is gebruikt waar gemiddeld veel fraude plaatsvindt. Als in die gebieden "toevallig" meer personen met bepaalde afkomst wonen, dan kan het zijn dat die vaker controles ervaren.

[The Third Man]

Afkomst mag zeker niet als selectiecriterium worden gebruikt, maar we moeten zeker geen fraude gaan toestaan. Ook niet van groepen die het moeilijker hebben.

Beetje non sequitur, niemand heeft het hier over iets toestaan, maar misschien mis ik je punt.

Dat is eenvoudig te voorkomen door bij alle selecties minimaal enige controles uit te voeren en de fraude gevallen procentueel weer te geven op basis van het aantal controles in die selectie.

Maar hoe helpt dat dan, ik zie niet hoe dat eenvoudig is. Stel je controleert alleen grote steden, dan vind je hogere frauderingspercentages, waardoor het beeld ontstaat dat grote steden meer frauderen en dus gecontroleerd dienen te worden en dat daarbuiten het wel meevalt. Juist door "de fraude gevallen procentueel weer te geven op basis van het aantal controles in die selectie." krijg je toch dat schuine beeld?

[Xmoo]

Ben blij dar dit gecontroleerd gaat worden.

Ikzelf had één controleur over de vloer 2 jaar na het afstuderen. Ik was toen aan het werk in Groningen maar moest mij (met een bedreigende toon van de controleur) in één uur melden in Eindhoven. Vervolgens vroeg ik waarom? Ben al 2 jaar geleden afgestudeerd. Controleur werd toen rustig en ging even bellen. Vervolgens netjes zijn excuses aangeboden en zei dat hun een 3rd partij waren en hun systemen niet synchroon liepen met die van DUO… 2 jaar en niet synchroon, erg bijzonder.

En ja ik heet Mohammad, heb een Mbo, HBO en Master studie afgerond. In het buitenland geboren en immigranten ouders. Ik zat in een studentenhuis in het centrum van Eindhoven. Op 12km afstand van mijn ouders.

[911GT2]

Daar gaan we weer, het is niet discrimineren als het gebaseerd is op aantoonbare feiten. Als het gewoon bewezen is dat er in bepaalde groepen meer fraude voorkomt dan is het logisch dat die groepen extra doorgelicht worden. Om dezelfde reden gaat de politie bij de TT van Assen staan met verkeerscontroles of net buiten het centrum met alcohol controles op zaterdagnacht.

Een patroon is geen discriminatie.

Maar prima laten we 100% door algemenere algoritmes draaien kijken wat de resultaten zijn. Ik kan de uitslag wel redelijk voorspellen. Het zal dicht liggen tegen de parameters waar nu mee gewerkt wordt.

[Keypunchie]

Uit reconstructie blijkt echter dat het algoritme helemaal niet door statistische analyse tot stand is gekomen, maar naar aanleiding van een commissie die een beetje is gaan theoretiseren wat "signalen" zouden kunnen zijn van fraude. Zoals "bij familie wonen", of "MBO'er zijn". (Twee dingen die meer voorkomen bij utiwonende studenten met migratieachtergrond).

Vervolgens is het algoritme ook nooit gevalideerd. DUO heeft niet bvb. meerdere sets controleurs op pad gestuurd, een op basis van aselecte steekproef, eentje op basis van het algoritme en dan resultaten vergeleken.

De reden dat het aan het licht is gekomen is omdat er een gigantisch percentage (iets van 25%) van beschuldigde studenten die in het verweer kwamen, of onmiddelijk, of via de de rechter in het gelijk werden gesteld als ze DUO aanvochten. Let op: dit is met *omgekeerde* bewijslast! Als beschuldigde moet je je onschuld aantonen, niet DUO jouw fraude.

(Als je leest hoe de huisbezoeken gingen is er trouwens ook over de kwaliteit van de controleurs wat te zeggen, maar dat is een ander verhaal).

Kortom, als het inderdaad harde feiten waren voor dit algoritme, dan hadden we ergens over kunnen praten. Het probleem is hier dat, net als met de Toeslagenaffaire, men daadkracht wilde tonen en vervolgens een kwetsbare groep heeft geidentificeerd.

*10.000 beschuldingen, waarvan 6000 in beroep, hiervan 1200 gegrond verklaringen en nog eens 1500 rechtszaken met 375x winst. Dus 25% van de bezwaarmakenden kreeg gelijk en 16% van de totaal beschuldigden. Dat vind ik zorgelijke getallen!

[Reactie gewijzigd door Keypunchie op 23 juli 2024 15:06]

[HollowGamer]

Waar heb je dit precies vandaan? Want dat zou de situatie wel veranderen, althans voor mij, want ik ging al snel uit van een vooroordeel wellicht.

Overigens wil ik er nog aan toevoegen hoe moeilijk het is om je gelijk te halen. De overheid is schijnbaar erg goed geworden in hun gelijk halen, en voor het doorsnee gezin zijn advocaten bijna niet (meer) te vinden. Dus ook al wil je in beroep tegen een beslissing van een overheidsinstantie, dan is het nog maar de vraag wat het je oplevert (wat de omgekeerde wereld is, want zij worden betaald mede door belastinggeld).

Bron: ZML - als ik het goed heb, was dit in het filmpje over de toeslagenaffaire en stoppende advocaten.

[Reactie gewijzigd door HollowGamer op 23 juli 2024 15:06]

[Keypunchie]

De bronnen zijn het artikel van Trouw, dat ik helaas alleen op papier heb gelezen, maar ik denk deze
https://www.trouw.nl/onde...tie-achtergrond~bf3d5cd6/
(en: https://www.trouw.nl/onde...s-fraudeur-ziet~b43c599e/)
en
NRC
https://www.nrc.nl/nieuws...-fraude-door-duo-a4167720
https://www.nrc.nl/nieuws...ritme-zei-fraude-a4167810
en
Groene Amsterdammer:
https://www.groene.nl/art...ocial&utm_source=linkedin (deze laatste heeft geen paywall)

[Reactie gewijzigd door Keypunchie op 23 juli 2024 15:06]

[amsterdam]

Kunnen we erop vertrouwen dat overheid bepaalde maatregelen gaat nemen tegen discriminatie of onterechte onderzoeken? Is toeslagaffaire niet voldoende om bepaalde acties te ondernemen?

Een onderzoek door een overheidsinstantie om te kijken of er iemand fraude pleegt vind ik prima, zelfs aanbevolen. Echter hoe kan je erop vertrouwen dat het terecht gebeurt?


Is het een idee dat er een registratiesysteem tot staand komt met de volgende voorwaarden? :

- Elke onderzoek door welke instantie dan ook, dient vooraf geregistreerd worden in een centraal systeem. Met daarin een unieke nummer i.p.v de naam van de betrokkene en woonadres (alleen postcode en de stad)

- Begin en einddatum onderzoek

- Na afronding mededeling aan de betrokkene met resultaat van de onderzoek, ookal is er niks gevonden.

- Daarnaast de mogelijkheid om zelf doormiddel van eigen Digid te kunnen controleren of er een bepaalde onderzoek is gedaan naar je.

[Reactie gewijzigd door amsterdam op 23 juli 2024 15:06]

[Roharas]

Indien de 16% van de totaal beschuldigden daadwerkelijk onterecht waren gemarkeerd als fraudeur dan is dat inderdaad een zogelijk aantal en een duidelijke indicator dat "het algoritme" verbeterd moet worden.

In 84% van de gevallen is het dus echter blijkbaar terecht?
haal daar wat procenten vanaf voor mensen die het niet aan (kunnen) vechten etc en je houd nog steeds een heel groot deel over van meerdere duizenden mensen die dus blijkbaar wel degelijk hebben gefraudeerd. Het algoritme zit daarom voor zo ver ik kan zien wel degelijk op een juist spoor met een aantal indicatoren die globaal gezien dus wel degelijk kloppen.

Kijk je dan naar de signalen die je aankaart ook in de bronnen waar je naar verwijst dan hebben die niets met afkomst te maken maar met gedrag en leefomstandigheden.
Wat mij betreft is dan ook het echte issue hier niet discriminatie maar het feit dat de indicatoren wijzen wetenschappelijk bewezen feiten, namelijk dat criminaliteit exponentieel hoger is in gezinnen/families waar de meesten laag opgeleid zijn en waar iedereen minder te besteden heeft gecombineerd met een kennisen/vrienden/familie kring waar dit ook het geval waardoor er ook buiten het gezin niemand is om op terug te vallen.

Van deze situaties is al lang en breed bekend dat het helemaal niets uitmaakt wat de afkomst van deze gezinnen is of uit welke cultuur ze komen.
Voeg daarbij een aantal extra indicatoren toe die de kans op criminaliteit nog verder verhogen zoals 1 ouder gezinnen en je hebt zo ongeveer alle indicatoren uit je bronnen te pakken maar niets dat in mijn ogen wijst op discriminatie.

Waarom niet? Omdat het gewoon bewezen feiten zijn dat mensen met die bepaalde indicatoren vaker stelen/frauderen en dat migranten gezinnen in verhouding veel vaker in een dergelijke situatie zitten.

Het is dus wat mij betreft geen discriminatie maar het is wel een probleem waar we wat mee moeten. Is het verklaarbaar waarom migranten gezinnen vaker 1 ouder gezinnen zijn? of waarom ze moeilijker mee komen in de maatschapij? en of het moeilijker mee komen ook een van de redenen is dat ze vaak minder goede banen hebben?. Hoe komt het dat ze vaker laag opgeleid zijn? Hoe kunnen wij er voor zorgen dat er in zo'n gemeenschap/familie 1 of meerdere personen goed doorbreken zodat de rest zich daar (deels) aan kan optrekken als rolmodel? Wat mij betreft moeten wij bezig met dat soort vragen en niet met onderzoeken die uiteindelijk tot niets anders leiden dan tot herformulering van de indicatoren. Herformulering of zelfs nieuwe indicatoren zorgen er alleen maar voor dat de echte problemen weer een paar jaar onder het tapijt geschoven kunnen worden voordat ook met de nieuwe indicatoren deze groep weer naar boven komt drijven.

[Reactie gewijzigd door Roharas op 23 juli 2024 15:06]

[koelpasta]

Je zegt vooral veel gebakken lucht gezien de manier waarop DUO opereert.
https://www.groene.nl/artikel/ik-dacht-gewoon-ik-pak-je

[Roharas]

Hoezo gebakken lucht?

Ze hebben net als in de andere bronnen die hier zijn aangehaald dus zo'n 25000 mensen gecontroleerd.
Waar ze net als andere bronnen ook over schrijven is dat sinds 2012 bijna tienduizend studenten het stempel fraudeur hebben toebedeeld.
Wat ze ook aangeven is dat twee derde hiervan, zo'n 3000 personen dus, in bezwaar gingen tegen dit besluit. Vervolgens begonnen bijna vijftienhonderd studenten een rechtszaak, waarin Duo in ruim een kwart van de gevallen op de vingers werd getikt.
Tel je de bezwaren en de rechtzaken mee dan zie je dus dat er volgens de rechter dus rond de 400 personen waren waarbij daadwerkelijk onterecht het label fraudeur opgeplakt werd.
Van deze bijna 400, om precies te zijn 367 gevallen aldus trouw/ad was het aantal migranten met 97% extreem vertegenwoordigd.
Het is dus onomstotelijk zo dat van de rechtzaken tegen onterechte fraude 97% ging om allochtone mensen. Dit bewijst precies mijn punt. Door meteen te roepen dat het algoritme discrimineert wuig je het feit weg dat er 9600 andere mensen zijn gemarkeerd als faudeur en blijkbaar meestal wel terecht. Wat ik graag wil weten maar waar niemand wat over lijkt te willen zeggen is welke afkomst die andere 9600 mensen hebben en hoeveel er daarvan onterecht zijn gemarkeerd als frauder maar waarbij het nooit tot een rechtzaak of schikking is gekomen.

Het zijn dus blijkbaar ook niet zozeer de indicatoren die het probleem geven maar de manier van handelen op die indicatoren. Als de bronnen daadwerkelijk kloppen dan komen de controleurs blijkbaar als een bliksemflits even door je woning heen en is de kwaliteit van de controle dubieus.
Vervolgens nemen ze wel op basis van in een redelijk aantal gevallen rammelende controle een besluit dat een verschikkelijk vervelende en grote impact kan hebben op het leven van het persoon die gecontroleerd wordt. Dat is wel een kwalijke zaak en dat proces moet wat mij betreft beter ongeacht of ze een migrant of een nederlander controleren. Ook claimen "de experts" dat de controleurs blijkbaar uitsluitend naar migranten gestuurd worden.
Wat ik mij dan af vraag is of het aantal huisbezoeken bij migranten in verhouding staat tot het aantal migranten op de lijst met verdachten. Is 20% van de verdachten migrant en zijn 90% van de huisbezoeken bij migranten dan ligt dat scheef dan is daar inderdaad zeker iets mis. Is dit echter zo? juist deze cijfers zwijgen de bronnen over en ook de Groene rept er met geen woord over. Juist daarom twijfel ik er aan of het echt zo is of dat dit wederom een opgeblazen rel is.

Een andere reden waarom ik twijfel aan de oprechtheid van de Groene is dat veel van deze indicatoren wederom naar instabiele thuissituaties wijzen. In het artikel wat je linkt zeggen ze bijvoorbeeld dat mensen die bij familie wonen omdat gezinssituatie slecht is een indicator zijn.
De "experts" volgens groene zeggen dat er geen wetenschappelijk bewijs voor is maar dat is regelrechte lariekoek. Er zijn wereldwijd meerdere onderzoeken naar gedaan en keer op keer op keer wordt bewezen dat bij instabiele gezinnen (crimineel/arm/psychische problemen, etc) en bij 1 ouder gezinnen er vaker criminaliteit in wat voor een vorm dan ook ontstaat.. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6889959/ is 1 van de duizenden artikelen die je er over vinden kan.

[Reactie gewijzigd door Roharas op 23 juli 2024 15:06]

[sympa]

En hier behandel je kansen die deels onafhankelijk zijn als geheel afhankelijk.
Dat in de steden meer consultants wonen, en ook meer vegetariërs, betekent niet dat de kans dat een consultant een vegetariër is groter is dan gemiddeld.

[Roharas]

Daar heb je gelijk in, het is daarom wel heel belangrijk om de juiste indicatoren te hebben en die ook echt goed te begrijpen. Hoe je daar dan vervolgens naar handeld daar kan je over discussieren en in het geval van DUO is daar zeker wel wat op aan te merken.

Stel, mijn onderbuik en ervaringen zeggen mij dat die consultants allemaal gladjakkers zijn die je proberen op te lichten. Vervolgens ga ik onderzoeken waar de meeste oplichting voorkomt en dat is in de stad. De meeste consultants wonen ook in de stad. Bingo? Dat is de manier waar DUO het nu op deed en vervolgens markeren ze die mensen als fraudeur. Hadden ze in plaats daar van een onderzoek laten doen naar oplichting in grote steden dan waren ze sowieso bij de stad uitgekomen maar bleek misschien wel dat het juist de vegetariërs waren, of dat het alleen om consultants gaat die bij oplichter&co werken die toevallig een kantoor in alle grote steden hebben. Hoe dan ook, er was dus wel degelijk een probleem met oplichting in grotere steden. Alleen ipv iedereen die stempel op te drukken bij de eerste indicator (stad) die je begrijpt hadden ze het spoor waar ik het eerder had verder moeten onderzoeken en fine tunen.
Door dan maar op stad te gaan controleren vis je er dan wel veel echte fraudeurs uit maar zal het gros onterecht zijn. Dat leken ze te filteren door huisbezoeken/controles en afgezien van of het zorgvuldig genoeg gebeurde (lijkt het niet op) kan je je afvragen of dat de beste methode was.

[Reactie gewijzigd door Roharas op 23 juli 2024 15:06]

[sympa]

Het maakt ook uit of je het algoritme gebruikt om een controle te triggeren, of dat je stelt dat het mogelijke fraude constateert.
Als je zegt: de computer geeft ons degenen die gedurende het jaar uitwonend zijn geworden, en als de dat 2 maanden zijn gaan we controleren" is dat een heel andere control dan als je zegt "de computer heeft verdachte gevallen aangewezen, kijk maar of je die ergens op kan pakken".

[Kalief]

Uit reconstructie blijkt echter dat het algoritme helemaal niet door statistische analyse tot stand is gekomen

Statistische analyse van wát? Van eerdere bekende fraudegevallen? Die zijn dan evenmin met deugdelijke methoden opgespoord en zo incidenteel dat ze voor de statistiek onbruikbaar zijn. Of van nog te verwachten fraudegevallen? Die verwachting is dan niet gebaseerd op statistische analyse maar op persoonlijke bias.

[Keypunchie]

Goed punt. Die data is er inderdaad misschien niet eens.

Wat je nog wel zou kunnen doen is een wetenschappelijk onderzoek onder afgestudeerde studenten.

Onder anonimiteit en omdat ze er geen belang meer bij hebben, kun je daar redelijk veilig als onderdeel van een grotere enquête/onderzoek naar de studententtijd vragen over fraude doen. (helemaal als het duidelijk is dat er geen repercussies zijn).

Heb je in ieder geval een indicatie van de omvang van het issue.

[Roharas]

Het lijkt er nu op dat de indicatoren deels zijn verzonnen onder het mom van "gevoel" of "algemene kennis".
Dat is niet te verdedigen en daar zouden ze beter moeten weten.

Het is echter wel zo dat veel van deze indicatoren zoals "1 ouder", "bij familie ingetrokken vanwege gezinsproblemen omstandigheden", etc in erg veel onderzoeken naar oorzaken van criminaliteit wel als bewezen factoren naar voren komen. Een nieuw onderzoek daarnaar lijkt mij dus niet zo heel nuttig omdat dan de uitkomst eigelijk al wel bekend is.
Wat DUO hier volgens mij zou moeten doen is een lijst met van deze wetenschappelijk onderbouwde punten gebruiken als ze toch per-se een aantal indicatoren willen hebben. Die zijn dan ook meteen goed te verdedigen. Voordeel is dan ook meteen dat die wetenschappelijke punten vrijwel zeker veel nauwkeuriger zullen zijn.

Het lijkt mij echter vooral fout te gaan op de acties die ze nemen bij mensen die aangemerkt worden als frauder en niet zo zeer op het algoritme zelf.

[fifanoob]

Zoals "bij familie wonen", of "MBO'er zijn". (Twee dingen die meer voorkomen bij utiwonende studenten met migratieachtergrond).

HBO/UNI hebben ook geen uitwonendebeurs, Dus logisch dat ze de controles bij MBO doen..Dat is de enige doelgroep die uitwonend kan zijn en daar geld voor krijgt..

En hier ga jij dus al de fout in. Je doet een aanname en legt dan een verband, een foute, want zoals ik al zei, alleen MBO-ers hebben recht op uitwonendebeurs, vanaf sept hebben HBO en UNI daar ook weer recht op, maar de afgelopen 5 a 6 jaar hebben zij dat niet gehad, en de controle periode gaat over de afgelopen 5 jaar.

Een algoritme wordt toch altijd bepaald aan menselijke input? Iemand moet het ritme toch instellen, echter wordt er niet op naam gekeken. Maar idd wel naar woonplaats en als er bij familieleden gewoond wordt.
De meeste fraude vond plaats bij mensen die zich ingeschreven bij een familielid, omdat ze die kennen en daarmee ook dachten dat gaat makkelijk. Heel logisch dat ze het Ritme daarop aanpassen/instellen.

10.000 beschuldigen uit 22.000 controles. In mijn beleving is de advocaat hier eerder fout bezig. De advocaat heeft misbruik gemaakt van migranten door ze het idee te geven dat ze een kans maakten, vermoedelijk omdat de migranten het niet zo goed snappen hoe het nou gebeurd is.

Tevens is diegene die de huis bezoekingen doet niet diegene die bepaald of iemand er wel of niet woont. Diegene maakt alleen maar een rapport op, vervolgens beoordeeld handhaving en inspectie binnen duo wat de vervolgstappen zijn. Vaak kan een student daarover ook een weerwoord geven, in de volksmond wordt dat formeel een hoorzitting genoemd.

[Reactie gewijzigd door fifanoob op 23 juli 2024 15:06]

[Roharas]

Dat van die advocaat is ook een heel terecht punt.

Ik werk zelf bij een bedrijf dat ook regelmatig expats een kans geeft.
Wat ik hier vaak zie is dat deze expats hulp inschakelen van anderen, noem het adviseurs,
om een beetje wegwijs te worden met regels en regelingen.
Je ziet hier vrij vaak dat ze dan geadviseerd wordt om aan te haken op bepaalde regelingen of om "bepaalde dingen" niet door te geven zodat ze meer geld krijgen of minder hoeven te betalen.
Veel van die dingen zijn dan eigelijk gewoon fraude omdat ze er geen recht op hebben, maar omdat het vaak dan regelingen zijn waarbij ze er wettelijk mee weg komen of omdat er niet gehandhaafd wordt "mag het dan maar" maar stiekem weten in ieder geval de "adviseurs" wel dat het niet mag.
Het is dan maar hopen voor die mensen dat de regels of controles niet worden aangescherpt want dan zouden ze wel eens in de problemen kunnen komen.

[Reactie gewijzigd door Roharas op 23 juli 2024 15:06]

[911GT2]

Je begint ieder onderzoek met een aanname. Ik ben het met je eens dat het wellicht niet zorgvuldig gebeurd is. Dus dat kan een vertekend beeld geven.

Daar moet ik je gelijk in geven.
Ik hoop dat dat het geval is want als de aanname achteraf wel juist blijkt te zijn is dat eigenlijk nog veel erger.

[HuisRocker]

Daar gaan we weer, het is niet discrimineren als het gebaseerd is op aantoonbare feiten.

En wat waren die 'feiten' (een constatering is nog lang geen feit) in het toeslagenschandaal? niet meer dan een zelfversterkende combinatie van verkeerde aannames, software die bleef versterkten en ambtenaren+politici die daarom jarenlang "Zie je wel, dus vooral doorgaan op deze manier!" riepen...

Een feit is dat inmiddels ruimschoots is aangetoond dat de 'feiten' die onze overheid hanteerde al te vaak uiteindelijk toch niet feitelijk bleken te zijn.

Vertrouwen komt te voet en gaat te paard... Het weinige vertrouwen dat DUO het wel goed voorelkaar heeft is niet meer dan logisch.

[Tom-Z]

"Het is een patroon dus het mag" is veel te kort door de bocht.

Gecontroleerd worden is nadelig, zelfs als je onschuldig bent. Hoe zou jij het vinden als de inspecteur ieder jaar je belastingaangifte tot in detail gaat nalopen en vraagt om allerhande bewijsstukken? Dat kost je tijd en geld. En er is altijd een kleine kans dat de inspecteur een foutje maakt en je onterecht een boete krijgt.
Als controles gewoon willekeurige steekproeven zijn, wordt het nadeel eerlijk verdeeld. Je moet op z'n minst nagaan of het voordeel van het gebruiken van een algoritme opweegt tegen het nadeel dat bepaalde (onschuldige) groepen er van ondervinden.

Want het gaat niet alleen om DUO die studenten met een migratieachtergrond er disproportioneel vaak uit pikt. Volgens mij deed de marachausee dat ook bij de paspoortcontrole. Als je pech hebt met je persoonskenmerken kan het zijn dat je, ook al ben je 100% te goeder trouw, je op allerlei plekken in het leven er disproportioneel vaak uitgepikt wordt. Moeten we dat willen?

Aan het gebruik van dit soort "algoritmes" kleeft het risico dat bepaalde achtergestelde groepen steeds verder achtergesteld raken. Stel de bank gebruikt een - op zich valide - patroon om het risico van een hypotheek in te schatten. Dat heeft misschien tot gevolg dat bepaalde groepen disproportioneel vaak geen hypotheek krijgen. Die groepen raken (verder) achtergesteld, kunnen geen vermogen opbouwen om door te geven aan hun kinderen, en het algortime schat bij de volgende generatie het risico nog een stukje hoger in, en de groep raakt nog verder achtergesteld.

Er zullen vast heel veel situaties zijn waar het disproportioneel vaak controleren van mensen met een migratieachtergrond een valide "patroon" is. Maar als we dat blindelings accepteren betekent dat dat bepaalde groepen continu, op allerlei plekken in hun leven, te maken krijgen met (onterechte) extra controles. Dat vergroot de ongelijkheid alleen maar.

[bw_van_manen]

Vergeet ook niet dat er vaak al voorlopige conclusies aan zo'n controle gehangen worden. Als de belastingdienst gaat controleren of je wel terecht kinderopvangtoeslag hebt ontvangen dan zetten ze (in mijn ervaring) de toeslag alvast stop terwijl het onderzoek loopt. Je hebt dus niets fout gedaan, maar krijgt duizenden euro's toeslag (ja, kinderopvang is duur) ineens een onbepaalde tijd later. Als je dat niet snel genoeg door hebt kan het goed zijn dat rekeningen ineens niet meer automatisch afgeschreven kunnen worden omdat er duizenden euro's minder op je rekening staan dan verwacht. Vervolgens ben je zelf verantwoordelijk voor het betalen van rente, herinneringskosten, etc.

Als de belastingdienst dan na enkele maanden eindelijk de gevraagde documenten gecontroleerd heeft start de toeslag ineens weer. Geen excuses voor het extra werk dat je hebt moeten doen om alle gegevens opnieuw te verzamelen, geen excuses voor het onterecht stopzetten van de toeslag, geen uitleg over waarom je verdacht was, niets. En dan heb ik nog het geluk dat ik een buffer had en die kosten wel kon dragen. Ik kan me heel goed indenken hoe snel dit escaleert als je dat niet hebt. Grote kans dat je uiteindelijk je rekeningen niet meer kan betalen en alsnog een wanbetaler wordt alleen maar door de ongefundeerde (?) verdenking van de overheid.

Of DUO ook stufi stopzet tijdens een onderzoek naar fraude weet ik niet, maar als ze dat doen gaat het waarschijnlijk nog veel sneller fout. Hoeveel studenten ken jij die een buffer hebben waarmee ze enkele maanden geen stufi kunnen overbruggen? Dan is het maar hopen dat je rijke ouders hebt...

[FireBladeX]

In andere woorden, als blanke witte man kan je gewoon frauderen bij DUO want je wordt toch niet gecontroleerd.

[911GT2]

Dat weet ik niet ik heb die data niet. Maar blijkbaar is er een selectie gemaakt op groepen op basis van data uit het verleden. Zoals zo veel algoritmen doen zoek je eerst op de groep die historisch gezien de meeste kans op 'succes' heeft.

[Frame164]

Maar als je dat doet lijkt het na verloop van tijd vanzelfndat er in die groep gerommeld wordt. Maar wat er in de groep die je niet of minder controleert gebeurt gaat langs je heen. Als je alleen Golfjes aanhoudt voor alcoholcontrole omdat je toevallig vorige week een paar positieve resultaten had bij mensen met een Golf, krijg je het oordeel dat Golf rijders vaker met alcohol op achter het stuur kruipen.

[Nystran]

Stel ik was fraude-onderzoeker, en ik kwam 2x achter elkaar tegen dat er in dezelfde wijk een student zich onterecht bij de buren had ingeschreven: dan zouden mijn handen jeuken om dit ook voor de rest van de wijk te doen. Mag dit dan niet?

Okee, ik heb nu een bepaald type fraude gedetecteerd. Mag ik vol inzetten op de bestrijding van dit ene type fraude? Of moet ik clueless willekeurige personen auditen?

Nog een stapje verder: Mogen wij nu een model trainen op alle data van alle fraude-onderzoekers? Omdat mijn collega's geen patroon ontdekte gingen zij door met willekeurig zoeken, terwijl ik met deze bovenstaande aanpak veel fraudegevallen opspoorde. In dit geval zal het model sneller verdenkingen geven van mijn type fraude. Dat is logisch, fraudesoorten die je niet kent, kan je het model niet leren. Je hebt dan wel een model om een bepaald type fraude efficient te detecteren, en niet allerlei andere soorten. Is dat een probleem?

(Wat mij betreft wordt het een probleem op het moment dat het management denkt "dit algoritme kan alle verdachte gevallen opsporen", ipv "dit algoritme spoort een bepaald soort verdachte gevallen effectief op". En nadat blijkt dat het algoritme het bijna altijd bij het rechte eind heeft gaan mensen denken "dit algoritme poept een lijstje fraudeurs uit, controle is niet meer nodig".)

[jeroen79]

Stel ik was fraude-onderzoeker, en ik kwam 2x achter elkaar tegen dat er in dezelfde wijk een student zich onterecht bij de buren had ingeschreven: dan zouden mijn handen jeuken om dit ook voor de rest van de wijk te doen. Mag dit dan niet?

Maar waarom focus je dan meteen op die ene wijk?
Hoe weet je dat een verband is tussen de wijk en de mensen die daar wonen en de kans op fraude?
En hoe weet dat in een andere wijk dezelfde fraude niet ook voorkomt?

[Nystran]

[...]
Maar waarom focus je dan meteen op die ene wijk?

Meestal draai ik een POC, voordat ik een project start. Dat project kan altijd nog bij succes van die ene POC.

[911GT2]

Mee eens. Ik zeg ook niet dat je andere groepen moet uitsluiten. Ik zeg alleen dat je begint te vissen in de vijver waar je het meeste kans hebt.

Het is in mijn optiek niet correct om groepen uit te sluiten van controles maar het is ook niet ondenkbaar om bepaalde groepen juist in te sluiten op basis daarvan.

[MrMonkE]

Zelf zou ik me meer op stedelingen richten, Allemaal -geen uitzondering daargelaten - niet te vertrouwen.

[FireBladeX]

En daar ligt het probleem. Hoe en wie beslist er dat “historisch” gezien een groep meer kans heeft? Mogelijk is er historisch gezien ook al discriminatie geweest. Door een selectief groepje uitgebreid te controleren, ga je ook meer vinden. Dus door alle aandacht aan mensen met Poolse afkomst te richten, ga je ook meer fraudeurs treffen met een Poolse achtergrond. Het hele idee om bepaalde etniciteit/afkomst te controleren is niet alleen ongewenst maar ook zeer gevaarlijk. Laat staan dat je afkomst een reden is dat je standaard als fraudeur wordt gekenmerkt. DUO moet zich richten op fraudeurs en niet specifiek een groep omdat de kans is dat ze daar het meest succes hadden. Als ze nooit de blanke witte nederlander controleren, zullen die ook nooit in de cijfers omhoog komen en dus ook nooit gecontroleerd worden.

[Dariuz]

Vind dat echt een kulargument, data liegt niet. Als er aantoonbaar hogere aantallen van fraude zijn bij mensen met een immigratie achtergrond is er gewoon een geldige grond om hier scherper op te zijn. Als je je auto verzekert betaal je ook een hogere premie als je beginnend bestuurder bent of als je in een wijk woont waarin veel incidenten zijn.

[Houtenklaas]

De flauwe: Als mijn te onderzoeken populatie voor 80% bestaat uit mensen met een migratie achtergrond, zal ik waarschijnlijk meer fraudeurs vinden in absolute getallen dan bij een niet migratie achtergrond. Maar met zo'n verhouding mag je dat ook verwachten. Poneer ik dat met een: "Onderzoek toont aan dat er veel meer fraudeurs zijn met een migratie achtergrond" dan ben je wel heel sneu bezig.

Goed onderzoek doen is gewoon moeilijk om daarmee een goede doorsnede van je inwoners te pakken, zonder discriminerende voor oordelende methoden te gebruiken. "Data liegt niet" ... Dat klopt inderdaad, maar dan moet je wel goed meten. Als ik in een kerk vraag "gelooft u", dan zou mijn conclusie kunnen zijn dat 100% van NL gelovig is. Maar dan snappen we ineens wel dat dat geen zuivere meting is ...

[Tc99m]

Data liegt niet, maar data kan wel incompleet zijn, er kunnen fouten zijn gemaakt bij het invoeren van de data, data kan ingevoerd zijn door medewerkers die een bias hadden, data kan niet neutraal zijn, je kunt een blinde vlek hebben, etc.

Het algoritme van DUO is gebaseerd op ervaringen van DUO medewerkers. Dus daar zit al minimaal een onbewuste bias in.

[casd18]

Data is niks, de interpretatie van data maakt het informatie waar je op kunt handelen. En goede duiding van data is een vak apart.

[Ruw ER]

Dit dus. Het programma wordt gevoed met data uit de praktijk, en moet daar patronen in herkennen. Als die bijvoorbeeld herkent dat er in bepaalde wijken veel fraude is, dan zal dat als risicogroep worden aangevinkt, bijvoorbeeld.

[whitefox]

Het probleem ligt bij het aantonen. Als je de opsporing richt op een bepaalde groep pak je daar automatisch ook meer fraudeurs, terwijl dat er procentueel niet meer hoeven te zijn.

[Mawlana]

data liegt niet

Het is maar net hoe je de data interpreteert en presenteert.

There are lies, damned lies and statistics.

[ChickPeaFan]

Data liegt inderdaad niet, maar het spreekt in die zin net zo min de waarheid.

Je kan niet zien hoe betrouwbaar data is aan de data zelf, de getallen zeggen je niets over hoe representatief de steekproeven waren. Ook andere relevante informatie, zoals wat er buiten je steekproef gebeurt, is niet in de data zelf te vinden. In ieder geval zou je het onderzoek moeten lezen, en zelfs dan heb je nog lang geen volledig beeld van de betrouwbaardheid.

Meestal is bovenstaande helemaal niet zo erg, ook omdat buiten 'menselijke' data de vragen/fenomenen simpeler zijn, maar als data over mensen (die veel complexer is dan bijvoorbeeld data over iets mechanisch) juridische consequenties heeft is dit wel degelijk heel belangrijk.

[sympa]

Maar we hebben een grondwet, en je mag dus geen afkomst gebruiken in je analyses. Hoe gemakkelijk het ook is.

[PhilipsFan]

Maar dat is gebaseerd op ALLE data. In dit geval worden bepaalde groepen wel en juist niet onderzocht. Bij de niet-onderzochte groepen vind je uiteraard geen fraude. Bij de onderzochte groepen wel. Dat leidt automatisch tot de onterechte conclusie dat je groepen goed zijn gekozen.

[M3m30]

Hoe kan je dat weten als je ALLEEN buitenlanders/mensen met een buitenlandse achternaam checkt?
Daar gaat het immers om, heet jij jansen/van der struik.... dan is de kans op controle significant lager.

[jeroen79]

Maar zijn het hogere aantallen van fraude of hogere aantallen waarbij fraude is ontdekt?
Dat laatste is alleen maar een beeld van de werkelijkheid.

Als je autochtonen minder controleert dan zul je daar ook minder fraude ontdekken.
Als je dan nog minder gaat controleren (omdat je er minder fraude aantrof) dan zul je nog minder fraude aantreffen bij autochtonen.

En als je controleurs mee krijgen dat er minder fraude is bij autochtonen dan gaan ze misschien nog minder streng controleren.
Bij de autochtoon een kort rondje door het huis, bij de allochtoon elk kastje open trekken.
Dan ga je ook minder aantreffen bij de autochtonen.

Dan kan het heel snel scheef trekken als er niet iets is dat terug naar het midden trekt.

[Verwijderd]

het concept is volgens mij dat als er incidenten optreden, men daar vervolgens naar gaat kijken.
De blanke witte Nederlander komt dan ook vanzelf bovendrijven als die een aantal keer wordt gepakt.
Stereotypen ontstaan om een reden.

Het is mijns inziens dus echt te gemakkelijk om te stellen dat de blanke witte Nederlander (beetje dubbel vind je neit?) niet oppopt in bepaalde cijfers omdat er niet op wordt gecontroleerd.

[Tc99m]

Met andere woorden, er is een groot risico op confirmation bias (het algoritme vindt alleen fraudegevallen die voldoen aan bepaalde kenmerken, andere fraudeurs blijven onder de radar, en alleen een specifiek deel van de studentenpopulatie wordt gemarkeerd voor extra controle).

[MarkHart]

Exploration vs exploitation is precies dit heel bekende probleem en er zijn zat methodes om dat tegen te gaan.

Ja, die worden inderdaad lang niet altijd toegepast.

Toch geloof ik veel meer in erkennen welke statistiek je toepast en rekening houden met de limitaties dan alle statistiek proberen te ontwijken en ontkennen dat alle manieren van selectie eigenlijk weer op statistiek neer komen. Om het anders te verwoorden: je kan beter afgaan op harde cijfers dan het onderbuikgevoel van een inspecteur.

[kiang]

Nee, er is dus niet gekeken naar data: er zijn enkele ambtenaren samengekomen die zelf bedacht hebben op wat voor kenmerken er wel eens geselecteerd zou kunnen worden, en als hun onderbuikgevoel zei dat dat een goed idee was zijn ze dat gaan doen. Die criteria hebben ze niet aan data getoetst of voorgelegd aan experts of onafhankelijke auditors.

Ze hadden een idee zoals "MBO studenten, dat zijn best vaak fraudeurs denk ik, en mensen uit de Schilderswijk ook", zijn daarop gaan handelen, ze vonden fraudeurs, en voelden zich daardoor gesterkt in hun vooroordelen.

Echter is de juiste conclusie niet "blijkbaar frauderen mbo studenten uit de Schilderswijk", maar zoal de speld al zei "studenten die gecontroleerd worden worden vaker betrapt op fraude dan studenten die niet gecontroleerd worden".

[bommel]

Bij de TT Assen is een hoog risico op verkeersovertredingen dus ga je daar extra controleren maar dat wil niet zeggen dat je alléé daar controleert…

Idem dus voor “blanke witte mannen” 😅

Zijn er ook niet blanke witte jongemannen of blanke maar niet witte jongemannen?

[supersnathan94]

Zijn er ook niet blanke witte jongemannen of blanke maar niet witte jongemannen?

Oh boiii

Zonder er verder al te diep op in te gaan: ja.

[blackmilo]

Wat is dit voor een racistisch commentaar?

Het artikel gaat niet over "Ras", het artikel gaat over personen met een immigratieachtergrond:

Het onderzoek van de AP moet uitwijzen of DUO studenten met een migratieachtergrond inderdaad onevenredig vaak beschuldigt van fraude met hun studiefinanciering.

[Verwijderd]

ik blijf het vermoeiend vinden dat er elke keer weer wordt gesproken over huidskleur en sexe. Met name blank en man en hetero. Dat is het grootste kwaad wat momenteel op de aardbol rondloopt blijkbaar.

[mac1987]

Wel als je bij iemand inwoont en op het MBO zit. Dat zijn bovengemiddeld vaak mensen met een migratieachtergrond, maar niet alleen die mensen. Het ligt dus wat genuanceerder dan dat. Als achtergrond, geslacht of huidskleur een parameter was geweest, was de discussie allang klaar.

[bursche]

*witte.
Maar nee, niet per se. Het risico is mogelijk anders, maar ik ken ook genoeg witte Nederlanders die toch vinkjes aan hadden staan bij de Belastingdienst en daardoor ook meegezogen werden in de Toeslagenramp.

[MrMonkE]

Gewoon omaatjes fouilleren in de afgezette straat om te kijken of ze een wapen hebben want dat is eerlijk.
Zo ging dat destijds in Amsterdam. Totaal achterlijk.

[Left]

Onderschat die omaatjes niet hoor! Echt sommigen zijn niet te vertrouwen

[Tc99m]

Het kan wel discriminatie zijn als er voornamelijk studenten met een migratieachtergrond worden gecontroleerd omdat ze gemarkeerd worden door het algoritme, en studenten zonder migratieachtergrond significant minder, en het hebben van een migratieachtergrond een bepalende reden blijkt te zijn om je te controleren (terwijl er geen direct bewijs is). Dat lijkt hier het geval te zijn. Uit het onderzoek van NOS op 3 blijkt dat er ook veel studenten controles kregen die niks hadden misdaan

Uit het artikel van de NOS: “Bijna 10.000 studenten zijn de afgelopen tien jaar door DUO beschuldigd van fraude. Ruim 6000 studenten gingen in bezwaar, van wie een op de vijf gelijk kreeg. Verder waren er bijna 1500 rechtszaken, waarbij een kwart van de studenten de zaak won.” - 20% van de studenten die in beroep gingen, en 25% van de studenten die een rechtszaak aanspanden kregen achteraf gelijk! Dat vind ik echt bizar hoog, gemarkeerd worden voor controle kan serieuze gevolgen voor je hebben, want je zult de boete in sommige gevallen wel alvast moeten betalen, terwijl achteraf kan blijken dat je niks hebt misdaan.

[Reactie gewijzigd door Tc99m op 23 juli 2024 15:06]

[drdelta]

Uit het onderzoek van NOS op 3 blijkt dat er ook veel studenten controles kregen die niks hadden misdaan

Volgens mij is dat inherent aan een controle, dat je (nog) niet (zeker) weet of iemand inderdaad iets fout gedaan heeft..? Waarom zou je anders controleren?

Maar goed:

• Van de 10.000 studenten gingen er 6.000 in bezwaar, waarbij 80% van de bezwaren ongegrond werd bevonden.
• Daarnaast waren er 1500 rechtszaken, waarbij 75% verloor.

Samengevat, van die 10.000 studenten, is dus ~84% als schuldig bevonden / niet in bezwaar gegaan.

Het is dus maar hoe je er naar kijkt.

[Reactie gewijzigd door drdelta op 23 juli 2024 15:06]

[PhilipsFan]

Ik heb zelfs al een verhaal gelezen van een rechten-stagiaire die door haar stagebedrijf al een vaste plek was aangeboden als ze haar opleiding afgerond had.

Maar toen gingen controleurs van DUO rondbellen naar oa haar baas met de mededeling dat ze verdacht werd van fraude. Waarop haar baas haar niet meer wilde hebben en ze gestopt is met haar studie.

Hoe HAAL je het in je hoofd om tijdens een onderzoek iemand te beschuldigen en die beschuldigingen uit te spreken naar derden? Dat is laster! De student heeft hierover ook een rechtszaak gevoerd tegen DUO en gewonnen, maar dan krijg je een paar 1000 euro. Daarmee is niet je vertrouwen in het recht weer terug.

[MikeN]

Samengevat, van die 10.000 studenten, is dus ~84% als schuldig bevonden / niet in bezwaar gegaan.

Vind je dit serieus goede getallen? Hoeveel van die mensen hebben hun verlies maar genomen omdat een beroepsprocedure lang duurt en duur is, denk je? Hoeveel van de slachtoffers van de toeslagenaffaire zijn wél de hele juridische molen doorgegaan waarin ze ongelijk kregen?

[Jasper Janssen]

Voor iedere beschuldigde die zijn gelijk heeft weten te halen zijn er minstens 4 die dat niet gelukt is maar die wel degelijk gelijk hadden.

[drdelta]

Voor iedere beschuldigde die zijn gelijk heeft weten te halen zijn er minstens 4 die dat niet gelukt is maar die wel degelijk gelijk hadden.

Waaruit blijkt dat?

Dat er geprofileerd werd, veranderd niets aan het feit of iemand fraudeert.

[Marcel Br]

Als je wordt gecontroleerd wordt je niet automatisch beschuldigd van fraude lijkt me.

[gaskabouter]

Ten eerste is er niets aangetoond. Daar is gewoon geen bron voor. Ten tweede is het risico dat als je alleen fraudeurs zoekt in bepaalde groepen je ook alleen fraudeurs zult vinden uit die groepen. En dan vervolgens "zie je wel" roepen...

Stigmatisering heet dat

[911GT2]

Wat een onzin. Volgens die redenering zouden er namelijk alleen maar blanke mannen in het systeem moeten zitten. Want die waren van oudsher de enige die studeerde. Maar toch is er ergens een trend ontstaan naar andere groepen. Dat is geen stigmatiseren dat is keiharde data.

[frietfriet]

Je maakt nu een aanname. Wij hebben de data niet. Er moet onderzocht worden hoeveel bias er in de data zit.

[gaskabouter]

Je hebt het hier over welke eeuw precies?

Toen ik geneeskunde studeerde was al het merendeel vrouw en ongeveer 20% allochtoon. Dan hebben we het over dertig jaar terug.....

[M3m30]

Als je enkel noem maar wat Marokkanen checkt en zowat niet noem maar wat nederlanders.. dan is inderdaad de kans groter dat jij meer Marokkanen vindt die de boel flessen.

[Total Remco]

Je vergeet een vraag te stellen.

Is de data waarop de claim 'mensen met niet witte achtergrond frauderen meer' vergaard op een manier waar discriminatie geen enkele rol kan spelen?

Zolang het antwoord op die vraag niet volledige nee is, dan heb je gewoon geen data die je claim ondersteund.

Daarnaast speelde ook nog mee dat je aan moet kunnen tonen dat 'mensen met een niet witte achtergrond ' een onafhankelijke variabele is. In andere woorden, is het niet gekoppeld aan een ander gegeven, zoals opleidingsniveau, leeftijd ouders, vertrouwen in overheid ect.

Want als het wel gekoppeld is aan die laatste factoren kan je ook gewoon die factoren meten. In plaats van een factor waarvan als je het gebruikt de suggestie van discriminatie wekt.

[911GT2]

Daarom zeg ik. Draai het hele bestand er eens doorheen en kijk wat de uitkomst is.

[MN-Power]

Daar gaan we weer, het is niet discrimineren als het gebaseerd is op aantoonbare feiten. Als het gewoon bewezen is dat er in bepaalde groepen meer fraude voorkomt dan is het logisch dat die groepen extra doorgelicht worden. Om dezelfde reden gaat de politie bij de TT van Assen staan met verkeerscontroles of net buiten het centrum met alcohol controles op zaterdagnacht.

Een patroon is geen discriminatie.

Maar prima laten we 100% door algemenere algoritmes draaien kijken wat de resultaten zijn. Ik kan de uitslag wel redelijk voorspellen. Het zal dicht liggen tegen de parameters waar nu mee gewerkt wordt.

Dat is op zich prima, maar als het een publiek geheim is dat in de rest van Nederland op die dagen de pakkans zowat nul is snap je zelf ook wel wat er gebeurt.

Beter zorg je dat in elk geval het gevoel leeft dat voor iedereen de kans ongeveer net zo groot is om gepakt te worden, zodat niemand zich onschendbaar voelt. Dus ook als je rijke ouders hebt en in een nette buurt woont. Want ook die mensen zullen hun kans pakken als ze denken dat ze toch nooit gepakt worden. En met dergelijke algoritmes en al helemaal als het ook nog breed uitgemeten wordt in het nieuws, wordt het wel erg aantrekkelijk, dus wellicht juist die groep na dit soort berichten ook even doorlichten.

TLDR; Een klein beetje extra aandacht voor een risicogroep is niet per se erg, maar zo gauw de rest daarmee véél minder gecontroleerd wordt en dat ook nog eens doorheeft(jij vindt het blijkbaar heel logisch) heb je daarmee juist weer een extra risicogroep gecreëerd.

[911GT2]

Ja eens. Ik heb mijn beeld hier beneden ook al wat meer bijgesteld.

[jaxxil]

Een patroon is geen discriminatie.

Maar prima laten we 100% door algemenere algoritmes draaien kijken wat de resultaten zijn.

Dat werkt niet in dit soort gevallen. Het probleem waar al deze controle algoritmes/AI intrappen is dat je begint met een slechte dataset die ook nog eens opgebouwd is door mensen met vooroordelen. Daardoor is er bijvoorbeeld meer fraude gevonden bij mensen met een migratieachtergrond, of dat echt zo is of dat bevooroordeelde mensen vaker gecontroleerd/harder geoordeeld hebben weer je niet. Nu raadt je systeem aan om mensen met een migratieachtergrond meer te gaan controleren. Daardoor vind je meer fraude bij die groep en wordt het vooroordeel bevestigt, wat je weer terug voert in je algoritme, wat nog meer controle van de groep aanraadt op basis van de data, etc.

Garbage in, garbage out is altijd de manier waarop dit soort systemen werken, en fraude-/criminaliteitsdata is door de natuur er van altijd een kwalitatief heel slechte dataset omdat het meeste er van verhuld en onbekend is. Gooi het menselijke element er bij, meer controles hier en minder daar, deze mensen wel matsen en deze niet, en je hele dataset is functioneel waardeloos voor dit soort toepassingen. Daar kan je wel patronen in gaan vinden, ja, maar de vraag is wat je dan vindt. Of dat een echt signaal is of juist de reflectie van een maatschappelijk vooroordeel kan je gewoonweg niet zien.

[Reactie gewijzigd door jaxxil op 23 juli 2024 15:06]

[sympa]

In onze samenleving hebben wij rechten als individu. En die rechten worden niet meer of minder als iemand anders, met toevallig dezelfde afkomst of dezelfde huidskleur als jij, iets goed of iets fout heeft gedaan.
Dat is een basisbeginsel van onze rechtsstaat, en dat is een stuk belangrijker dan dat een ambtenaar makkelijk kan scoren.

[911GT2]

Niet mee eens. Het individu gaat nooit voor het collectief. Met andere woorden als het collectief hinder ondervindt van gedragingen van een individu en we kunnen dat oplossen door wat jij noemt makkelijk scoren dan ben ik daar zeker voor.

Dat is namelijk exact wat we deden tijdens corona. En in mijn optiek niet streng genoeg.

[sympa]

De grondwet zorgt dat mensen gelijk behandeld worden als het gaat om zaken die aangeboren zijn. Niet voor dingen die iemand zelf in de hand heeft.
Zo is het gebruik van een autogordel verplicht, maar iemand die wegens lichamelijke beperkingen geen gorden kan gebruiken kan er (denk ik) ontheffing voor krijgen.

[cordonbleu]

De wereld wordt hier weer op z'n kop gezet, letterlijk! Uit de controle van DUO is juist gebleken dat vooral jongeren met een migratieachtergrond frauderen. Deze bleken op een paar km afstand van hun ouders te 'wonen' en kregen dus een uitwonende beurs, terwijl ze gewoon nog thuis woonden. In veel van deze gevallen ook nog eens de maximale beurs, gezien beide ouders niet werken.

Dit is de realiteit die wordt omgedraaid om te kunnen voldoen aan de politiek gewenste werkelijkheid. De echte werkelijkheid wordt nu dus blootgelegd en dan wordt er direct geroepen; discriminatie en onderzoek. DUO is niet eens bekend met de etniciteit van de studenten. De systemen van DUO leggen bloot dat dit vooral de groep is die fraudeert. In plaats van dat daar wat aan gedaan wordt, komt er dus nu een onderzoek naar de partij die juist dit probleem kenbaar heeft gemaakt. Maak daar dan werk van!

[Rhinosaur]

Volgens mij heb je geen enkel verstand van hoe een algoritme werkt. Er hoeft geen data met betrekking tot etniciteit te worden gebruikt. Zelfs dan kan een algoritme worden getraind met een bias waarbij het opsporen van mensen met een etnische achtergrond wordt gerelateerd aan een positieve actie. Dan kom je inderdaad alsnog tot de conclusie dat mensen met een migratieachtergrond onevenredig hard worden aangepakt. Het kan een blinde vlek zijn geweest in de data, maar dat maakt het nog steeds discriminerend. Ben ook erg benieuwd wat uit het onderzoek van AP komt.

Je verwijst naar een onderzoek van DUO, kun je laten zien welk onderzoek dit is?

[Reactie gewijzigd door Rhinosaur op 23 juli 2024 15:06]

[Rhinosaur]

Ik weet precies hoe algoritmes worden ontworpen en ook hoe foute algoritmes tot stand komen. Ik ben afgestudeerd in AI en ethiek en ik werk mee in projecten waar algoritmes worden ontwikkeld.

Algoritmes pikken niet zomaar iemand uit. Algoritmes moeten eerst getraind worden en als je dat trainen doet met foute/slechte data krijg je een slechte algoritme dat gaat discrimineren.

Het algoritme heeft hier waarschijnlijk geleerd dat mensen die ingeschreven staan bij familieleden kunnen frauderen doordat het een van de datapunten was. Dat komt niet omdat het daadwerkelijk zo is, maar een of ander manager of data-scientist of data-engineer heeft bedacht dat dit misschien wel een goede indicator kan zijn (op basis van zijn onderbuikgevoel). Dus nu heeft het algoritme dit geleerd en houdt dan in de uitwerking geen rekening meer met de rest, want daar is die niet op getraind.

Een goede dataset moet geprepareerd worden. Als deze onderbuikgevoelens werden voorgelegd aan een ethische commissie, zou deze dataset nooit goedgekeurd worden. Dit zijn uiteindelijk indirect discriminerende kenmerken. De data is ook niet representatief, er moet een goede mix zijn van alle soorten data (met name in fraude opsporing!). Als je je algoritme traint met data van bijvoorbeeld mensen uit de Bijlmer die sinds de jaren ‘90 wonen gaat je algoritme hier altijd op discrimineren, omdat het voornamelijk om mensen gaat met een niet Nederlands achtergrond. Dan maakt het niet eens uit wat je business case precies is.

Nogmaals mijn eerdere vraag: heb je ook ergens een link naar het onderzoek van DUO waar je het over had? Heb je misschien een bron van wat je hierboven beweert over het DUO algoritme?

[Reactie gewijzigd door Rhinosaur op 23 juli 2024 15:06]

[thunder8]

Het algoritme heeft hier waarschijnlijk geleerd dat mensen die ingeschreven staan bij familieleden kunnen frauderen doordat het een van de datapunten was. Dat komt niet omdat het daadwerkelijk zo is, maar een of ander manager of data-scientist of data-engineer heeft bedacht dat dit misschien wel een goede indicator kan zijn (op basis van zijn onderbuikgevoel). Dus nu heeft het algoritme dit geleerd en houdt dan in de uitwerking geen rekening meer met de rest, want daar is die niet op getraind.

Om te kunnen frauderen met je studiebeurs, moet je dus aangeven dat je uitwonend bent, anders krijg je niet meer geld. Het kon de afgelopen jaren alleen als je MBO deed, WO en HBO kenden de afgelopen jaren geen uitwonende beurs. Dus even resumé: Je kan alleen extra geld krijgen als je uitwonend bent en MBO doet. Om te kunnen frauderen en dus te zeggen dat je uitwonend bent, maar daadwerkelijk thuis woont, moet je dus ingeschreven staan op een adres anders dan je ouders. Je kan niet zomaar op een adres van vreemden inschrijven, dan loop je al heel snel tegen de lamp, aangezien je post daar ook heen gaat. Resultaat: om de minste kans te lopen tegen de lamp te lopen, ga je je dus inschrijven op het adres van familie die hieraan wil meewerken. Hiermee is de kans op frauderen dus het grootst bij mensen die MBO doen, uitwonend zijn en bij familie staan ingeschreven. Het lijkt mij evident dat je dan je algoritme zo instelt om alle studenten die aan deze voorwaarden voldoen, uit het systeem te laten komen en te controleren of er daadwerkelijk sprake is van fraude. Dus vertel mij waarom het geen goede indicator zou zijn en wat jij daarvoor in de plaats zou gebruiken?

Nergens in dit algoritme is nu gekeken naar de naam van de student en eventueel het bekend zijn van een migratieachtergrond. Dat doet ook niet ter zake op dat moment, want de voorwaarden waar je aan moet voldoen om te kunnen frauderen zijn simpel: MBO, Uitwonend, inwonend bij familie.

Uit het artikel van de NOS: “Bijna 10.000 studenten zijn de afgelopen tien jaar door DUO beschuldigd van fraude. Ruim 6000 studenten gingen in bezwaar, van wie een op de vijf gelijk kreeg. Verder waren er bijna 1500 rechtszaken, waarbij een kwart van de studenten de zaak won.” - 20% van de studenten die in beroep gingen, en 25% van de studenten die een rechtszaak aanspanden kregen achteraf gelijk! Dat vind ik echt bizar hoog, gemarkeerd worden voor controle kan serieuze gevolgen voor je hebben, want je zult de boete in sommige gevallen wel alvast moeten betalen, terwijl achteraf kan blijken dat je niks hebt misdaan.

Even rekenen: 1 op 5 van 6000 kregen gelijk qua bezwaar: 1200 studenten. 1500 rechtzaken en kwart wint, 375 studenten. Van de 10.000 studenten die van fraude beticht werden, kwam er in 1200+375= 1575 gevallen uit dat er geen fraude heeft plaatsgevonden. Dat betekent dus dat in 84,25% van de onderzochte gevallen er wel sprake was van fraude. Dat vind ik an sich al een best goede score. Dat er nog wat verbeterd moet worden om dat percentage verder omhoog te krijgen, lijkt me duidelijk. Door het onderzoek beter uit te voeren en het resultaat daarvan beter te bestuderen, kan je verder bijschaven aan de fraudedetectie. Maar dit is al nadat het algoritme de eerste schifting heeft gedaan. Hoeveel fraude door het algoritme niet is gevlagd, is natuurlijk niet bekend. Maar door het algoritme zo strak mogelijk alleen te laten kijken naar de parameters die noodzakelijk zijn om fraude te plegen, kan dat alleen maar een verwaarloosbaar deel van de fraude gevallen zijn, die niet worden onderzocht.

[Rhinosaur]

Ik heb in mijn vorige comment al heleboel uitgelegd, los van dat je verhaal niet helemaal klopt, is er nog iets anders wat ik wil aankaarten in je comment.

Dat betekent dus dat in 84,25% van de onderzochte gevallen er wel sprake was van fraude. Dat vind ik an sich al een best goede score.

De 84,25% die je opnoemt als ''best goede score'' is belachelijk en schrikbarend laag. Bij fraudedetectie wil je eigenlijk altijd 95% of hoger scoren. Dan nog betekent het niet dat je algoritme een bias mag hebben. Je algoritme (als die rule-based is) moet voldoende goede indicatoren hebben. Die kan ik niet ter plekke verzinnen zoals jij suggereert, dat is een uitgebreid onderzoek waarbij je de data goed leert kennen en langs een diverse commissie toetst om te bepalen of er een bias kan ontstaan.

En je veronderstelling dat je kan ''bijschaven'' is niet vanzelfsprekend bij een zelflerende algoritme. Dan kan je feitelijk heel je business case uit het raam smijten en opnieuw beginnen.

Stel je doet een onderzoek naar seksueel intimiderend gedrag in de organisatie en je scoort ''90% geeft aan geen seksueel intimiderend gedrag te ervaren". Dan is dat een cijfer om je kapot te schamen, want 10% ervaart nog steeds seksueel intimiderend gedrag. Dat is echt veel te hoog!

Maar door het algoritme zo strak mogelijk alleen te laten kijken naar de parameters die noodzakelijk zijn om fraude te plegen, kan dat alleen maar een verwaarloosbaar deel van de fraude gevallen zijn, die niet worden onderzocht.

En dat met een 84% accuraatheid op een populatie van meer dan 1 miljoen? Zwaar kansloos, dit is dus precies waarom de Toeslagenaffaire heeft plaatsgevonden.

[MSalters]

84% is een prima score voor een voorselectie. Sterker nog, dat is eerder te hoog dan te laag. Het probleem met 95% betrouwbare voorselecties is dat de fraude-onderzoekers de voorselectie als waarheid gaan aannemen.

[Rhinosaur]

Waarop baseer je dat? Het hangt ook af van het type algoritme. Moderne ML algoritmes bij creditcardfraude gevallen hebben een foutmarge van 3%. Sommigen halen zelfs 99% accuraatheid. Die voorspellen met 99% zekerheid dat een transactie verdacht is.

Bij dit soort gevallen houd je ook altijd rekening met de maatschappelijk schade. Je discrimineert, je jaagt studenten op hoge kosten, je wordt beschuldigd van iets waarvan het heel moeilijk is je onschuld te bewijzen, je studie komt in de knel, je loopt mogelijk baankansen mis, je wordt misschien wel ontslagen, je familie of vrienden kunnen ontvreemd raken, enz. Alles wijst erop dat dit een slechte algoritme is, er sprake is geweest van een self-fulfilling prophecy en er absoluut niet is nagedacht over de maatschappelijke gevolgen.

Voorselectie als waarheid aannemen is een kwestie van goede governance en beheermechanismen, maar heeft niet zoveel met het algoritme te maken.

Mijn stelling is dat fraudedetectie algoritmen niet mogen bestaan en de overheid hier per direct mee moet stoppen. Tenzij ze op enig moment zo getraind zijn dat ze heel accuraat worden (en dat kan met ANN), maar dat zijn ook black box algoritmen en voor fraudebestrijding is dat erg gevaarlijk.

[MSalters]

Ik baseer dit op 10 jaar werkervaring in AI, waar ook gebruik gemaakt wordt van mensen die de resultaten van een voorselectie verder beoordelen.

En mijn punt is dus dat een 95% accurate voorselectie lijdt tot de maatschappelijke schade die jij veronderstelt - de onschuldige 5% krijgt óók dat label. Maar een 50% nauwkeurige voorselectie heeft dat vele malen minder, precies omdat die niet accuraat is. Dat maakt expliciet dat mensen de uiteindelijke selectie moeten doen, en niet kunnen vertrouwen op het algoritme. Het algoritme is puur efiiciency; een random selectie zal maar ~1% accuraat zijn omdat de meeste mensen nu eenmaal niet frauderen.

[Rhinosaur]

Dank voor je uitleg, ik begrijp je benadering en het is erg logisch. Volgens mij werkt de Gemeente Rotterdam ook zo om uitkeringsgerechtigden te selecteren voor een onderzoeksgesprek. Echter, denk ik nog wel dat dit niet het uitgangspunt van DUO is geweest. DUO wilde m.i. het creditcardfraude-effect bereiken, maar daarvoor hebben ze niet de juiste benadering gekozen.

Ik denk dat als je in 2012 had geroepen bij DUO (of ergens anders bij de overheid) dat algoritme alleen maar een half accurate voorselectie doet, dat een manager daar meteen het project stopzet. Dat heeft meer te maken met de cultuur en aanwezige kennis.

[Jasper Janssen]

Maar het is niet de score van de voorselectie. Dit is de score voor mensen waarbij het onderzoek gedaan is en ze vervolgens fraude bewezen geacht hebben. “Bezwaar” is niet de stap die direct volgt op de voorselectie.

[thunder8]

Misschien mijn verhaal nog een keer lezen. Ik zeg niet voor niets, dat ik dat vind. Ik stel geen feit dat dat percentage extreem goed of slecht is. Jij stelt het als feit en niet als mening, dan hoor ik ook graag hoe je denkt dat percentage veel hoger te kunnen maken, door andere indicatoren te gebruiken die geen bias veroorzaken. Want ik heb nog nergens een argument gezien dat het systeem daadwerkelijk een bias heeft. Daarnaast zeg ik ook duidelijk dat het percentage nog hoger mag door gedegen onderzoek naar de mogelijke fraudegevallen. Als jij als student uitwonend bent, moet je dat ook kunnen bewijzen. Vroeger was een matrasje op het bewuste adres genoeg. Geen idee wat voor controles ze tegenwoordig doen, maar als ze constateren dat je tijdens je studie nooit op het adres te vinden bent, dan is dat een reden voor verder onderzoek bijvoorbeeld.

Je aangehaalde onderzoek naar seksueel intimiderend gedrag is een stropop vergelijking. Maar buiten dat wil ik best met je discussiëren waarom dat mogelijk helemaal geen veel te hoog cijfer is, maar dat valt volledig buiten de case die hier besproken wordt.

Toeslagenaffaire is ook weer een volledig andere zaak met een ander algoritme, waarbij we niet weten wat het percentage daar was. En wat voor fouten er zijn gemaakt met de opvolgende fraudeonderzoeken door rechercheurs. Enige overeenkomst is overheid vs burgers, waarbij in dit geval ook de rechtbank niet vrijuit gaat. Verder is er hier ook een verschil tussen een toeslag en een basisbeurs, wat geen toeslag is. Toeslagen gaan via de belastingdienst, de beurs via DUO. 2 Aparte organisaties.

Als overheid kan je het nooit goed doen. Als je dergelijke algoritmes en onderzoeken te vrijblijvend maakt, vallen er tig miljoenen door fraude in handen van fraudeurs. (zie Bulgarenfraude, 1 van de oorzaken voor het veel strengere beleid dat tot de toeslagenaffaire leidde) Zet je het allemaal veel te strak en sta je niet open voor individuele zaken, waarbij het niet zo zwart-wit is als gesteld, dan inderdaad kom je op de toeslagenaffaire uit. Waarbij ik al aanhaalde, dat de rechtbanken ook niet vrijuit gaan. Als die hun werk naar behoren hadden gedaan en de overheid niet bij voorbaat hadden geloofd, was het nooit zover gekomen.

Geen algoritmes meer gebruiken als overheid, zoals je hieronder stelt, is alleen mogelijk als je dan ook stopt met toeslagen op voorhand uit te delen. Dan moet je terug naar een tijd om pas achteraf, met bewijzen het geld terug te geven aan de burger op basis van de inkomstenbelasting. Want op voorhand zonder enige fraudedetectie, goed of slecht, zet de deur wagenwijd open voor massale fraude, waarvan je nadien maar moet zien als overheid dat je dat geld terug krijgt. En dat geld komt van ons allemaal, de belastingbetaler. En voor veel toeslagen geldt dat het pas achteraf maanden/jaren later terugbetalen voor heel veel mensen niet te doen is qua voorschieten.

[NuEffeNiet]

Dus jij denkt dat de algoritmes die bij DUO gebruikt worden allemaal gebruik maken van AI?

Ik denk dat je dan van een koude kermis thuis zult komen. Ik vermoed dat het voornamelijk regel gebaseerde systemen zullen zijn waarbij jouw redenering maar heel beperkt opgaat.

‘If your only tool is a hammer everything starts looking like a nail’ is hier denk ik een beetje van toepassing. Door het feit dat jij veel kennis hebt van AI denk je automatisch dat ze het op zo’n manier opgelost hebben. Mijn ervaring is dat, hoewel AI steeds vaker toegepast wordt, het bij dat soort instanties vaak nog in de kinderschoenen staat en nog niet in productie draait.

[sympa]

Als die studenten daar niet wonen om te frauderen, maar omdat ze daar beter kunnen studeren, dan is het stellen van die vraag dus discriminerend.
Want de vraag geeft dan aan of iemand misschien een migratieachtergrond heeft. En niet of iemand fraudeert.
Dat de onderzoeker zegt "ja maar ik vind het vreemd" is onvoldoende en zegt heel veel over die onderzoeker.

[cordonbleu]

Om in aanmerking te komen voor de uitwonende beurs moet je uitwonend zijn. Dus jouw verhaal gaat niet op als ze dat adres alleen gebruiken om te studeren. Het gaat om uitwonend zijn of niet. Daar hebben deze studenten over gelogen.

[sympa]

Dat is helemaal geen feit, dat ze er niet zouden wonen.

[frietfriet]

Alsjeblieft houd op. Rhinosaur heeft precies uitgelegd wat er mis kan gaan in AI door bias in de data.
Reageer daar inhoudelijk op een leg uit waarom het niet klopt.
Ja er zijn fraudeurs en ja ook onder allochtonen maar als je algoritme alleen hen er uitpikt om te controleren lijkt het alsof zij meer frauderen dan de anderen. Wat begrijp je hier niet aan?

[koelpasta]

Ik plak het nogmaals in deze thread, zodat ook jij kunt lezen hoe het DUO te werk gaat...
https://www.groene.nl/artikel/ik-dacht-gewoon-ik-pak-je

[sympa]

"Ik gebruik geen etniciteit, maar ik heb ontdekte dat mensen met de lettercombinatie 'oui' of 'ouad' in hun naam niet zo vaak een jurist in hun sociale netwerk hebben".

[HollowGamer]

Ho ho, dit mag je niet zeggen van Linkse partijen. Foei!

M.a.w. word ik moe van het politieke gepraat over dit soort onderwerpen. Je bent tegenwoordig meteen extreem rechts bezig als je bepaalde doelgroepen belicht. Er zijn nu eenmaal statistieken dat bepaalde groepen meer voorkomen in misdaad bijvoorbeeld, of dat bepaalde sexuele ziektes voorkomen in bepaalde groepen. Dat is niet om die groepen mensen in een slecht daglicht te zetten, maar als het eenmaal daar meer voorkomt, waarom zou je er dan niets mee doen? Die dienst is er toch om fraude op te zoeken? Energie kun je beter steken in de grote groepen en met algoritmes + steekproeven de rest opsporen.

Zelfde met zware mensen en rokers bijvoorbeeld, daar komt nu eenmaal meer ziektes (helaas) voor. Dat kun je wel zeggen dat het oneerlijk is voor zware mensen, maar je kan daar ook weer komen tot oplossingen en ook daar goed onderzoeken.

Ik heb vrij linkse standpunten, maar ben wel op migratie vrij rechts. Het blijft vaag dat je daarover bijna niets mag zeggen, of dat je bijvoorbeeld bent voor hardere regels (zoals een periode waar je verblijfsvergunning zou kunnen worden ingetrokken bij bepaalde vergrijpen). Het is niet discriminerend bedoeld, want voor mij zijn mensen welkom die iets toevoegen aan onze maatschappij, daar horen gelukszoekers niet bij (sorry, maar ze zijn er) en die nemen de plaats in van mensen die zich wel willen aanpassen.

Kijk bijvoorbeeld naar Frankrijk, daar zijn erg veel problemen met migranten. Daarmee doel ik niet alleen op het laatste incident, maar complete steden waar je niet veilig bent of worden gerund door drugsbendes (wat je hier ook al krijgt).

TLTR; je wordt tegenwoordig meteen in een kamp geduwd. ZML heeft hier jaren geleden een goed filmpje over gemaakt. De media is er ook schuldig aan, want hits. En de politiek doet het om te scoren voor hun achterban. Oh ja, cancel culture is tegenwoordig ook in.

[Reactie gewijzigd door HollowGamer op 23 juli 2024 15:06]

[Keypunchie]

Er zijn nu eenmaal statistieken dat bepaalde groepen meer voorkomen in misdaad bijvoorbeeld, of dat bepaalde sexuele ziektes voorkomen in bepaalde groepen. Dat is niet om die groepen mensen in een slecht daglicht te zetten, maar als het eenmaal daar meer voorkomt, waarom zou je er dan niets mee doen? Die dienst is er toch om fraude op te zoeken?

Het probleem hier is
A ) die statistieken zijn er helemaal niet. Er is nooit onderzoek gedaan naar welke groepen fraudeerden. Er is op basis van een commissie-overleg een profiel opgesteld met 'signalen', waar m.n. "wonend bij familie" en "MBO" hoog scoorden. Kenmerken die voor veel studenten met migratie-achtergrond gelden

B ) Het algoritme heeft mensen geselecteerd, waar na controle een beschuldiging plaatsvond, waar vervolgens in 16% van de gevallen aantoonbaar een onschuldig iemand bleek te zijn beschuldigd. We weten niet, maar het is best aannemelijk dat er nog meer onterecht zijn beschuldigd, want helaas geldt er in deze "omgekeerde bewijslast": de beschuldigden moeten bewijzen dat ze onschuldig zij.

Dit verschrikkelijk hoge percentage miskleunen zegt zowel iets over dat algoritme, als over de kwaliteit van de controles.

[Reactie gewijzigd door Keypunchie op 23 juli 2024 15:06]

[HollowGamer]

Dit heb je hierboven al gepost, maar zou graag daarvan een bron willen zien. Niet dat ik je niet geloof, maar dan krijg je wel een duidelijker beeld.

A ) Het kan zijn dat die commissie zich gebaseerd heeft op gegevens die al bekend waren bij DUO. Het lijkt me nogal vaag als je MBO en wonend bij familie als leidraad neemt. Ik neem aan dat je een profiel opbouwt met kenmerken en een helder beeld. Als hier inderdaad maar iets is geroepen, dan neem ik mijn woorden terug.

B ) Dat betekend dat in 84% van de gevallen het dus wel terecht was? Zo gezegd, zonder een heldere manier van cijfers/bronnen, is het moeilijk om hier een helder beeld van te krijgen. Hoeveel is bijvoorbeeld in beroep gegaan? Waar was de bewijslast op gebaseerd?

Ik vind die 16% nog reuze meevallen. Aangezien je dus in hoger beroep kan gaan, en DUO dan toch kan worden teruggefloten.

Maar zoals gezegd, zonder de rest eromheen, kan je geen volledig terecht beeld krijgen wat klopt, waar ik mijzelf dus ook schuldig aan maak.

[Reactie gewijzigd door HollowGamer op 23 juli 2024 15:06]

[Keypunchie]

https://www.groene.nl/art...ocial&utm_source=linkedin

Het profiel:

Een algoritme en risicoprofiel moeten Duo helpen fraudeurs aan te pakken, besluit minister Plasterk in 2009. Maar waar begin je als je niet weet wie fraudeert en wie niet? Hij besluit een ‘workshop risicoprofiel’ te organiseren, waarin betrokken partijen van ‘gedachten wisselen’ over ‘de mogelijke kenmerken’ van het algoritme. Daarna gaat het snel. Duo geeft een voorzet voor een ‘voorlopig risicoprofiel’ en stuurt handhavers langs bij de hoogrisicoadressen.

84% wel terecht? Ik denk het eerlijk gezegd niet. Zo verloopt een van de huisbezoeken.

Bij student Dimitros, die bij zijn opa en oma was ingetrokken omdat hij thuis veel ruzie had, kennen controleurs ook geen twijfel. Hij is op school wanneer de handhavers een huisbezoek komen afleggen, zijn oma doet open. De kamer waar Dimitros zou wonen, doet wat ouderwets aan, merken de controleurs op. Dat kan kloppen, vertelt zijn oma: het is de oude slaapkamer van Dimitros’ moeder, de foto’s die er hangen zijn nog van haar. Hij slaapt er vijf of zes nachten per week, heeft een eigen sleutel en betaalt driehonderd euro per maand aan huur. Maar de onderzoekers zien nauwelijks spullen van hem en weten genoeg: Dimitros fraudeert. Achttien minuten nadat ze aanbelden, staan ze weer buiten.

De rechter maakt korte metten met het onderzoek: hoeveel kun je in zo korte tijd nu onderzoeken? De controleurs zijn niet in andere kamers geweest en hebben de kasten in zijn slaapkamer niet geopend. Anders hadden ze zijn kleding en de doos met 144 condooms naast zijn bed wel gevonden. ‘Of zouden die van opa moeten zijn?’ grijnst Dimitros’ advocaat wanneer hij ons het dossier laat inzien.

In dit geval kon Dimitros zich een goede advocaat aanmeten. Maar als dit het niveau van de controles is, dan denk ik dat dat percentage niet wordt gehaald.

In de statistiek wordt overigens meestal iets pas "echt" statistisch significant gevonden als het p=0,05 haalt. Oftewel, als 95% van de gevallen correct is.

In dit geval zijn er 25000 huisbezoeken gedaan, waar na afloop 8500 fraudeurs overbleven. Dus het "risicoprofiel" identificeerde zelfs als je alle overgebleven gevallen als echte fraude beschouwt (wat ik zeer sterk betwijfel), welgeteld in 34% van de totale gevallen een authentiek fraudegeval.

En deze zouden dan ook nog eens praktisch allemaal studenten met migratieachtergrond zijn?

Daar zit iets scheef.

[Reactie gewijzigd door Keypunchie op 23 juli 2024 15:06]

[ErikT738]

Zo verloopt een van de huisbezoeken.

Ik hoop dat die inspecteurs op het matje zijn geroepen. Ergens bij DUO moet iemand hier toch helemaal niet blij mee zijn? Dit soort kansloze rechtszaken kosten tijd en geld.

Het zal wel weer niet, maar ergens zullen toch gewoon mensen met goede bedoelingen werken?

Edit - Integere inspecteurs zouden er voor moeten zorgen dat een fout algoritme uiteindelijk wordt hersteld. Ik kan gewoon niet bevatten waarom een inspecteur zo slordig zijn werk zou doen. Werken ze met targets of iets dergelijks?

[Reactie gewijzigd door ErikT738 op 23 juli 2024 15:06]

[MSalters]

Ik snap je frustratie, maar dit is een overheidsorganisatie. "Ergens bij DUO" - zo werken overheden niet. Er zijn ongetwijfeld tientallen ambtenaren die er niet blij mee zijn. Maar die hebben niet de bevoegdheid om er iets aan te doen. En op de nivo's waar dat wél het geval is, is er geen gevoel van verantwoordelijkheid - dat zagen we aan de Toeslagenaffaire.

[HollowGamer]

Hmm, ik denk dat je gelijk hebt en ik mijn woorden moet terugnemen.

Er zijn genoeg voorbeelden van falende controleurs en zelfs al voorop gestelde doelen. Dus begrijp dat er dus misverstanden zoals deze voorkomen. Ook heb ik gelezen en gezien hoe moeilijk het is om bij overheidsinstanties je gelijk te halen (kosten en goede advocaat vinden), dus daar heb je ook een punt. Laat staan dat ze ophouden, als je eenmaal gelijk hebt gekregen.

Het is ook erg raar dat je een profiel doet opmaken in het luchtledige. Dat werkt niet, omdat je inderdaad een vertekend beeld gaat krijgen. Je verzint ook niet zomaar een auto, je kijkt naar cijfers en feiten en past daar het model op aan.

[sympa]

En sommige criteria of doelen mag je niet meenemen in je model.
Een auto met vlammenwerper achterop mag niet, hoe goed dat ook zou verkopen.

[n4m3l355]

Dat 84% fraudeert in de ogen van Duo is natuurlijk lachwekkend. Slechts 20% van de studenten gaat in beroep waarvan 16% wint. 80% gaat niet in beroep, dat wilt niet zeggen dat ze schuld bekennen. Dit zijn stuk voor stuk minder welgestelde studenten met een migratieachtergrond, die kunnen het zich niet veroorloven om in beroep te gaan cq weten niet hoe dat gaat. Die hebben niet de support die menig niet migrant heeft. Duo zou zich moeten schamen maar net zoals de toeslagenaffaire, is dit volgens de overheid helemaal ok. Schandalig.

[jeanj]

Als eerste prima posting, maar wat ik wel grappig vind is dat jij en ook andere in de discussie de cijfers van de 84 vs 16% verkeerd benoemen. Hierboven is als gezegd dat in de 84% "frauders" mogelijk ook mensen zitten die toch onschuldig zijn en die om redenen niet in bezwaar gaan. Echter omgekeerd kan ook, in de 16% "niet fraudeurs" kunnen mensen zijn die toch fraude hebben gepleegd.

Het voorbeeld wat jij aanhaalt van Dimitros, daar heeft de rechter geoordeeld dat er niet voldoende bewezen is dat er sprake was van fraude door het uitvoeren van een slecht huisbezoek, maar hij kan nog steeds een fraudeur zijn die uiteindelijk niet gepakt is.

[Keypunchie]

Gelukkig is er "Onschuldpresumptie". Dat we best dingen controleren, maar wel er van uitgaan dat tenzij we dingen zien die niet in de haak zijn, dat we uitgaan dat mensen onschuldig zijn.

En dan is hier nog eens omgekeerde bewijslast wanneer de inspecteur van DUO het zegt, wat het al lastig maakt. (Mij komt het ook nog eens over dat de controleurs ook echt op pad zijn gegaan met vooringenomenheid. Voelden ze misschien druk om een onofficieel 'target' te halen?)

Aan het einde van de rit, maakt het niet eens zoveel uit. Een systeem dat zoveel correcties nodig heeft via bezwaarprocedures danwel rechterlijk ingrijpen is gewoon niet effectief en belast onschuldige burgers veel en veels te veel.

[Reactie gewijzigd door Keypunchie op 23 juli 2024 15:06]

[koelpasta]

Gelukkig is er "Onschuldpresumptie".

Ik denk dat je een te naief beeld hebt van onze rechtsstaat:

"Plasterk pakt het grondig aan. Hij laat onderzoek doen, naar voorbeeld van ‘het terrein van de kinderopvang’, waar de risico’s op misbruik van de kinderopvangtoeslag eerder al in kaart waren gebracht. Zo kon er geleerd worden van ‘good practices bij andere organisaties’. Ook zet hij in op een wetswijziging: hij hanteert een strengere definitie van een uitwonende student, draait de bewijslast om zodat het aan studenten is om te bewijzen dat ze ergens wél wonen en roept een flinke boete voor fraudeurs in het leven."

https://www.groene.nl/artikel/ik-dacht-gewoon-ik-pak-je

[sympa]

Zelfs al zou je gelijk hebben, dan nog mag je hier niet op discrimineren.
Omdat het oneerlijk is tegenover die 99% van niet frauderende niet stelende niet dealende mensen met migratieachtergrond namelijk.
En aangezien je je achtergrond niet kan veranderen, doen we dat niet.
Moet je de mensen opsporen die écht stelen, of die écht drugs dealen. Dat is natuurlijk wel meer werk.

[frietfriet]

Maak er geen tribale discussie van. Het gaat niet om links of rechts. Iedereen mag zijn zegje doen. Waar het om gaat is of de algoritmes bias hebben. Zo ja: stoppen. Zo nee: gewoon gebruiken.
En als er bias in zit moet uitgezocht hoe die er in geslopen is om te leren en voorkomen dat dat op andere plekken bij fraude bestrijding gebeurt. Het is nu al een paar keer gebeurd bij overheidsinstanties met funeste gevolgen voor de slachtoffers.
De overheid dient het volk niet andersom.

[Qwerty-273]

Uit de controle van DUO is juist gebleken dat vooral jongeren met een migratieachtergrond frauderen. Deze bleken op een paar km afstand van hun ouders te 'wonen' en kregen dus een uitwonende beurs, terwijl ze gewoon nog thuis woonden.

Of staan ze juist bij familie ingeschreven omdat ze vaker niet dan wel de kans krijgen om een schaarse studentenkamer te kunnen bemachtigen? Een kamerverhuurder zal wellicht liever een Henk of Ingrid als huurder zien dan een persoon met een migratieachtergrond (cq een kind van ouders met een migratieachtergrond). En dat binnen bepaalde groepen er een sterkere culturele achtergrond is om elkaar te helpen (cq zorgen dat een neefje/nichtje in kan komen wonen), en daar niet direct een financieel gewin achter kan/mag liggen.

Het probleem met algoritmes is dat je met een op het eerste gezicht "duidelijke factor" opeens wel bepaalde groepen in- of uitsluit. En dat de focus dan onevenredig op slechts een deel van alle beurzen wordt geforceerd - om daar weer een "aha zie je wel" conclusie aan te hangen omdat uitgesloten groepen niet meer in beeld komen.

[cordonbleu]

In deze gevallen gaven de studenten aan DUO door dat ze op het adres van familie woonden en dus uitwonend waren. Tijdens controle van DUO bleek echter dat deze studenten geenszins op het familieadres woonden, maar dus gewoon bij hun ouders. Dat is uiteraard een redelijk eenvoudig uit te voeren controle.

[Shamalamadindon]

Dat is uiteraard een redelijk eenvoudig uit te voeren controle.

Daar was de rechter het echter mee oneens toek controleurs met een kwartiertje controle de conclusie trokken.

[M3m30]

wie zegt dat? probeer het eens te winnen van de staat..toeslagen affaire gemist?
Het aantal tandenborstels bepaald of jij fraudeert + een paar vage argumenten van mensen in de buurt.

[Keypunchie]

De wereld wordt hier weer op z'n kop gezet, letterlijk! Uit de controle van DUO is juist gebleken dat vooral jongeren met een migratieachtergrond frauderen

Wat een kul, het enige is gebleken is wat de Speld zegt:
"Mensen met migratieachtergrond vaker betrapt op fraude dan mensen die niet gecontroleerd worden"

[kiang]

Dit is de realiteit die wordt omgedraaid om te kunnen voldoen aan de politiek gewenste werkelijkheid

Nu draai je de situatie zo hard om dat ik niet weet of ik moet lachen of huilen.

Alles wat jij roeptoetert is net jouw "gewenste werkelijkheid" en is precies wat velen vanwege hun onderbuikgevoel als realiteit zien, terwijl het niet op feiten gebaseerd is. Wat jij beweert is totaal geen politiek taboe, sterker nog, dit soort racistisvh onderbuikgevoel "buitenlanders frauderen!" is net de hoeksteen van vele partijen hun strategie om stemmen te winnen.

Jij beweert nu dat het racistische systeem van de DUO terecht is, want je wijst naar de uitslagen ervan, maar de enige conclusie die je er uit kan trekken is "studenten met migratieachtergrond frauderen vaker dan studenten die nooit gecontroleerd worden". Andere studenten worden namelijk volledig buiten schot gehouden.

[Reactie gewijzigd door kiang op 23 juli 2024 15:06]

[MennoE]

Wordt de wereld letterlijk op z'n kop gezet? Dat is wel wonderlijk

[sympa]

Als je van opzij kijkt staat de wereld na 12 uur weer op z'n kop, en na weer 12 uur staat ie weer rechtop...

[koelpasta]

De wereld wordt hier weer op z'n kop gezet, letterlijk! Uit de controle van DUO is juist gebleken dat vooral jongeren met een migratieachtergrond frauderen.

Sorry hoor, maar het DUO is een laffe onkundige organisatie die vooral erg van de 'natte vinger' methode is en helemaal niks kwaads ziet in het eigen handelen.

https://www.groene.nl/artikel/ik-dacht-gewoon-ik-pak-je

[Horatius]

Oke dus een onderzoek van de NOS en een onderzoeksplatform hebben bevindingen gedaan dat DUO discrimineert. Moet de AP dit dan niet onderzoeken? Het is een onderzoek, niemand is nog veroordeelt of rechterlijk beschuldigt door een instantie.

Ik heb vertrouwen in onze instanties en rechterlijke macht dus wacht dit onderzoek af. Dit is perfect hoe de zaken zouden moeten lopen.

je bent hier minstens net zo schuldig een kleurtje aan te geven, je kan ook een neutrale nuance plaatsen.

[Reactie gewijzigd door Horatius op 23 juli 2024 15:06]

[Horatius]

Wat zeg ik dat niet waar is? Ik herhaal mijzelf maar weer, ja DUO is beschuldigd van fraude discriminatie door de NOS en investico. Op basis hiervan gaat de AP onderzoek doen of dit klopt, ze gaan hun taak uitvoeren.
Daaruit kan nogsteeds een ja of een nee komen.

Ik vertrouw dat de AP alles meeweegt en tot een juiste conclusie komen met alle feiten. Mocht DUO het daar nogsteeds niet mee eens zijn dan kunnen ze naar de rechter stappen en heb ik daar nogsteeds vertrouwen in. De NOS is een journalistiek platform geen uitvoerende macht.

Dit artikel gaat over instantie A die instantie B gaat controleren omdat een journalistiek platform iets bericht. Einde bericht.

[Reactie gewijzigd door Horatius op 23 juli 2024 15:06]

[Horatius]

Woops dankje voor het opmerken van een typfout, had natuurlijk discriminatie moeten zijn. Maak mijzelf wel snel belachelijk met een typfout bij jou, poh.
Trouwens bedankt voor het ingaan op mijn bericht .

[Reactie gewijzigd door Horatius op 23 juli 2024 15:06]

[Djerro123]

Voordat er moord en brand wordt geschreeuwd, kunnen we ook eens kijken naar de populatie van advocatenkantoren die hiervoor bevraagd zijn.

De voorbeelden waarmee de NOS kwam, waren duidelijk kantoren met roots in de “migratie populatie”, en die worden uiteraard sneller benaderd door studenten met migratie achtergrond dan door Henk en Ingrid de Bedrijfskundestudenten.

DUO heeft aangegeven dat nationaliteit, etniciteit en migratiestatus geen input is in het model. Dat ze mensen eruit pikken die staan ingeschreven bij familieleden, en dat dit vaker voorkomt bij migratie studenten, betekent niet dat er gediscrimineerd wordt.

En dan zeg ik maar niks over hoeveel van de beschuldigingen terecht bleken te zijn.

[Cobalt]

Hier kan je berekenen hoe jouw situatie beoordeeld werd bij de toeslagen affaire https://fraudescorekaart.lighthousereports.nl/ en dit hoort bij het artikel https://www.vpro.nl/argos...bijstandsfraudebingo.html en https://www.nrc.nl/nieuws...edetectiemethode-a4134635

Laag inkomen in een hoog risico wijk met meerder mensen op 1 adres op een studentenkamer dan scoro je al snel adresfraude, zwarte fraude, witte fraude

[Reactie gewijzigd door Cobalt op 23 juli 2024 15:06]

[Djerro123]

Allereerst; de link die je geeft gaat over risico indicatoren voor *bijstands*fraude. Dat heeft werkelijk waar helemaal niks met toeslagen affaire te maken.

Als tweede; je kan niet iedereen evenveel controleren. Je probeert resources zo effectief mogelijk in te zetten, zodat je de meeste schade aan de maatschappij voorkomt of oplost. Dat betekent dus automatisch dat je naar indicatoren kijkt.

Het een algoritme noemen maakt het fancy, maar ik zie hierin niks anders dan de ervaring van deskundigen gebruiken om de maatschappij beter te bedienen (enerzijds publieke middelen goed in zetten, anderzijds slechte actoren in de maatschappij aanpakken).

Als derde; niemand is schuldig verklaard hierdoor, die ook niet schuldig verklaard zou worden bij random controles.

[sympa]

Als de bewijslast omgekeerd is dan is een veroordeling heel dichtbij hoor.
Wijziging: en die verkeerde beschuldigingen vallen nu in een bepaalde groep. Dat is echt anders dan willekeurig.

[Reactie gewijzigd door sympa op 23 juli 2024 15:06]

[Djerro123]

Bewijslast is niet omgekeerd dus dat is mooi dan.

[Remc0_]

Dat je er niet op selecteert en deze datapunten achterwegen laat betekent niet dat je niet toch op deze punten kan filteren. Bijvoorbeeld als veel mensen met een migratieachtergrond, meer dan mensen zonder migratieachtergrond, bij familie gaat wonen. En je selecteert op mensen die bij familie gaat wonen, sorteer je indirect ook op migratieachtergrond.

Een goed voorbeeld hiervan is Amazon met hun hiring 'ai' https://www.reuters.com/a...ion-insight-idUSKCN1MK08G

[Djerro123]

Maar hier maak je echt een cruciale denkfout. Wat je beschrijft is namelijk geen discriminatie; het is oververtegenwoordiging van een ander kenmerk in de populatie met het hoofdkenmerk waarop gefilterd is. Als 90% van de fraude gevallen bij familie-ingeschreven studenten plaatsvindt, dan zijn we niet aan het selecteren op 'migratie achtergrond studenten'. Dan zijn we aan het selecteren op een kenmerk wat de vrije keuze was van die persoon, een kenmerk die gewoon een indicator is van een verhoogd risico.

Misschien is dit wel een oplossing:

50% van de capaciteit om fraude op te sporen en te behandelen mag gebruik maken van een algoritme, en 50% van de capaciteit wordt ingezet om random (lees: steekproefgewijs) te controleren op fraude en te behandelen. Dan kan elk jaar een rapport worden uitgebracht op basis van die tweede groep, waarin de input parameters en hun gewicht in het 'algoritme' (in quotes want het is waarschijnlijk niet meer dan een if-else of een excelsheetje) worden toegelicht, ge-evalueerd en eventueel worden aangepast/verwijderd/toegevoegd.

Iedereen blij?

[Remc0_]

Nee dit is geen denk fout, als ik niet wil selecteren op man of vrouw, maar alle mannen spelen voetbal en alle vrouwen spelen tennis. En ik ga selecteren op sport, selecteer ik uiteindelijk nog steeds op man of vrouw.

Nu zou je kunnen constateren dat bij voetbal spelende mensen meer fraude voorkomt, dus dan is het misschien logisch om daar op te selecteren. Maar vaak weet je niet wat je false negatives precies zijn, dus is dit lastig te zeggen. Uiteindelijk draait het erom dat op het moment dat je zegt: Ik selecteer niet op punt A, maar je kan punt A afleiden van punt B, en je selecteert wel op punt B. Je uiteindelijk nog steeds op punt A selecteert.

Dit is als antwoord op de qoute:
DUO heeft aangegeven dat nationaliteit, etniciteit en migratiestatus geen input is in het model.

[ErikT738]

Het is echter wel een beetje de vraag of je punt A niet altijd af kunt leiden van punten B, C, of D (of een combinatie daarvan). Mag er dan op geen enkel punt een voorselectie worden gemaakt? Prima als dat de uitkomst is, maar door te selecteren op "uitwonend bij familie" volgt het DUO naar mijn idee zowel de intentie als de letter van de (huidige) wet.

[Remc0_]

Nee dat ben ik helemaal met je eens, alleen geeft de journalistiek nu dus signalen af dat de huidige selectie misschien toch te veel selecteert op mensen met een migratie achtergrond. Want bedenk je wel, als er een groot percentage dus 50-60% van de fraude zaken te maken hebben met mensen met een migratie achtergrond.
Terwijl deze groep mensen relatief klein is, we waarschijnlijk een gigantische hoeveelheid fraude missen bij mensen zonder migratie achtergrond. Want het lijkt me sterk dat mensen met migratie achtergrond vele malen vaker fraude plegen.

[Kwakkel]

Want het lijkt me sterk dat mensen met migratie achtergrond vele malen vaker fraude plegen.

Maar misschien klopt het wel?
(Geen idee of dat zo is, maar als je bvb ziet dat er in bepaalde landen in de EU al anders naar corruptie e.d. wordt gekeken, dan zal dat in sommige landen buiten de EU zeker ook het geval zijn.)

[Remc0_]

Het zou kunnen dat het klopt maar dat is lastig met zekerheid te zeggen. Je kan met random inspecties een redelijk beeld krijgen maar dat kan uiteindelijk nog steeds verdraaid zijn.

Bij veel statistiek en ML wordt er uitgegaan van een Guassian distributie, bij netwerk theory heb ik ook wel Powerlaw distributies gezien.

Maar uiteindelijk is er rede tot twijfelen aan de correctheid van deze analyse. En bovendien is het ook schadelijk om veel false positives in bepaalde groepen mensen te hebben. Laten we ook maar niet beginnen over het feit dat DUO medewerkers handmatig uitkozen wie er dan uiteindelijk gecontroleerd ging worden.

[TheDutchChief]

Het hele vervolgtraject na de algoritmische selectie gaat ook nog wel een staartje krijgen. Ik begreep dat regelmatig aan een overbuurman gevraagd is of ze wel eens een student hadden gezien en de rechter automatisch met twee verklaringen van DUO akkoord ging. Dat met student dan de neef van de bewoner bedoelt werd had de overbuurman vaak niet eens in de gaten. Wordt een toeslagenaffaire 2.0

[sympa]

Student? Nee die zag ik niet. Alleen de neef. Oh studeert die?

[sympa]

Dat laatste is ook heel schadelijk. Zo was er een online bedreiging in het nieuws, waar de politie niet achteraan gingen toen ze zagen "dat het van het IP-adres van die nette aannemersbaas" kwam. Dat kan toch niet denken ze dan, slaan we wel over...

[Djerro123]

Terwijl deze groep mensen relatief klein is, we waarschijnlijk een gigantische hoeveelheid fraude missen bij mensen zonder migratie achtergrond.

En hier mag je dus echt een goede onderbouwing voor geven. Want als je dat niet kan, dan roep je dus maar wat.

[Remc0_]

Omdat er namelijk voor een overgroot gedeelte bij mensen met migratie achtegrond is onderzocht, en niet bij mensen zonder. In machine learning en statistiek neem je dan aan dat de volledige data set zich dan ook op een gelijkwaardige distributie heeft van fraude/niet-fraude zaken.

Deze hypothese kan je pas verwerpen als je alpha en beta tests uitwijzen dat de hypothese incorrect is.
Alpha: https://mindthegraph.com/blog/significance-level/
Beta: https://www.statisticshowto.com/beta-level/
Welke je gebruikt is afhankelijk waarin je geïnteresseerd bent, wil je meestal gelijk hebben richt je je op de alpha, wil je zo min mogelijk cases missen richt je je op de Beta.

Dit is gewoon de wetenschappelijke wijze die wordt aangeleerd, dus je kan nu heel fel allerlei dingen roepen maar uiteindelijk lijkt het er gewoon op dat DUO een groot deel van deze wetenschappelijke manier heeft overgeslagen.

[Djerro123]

Ik snap hoe basis statistiek werkt hoor, dat krijg je bij elke studie tegenwoordig.

En ik ben niet degene die "heel fel allerlei dingen roept"; de NOS deed dat. DUO heeft nog maar weinig losgelaten over hoe ze "verhoogd risico" bepalen, en de NOS heeft op basis van een hele kleine steekproef moedwillig geïmpliceerd dat er gediscrimineerd wordt en dat er sprake is van institutioneel racisme. En dat zijn nogal aantijgingen om zomaar te deponeren, zonder hun eigen methode uitgebreid toe te lichten. De enige advocaten die ze aanhalen in hun artikelen zijn mensen met een migratie-achtergrond, en het lijkt mij nogal logisch dat zij veel mensen bijstaan met mensen met een migratieachtergrond.

Dit hele zaakje stinkt naar zoeken naar een probleem wat er niet is, zodat iedereen weer zijn vingertje kan opsteken en kan laten zien hoe goed hij/zij is.

[Djerro123]

als ik niet wil selecteren op man of vrouw

En hier sla je de spijker op z’n kop toch?! Je selecteert niet op man en vrouw, maar op sport. Dat er een andere, niet op geselecteerde groep oververtegenwoordigd is, maakt niet ineens dat je “stiekem selecteert op” een bepaalde groep.

[Remc0_]

Je selecteer wel op man en vrouw, immers alle mannen spelen voetbal, alle vrouwen spelen tennis. Dat de variabele nu opeens sport heet betekent niet dat deze niet zwaar gecorreleerd is tot man/vrouw. Zo zwaar zelfs dat ze identiek zijn in dit voorbeeld.

[SJCE]

Dat is helemaal geen vrije keuze, maar een selectie op inkomen in de familie

[Blorgg]

DUO heeft aangegeven dat nationaliteit, etniciteit en migratiestatus geen input is in het model. Dat ze mensen eruit pikken die staan ingeschreven bij familieleden, en dat dit vaker voorkomt bij migratie studenten, betekent niet dat er gediscrimineerd wordt.

Tenzij dat de reden is dat deze check in het algoritme is terecht gekomen. Ofwel als je weet dat je 1 groep hierdoor meer zult treffen en je er daarom voor kiest om dit te doen, dan zou het wel discriminerend zijn.

Er moet dus niet alleen gekeken worden naar hoe het algoritme werkt, maar ook waarom het op die manier werkt.

[Rhinosaur]

En dit is precies wat het AP gaat onderzoeken. Dus die “ik mag tegenwoordig ook niks meer zeggen” volk dat hier loopt te beweren dat het geen discriminatie is (omdat ze 0 verstand hebben van de werking van een algoritme en hoe daar bias in kan optreden), moet nog maar eens goed gaan inlezen hoe het werkt voordat er weer een lang, krom en slecht onderbouwd en zielig verhaal wordt getypt.

[Verwijderd]

je laat duidelijk merken verstand te hebben van algoritmes.

Ik ben van mening dat de hele situatie gewoon zinloos is.

Definieer bias.
Definieer discriminatie.
Definieer fraude.

Je gaat algoritmes gebruiken om een probleem op te lossen.
In dit geval wil je graag weten of er een patroon is qua fraudeurs.
Zodra je daar antwoord op hebt, zal je daar iets mee moeten doen natuurlijk, anders had je het net zo goed niet kunnen doen.
Vervolgens zal je automatisch gaan discrimineren, aangezien je dan vaak achter een bepaalde 'groep' aan gaat.
Het is vervolgens altijd een politieke kwestie:
- als de patroongroep een migratieachtergrond heeft, is het automatisch discriminatie want ze gaan achter allochtonen aan en niet achter autochtonen.
- als de patroongroep geen migratieachtergrond heeft, is het automatisch discriminatie want de autochtone groep weet beter gebruik te maken van het systeem (dat immers voor hen gemaakt is ooit...) waardoor de allochtone groep met 10-0 achter staat en dus benadeeld wordt door het systeem.

Is het discriminatie:
- ja, want er zal meer controle kunnen gaan plaatsvinden onder de patroongroep (immers als die oververtegenwoordigd zijn, waarom zou je dan veel aandacht besteden aan de rest waar het niet of nauwelijks voor komt?
nee, want er is immers vanwege het patroon geen sprake van gelijke gevallen meer.

Wat is fraude? Stel er is een patroon waarin allochtonen oververtegenwoordigd is. Is dat bewuste fraude of gewoon omdat ze dachten dat het mocht en geen probleem was? Als je daar het antwoord op weet kan en zal je dat weer moeten verwerken in het algoritme en kan je weer opnieuw beginnen met bekijken van het hele spul.

Het is altijd discriminatie en het is nooit discriminatie.
Zodra je met mensen en criminaliteit werkt zal je altijd dit politieke probleem houden.
Altijd als er een patroon zichtbaar wordt, mag je daar eigenlijk niet naar handelen want dan discrimineer je.

Dus wat heeft het precies voor zin om algoritmes los te laten op dit soort dingen?
Er zal namelijk te vaak een antwoord op rollen waar je vervolgens eigenlijk niet op mag gaan handelen, want dan is het discriminatie.

Oplossing: geen algoritmes maar gewoon blinde steekproeven is en blijft dan de meest neutrale oplossing.

[Croga]

Het gebruik van een algoritme om patronen te vinden is geen enkel probleem.

Wij hebben echter in de grondwet vastgelegd dat wij in Nederland niet discrimineren op factoren waar de persoon zelf geen directe invloed op heeft. Dus niet op achtergrond, huidskleur, ras, gender, medische gronden.
De reden daarvoor is dat een persoon niet fraudeert omdat hij een bril draagt. Hij fraudeert niet omdat zijn huid een bepaalde kleur heeft. En als dat geen drijfveren zijn dan kunnen we de persoon daar ook niet op aanspraken.
Daarnaast zit je met de self-fullfilling prophecy. Als het algoritme stelt dat een brabander vaker fraudeert dan zullen er vaker en meer brabanders gecontrolleerd worden met als gevolg dat er meer fraude bij brabanders vastgesteld zal worden en dus het algoritme al zeggen dat brabanders vaker frauderen.....

Ofwel: Dit soort factoren mogen überhaupt nooit in een algoritme terecht komen. Ook niet by-proxy! (Bijvoorbeeld: Als we wijk als factor mee gaan nemen heb je in Nederland ook al snel achtergrond te pakken omdat mensen met bepaalde achtergronden nou eenmaal vaker bij elkaar in de buurt wonen.)

Algoritmes zijn niet per definitie een probleem. Maar het is wel een heel gevaarlijk middel waarbij de meeste instanties geen idee hebben hoe ze zoiets op moeten zetten zónder de wet te overtreden.

(En ja, Discriminatie is een lastig woord hier. Een algoritme zorgt per definitie voor discriminatie. Maar niet alle discriminatie is verboden)

[MrE]

Ik vind dit 'we discrimineren niet op factoren waar de persoon zelf geen directe invloed op heeft.' een erg moeilijke stelling.
Ben ik aan het discrimineren als ik mijn kind weg hou bij een pitbull? Het beest kan er immers zelf niets aan doen dat het is wat het is.
Ben ik aan het discrimeren als ik er voor kies 's avonds om te lopen als ik een tunneltje vol hangjongeren zie? Ze hebben er niet voor gekozen om jongere te zijn en wie ben ik om hen te vebieden elkaars gezeldschap op te zoeken?
En moet ik echt een onbevooroordeeld gesprek aan gaan met iemand over hoe hij zich voelt als ik met de checklist mond, spraak, arm er van uit kan gaan dat hij een beroerte heeft?

Algoritmes zijn niets meer dan checklijsten met vaak geconstateerde punten die het makkelijk maken om soortgelijke gevallen makkelijker te kunnen herkennen. Hoe we het uiteindelijk gebruiken is het punt.
Als alle geconstateerde fraude duidelijke patronen heeft is het onlogisch als we die patronen niet gebruiken om inschattingen te maken over komende gevallen.
Dat we daarbij correct te werk gaan en niet afgaan op de gedachte dat het algoritme tevens het eindoordeel is, is iets dat we in mijn ogen moeten leren. Te vaak zien we de uitslag van het algoritme volgens mij als een eindoordeel waar we in ons handelen naartoe werken.
Misschien is het een idee om het algoritme, naast de voorspellingen op basis van de checklist, ook steeds enkele random namen op te laten hoesten.
Zo geeft het algoritme dus altijd alle verdachte personen door maar moet een medewerker altijd kritisch blijven. Dat is in mijn ogen beter dan volledig at random namen te kiezen.

[sympa]

Pitbulls hebben geen mensenrechten. Daar zit je redeneerfout.

[Croga]

Ik vind dit 'we discrimineren niet op factoren waar de persoon zelf geen directe invloed op heeft.' een erg moeilijke stelling.
Ben ik aan het discrimineren als ik mijn kind weg hou bij een pitbull? Het beest kan er immers zelf niets aan doen dat het is wat het is.
Ben ik aan het discrimeren als ik er voor kies 's avonds om te lopen als ik een tunneltje vol hangjongeren zie? Ze hebben er niet voor gekozen om jongere te zijn en wie ben ik om hen te vebieden elkaars gezeldschap op te zoeken?
En moet ik echt een onbevooroordeeld gesprek aan gaan met iemand over hoe hij zich voelt als ik met de checklist mond, spraak, arm er van uit kan gaan dat hij een beroerte heeft?

Ja dan ben je aan het discrimeren. Nee, dat is niet erg. Jij bent dan ook geen bedrijf of overheid.

Algoritmes zijn niets meer dan checklijsten met vaak geconstateerde punten die het makkelijk maken om soortgelijke gevallen makkelijker te kunnen herkennen. Hoe we het uiteindelijk gebruiken is het punt.
Als alle geconstateerde fraude duidelijke patronen heeft is het onlogisch als we die patronen niet gebruiken om inschattingen te maken over komende gevallen.
Dat we daarbij correct te werk gaan en niet afgaan op de gedachte dat het algoritme tevens het eindoordeel is, is iets dat we in mijn ogen moeten leren. Te vaak zien we de uitslag van het algoritme volgens mij als een eindoordeel waar we in ons handelen naartoe werken.
Misschien is het een idee om het algoritme, naast de voorspellingen op basis van de checklist, ook steeds enkele random namen op te laten hoesten.
Zo geeft het algoritme dus altijd alle verdachte personen door maar moet een medewerker altijd kritisch blijven. Dat is in mijn ogen beter dan volledig at random namen te kiezen.

Yup. En als die duidelijke patronen terug te leiden zijn naar zaken die de persoon zelf kan beïnvloeden is er niets aan de hand. Doe je dat op basis van andere zaken dan zit je algoritme per definitie fout. Het algoritme werkt alleen als je het gebruikt op basis van zaken die daadwerkelijk invloed hebben op de beslissing van de persoon en de zaken die die persoon niet voor gekozen heeft hebben daar geen invloed op. Iemand kiest niet om te frauderen omdat zijn haar bruin is. Iemand kiest niet om een moord te plegen omdat hij in Eindhoven geboren is. En dus is het ook niet slim om die twee factoren mee te nemen in het algoritme.

Daarnaast; de stelling dat het algoritme niet beslist is er ook één uit onwetendheid. Onderzoek wijst keer op keer uit dat een algoritme voor fraude wat zegt dat iemand verdacht is, tot gevolg heeft dat de controlerende persoon al vooringenomen is. Of dat nou zou moeten of niet, dat is een psychologische en sociologische waarheid waar je niet omheen gaat komen.

En dan hebben we het nog helemaal niet gehad over de self fullfilling prophecy die ik noemde......

[Marcel Br]

Als er wordt gefraudeerd met vergoeding voor brillen is het nogal logisch dat de fraudeurs bovengemiddeld vaak een bril dragen, dat is geen discriminatie.

[Verwijderd]

maar als degenen die het meest frauderen weer vallen onder een bepaald patroon, bijv. afkomst, dan zal daar vervolgens wel weer discriminatie over geroepen worden, want als de uitkomst van het algoritme vaker uit komt bij migratieachtergrond is het land weer te klein.

De korte samenvatting is dan: er mag bestraft worden, zolang het ons maar uit komt (dus vanuit de politiek is het niet wenselijk dat migratieachtergrond oververtegenwoordigd is, ook al zou het de werkelijkheid kunnen zijn).

[CivLord]

Klopt. Je mag in een algoritme enkel informatie als input gebruiken die niet gebaseerd is op bij de grondwet verboden kenmerken. Maar welke informatie is dan 100% zuiver? Achtergrond, religie, cultuur en gender hebben heel veel invloed op heel veel factoren.

Stel je wilt met een algoritme voorspellen welke studenten mogelijk een grotere kans hebben om te frauderen met een uitwonende beurs. Welke informatie is dan 100% zuiver, zonder bias?
Inwonen bij een familielid? Dat lijkt een goede deelindicator, want een fraudeur heeft een postadres nodig dat niet het adres van zijn ouders is en zal daar gee kamer voor huren. Een familielid waar je periodiek je post op kunt halen (en die kan zeggen dat je inderdaad daar woont, maar op dit moment niet thuis bent) is dan erg handig. Maar is het wel 100% zuiver? Familiebanden zijn binnen bepaalde culturen hechter en uitgereider dan bij andere culturen, waardoor het binnen die culturen ook meer vanzelfsprekend is dat een neef of achternicht tijdens hun studie bij hen in komt wonen. Daardoor zal selectie op inwonen bij een familielid al meer studenten binnen die cultuur bevatten. (Zelf ben ik autochtoon Nederlander en heb ik een aantal oudooms en achterneven in Amsterdam wonen. Wanneer ik hen gevraagd zou hebben voor een kamer tijdens mijn studie in Amsterdam, had ik hooguit een paar adressen van kamerbemiddelingsbureau's hoeven te verwachten.)

Wat een heel stuk zou helpen is om wanneer een algoritme een aantal studenten uitspuigt die aan verschillende risico-criteria voldoen, die studenten niet meteen als fraudeur te benaderen. Daar zal misschien ook een deel van de bias ontstaan, wanneer de output nog eens door mensen beoordeeld wordt voor de benadering. Dat Willem-Jan, die zegt boven de artsenpraktijk van zijn oom in Amsterdam-Zuid een kamer te hebben, enkel een kort vragenbriefje krijgt, terwijl Ahmed, die zegt een slaapkamer bij zijn tante in de Bijlmer te hebben, een fraude-onderzoek op volle sterkte te krijgen.

[RoyD]

Als een groep vaker gecontroleerd wordt dan zullen er inderdaad in absolute aantallen meer fraudegevallen naar boven komen. Echter de relatieve aantallen zullen gelijk blijven in relatie tot andere groepen wanneer de gecontroleerde niet frauduleuzer is dan de rest. Dit is dan ook gelijk een argument om de geselecteerde groep niet vaker dan de rest te controleren. Blijken de relatieve aantallen wel groter dan is de extra controle van de betreffende groep gerechtvaardigd om de fraude te verminderen.

[Croga]

Als je oneindige controle capaciteit hebt dan heb je gelijk. Maar dan heb je ook geen algoritme nodig. Dat heb je nodig omdat je controle capaciteit sterk beperkt is.
Het gaat hier dus om het verschil tussen een groep vaak controleren en een andere groep nagenoeg nooit controleren.

Tel daar bij op dat het woord van de computer over het algemeen als waarheid gezien wordt en controle daarmee ook bijna altijd tot de conclusie "Fraudeur!" gekomen wordt en de vlieger gaat al helemaal niet meer op.
Let ook op dat de controleurs zelf nagenoeg alleen maar te maken krijgen met een bepaalde groep en daarom er ook van uit zullen gaan dat deze groep slecht is.

Ofwel: Een hele boel "Ja maar als...." wat voorkomen kan worden door simpelweg de inzichten van mensen te volgen die hier hun vak van hebben gemaakt en die zeggen: Niet doen. Dit staat niet voor niets in onze *GROND*wet. Die gaat niet over één nacht ijs, daar is gewoon heel goed over na gedacht.

[TheDutchChief]

"Het gebruik van een algoritme om patronen te vinden is geen enkel probleem."
Er is dus alleen geen enkele wetenschappelijke basis waarop je kunt stellen dat patronen iets over de fraudekans zeggen. Dat is iets wat we op basis van een gevoel zomaar aannemen.

https://12ft.io/proxy?q=h...bestrijding%7Ebaa4e278%2F

[Croga]

"Het gebruik van een algoritme om patronen te vinden is geen enkel probleem."
Er is dus alleen geen enkele wetenschappelijke basis waarop je kunt stellen dat patronen iets over de fraudekans zeggen. Dat is iets wat we op basis van een gevoel zomaar aannemen.

https://12ft.io/proxy?q=h...bestrijding%7Ebaa4e278%2F

Ik denk dat je hem nog eens goed moet lezen. Er is *in dit geval* geen wetenschappelijke basis. In het algemeen is het theoretisch best mogelijk om patronen te vinden. Als ik kijk naar de populatie van DUO acht ik de kans minuscuul klein dat ze genoeg data hebben om zinvolle patronen te vinden.
Nog sterker; ik ken geen enkele instelling in Nederland die genoeg data heeft om dit soort zaken op een zinvolle manier aan te pakken.
Het is niet voor niets dat we alleen bij BIG DATA spreken over het gebruik van algoritmen. Als je nou een paar honderdduizend of een paar millioen fraudeurs hebt ga je wellicht ergens komen.

Blijft mijn standpunt dat er niets mis is met het gebruik van algoritmen om patronen te vinden....

[TheDutchChief]

Nee, het gaat er niet om dat je geen patronen kunt vinden. Die kun je wel degelijk vinden, het gaat om het niet bestaan van wetenschappelijke onderbouwing voor wat dat dan vervolgens zegt. "correlatie (‘jouw dossier lijkt op die van een ander’) is geen bewijs van causaliteit (‘dus jij bent net als die ander’)."

Het verdwijnen van piraten heeft een correlatie met de opwarming van de aarde. Toch gaan we de opwarming niet bestrijden door praterij te stimuleren. Er is dus iets anders nodig.

[Croga]

Er zijn meer dan genoeg methoden beschikbaar in de statistiek om de waarschijnlijkheid te bepalen. Maar, zoals gezegd, daar is wel een veel grotere groep voor nodig.

Je voorbeeld is daar een hele mooie van. De correlatie die je noemt is enorm zwak en zal dus in een statistische vergelijking onmiddelijk door de mand vallen. Net als alle andere voorbeelden in diezelfde categorie ("De stijging van het aantal zwembaden in de tuin heeft het toegenomen gebruik van inkjet printers veroorzaakt" om er maar eens één te noemen)

We hebben meer dan genoeg wetenschappelijke methoden om het nut van dit soort algorithmen te bewijzen. Dezelfde statistische instrumenten die in *ieder* wetenschappelijk onderzoek gebruikt worden. Helaas neemt men het bij bedrijven en semi-overheid vaak niet zo heel nauw met deze tools.

[Lord Anubis]

Algoritmes vind ik geen probleem maar nu zijn er te veel als dit als dat filters. Gewoon iemand woont thuis, maar ontvangt geld voor uitwonend zijn. Aanpakken. Daarna de achter grond info er aan koppelen is fout. Je gaat hierdoor overkenmerken.

Ga je een patroon in je algoritme gebruiken dat versterk je discriminatie.

Net zoals iemand, van de top2000 alleen de eerste top 10 laten horen; het wordt versterkt.

[Reactie gewijzigd door Lord Anubis op 23 juli 2024 15:06]

[Verwijderd]

maar daar ontkom je dus niet aan. Je kan wel zeggen dat je geen patroon in je algoritme zou moeten gebruiken maar het algoritme genereert immers zelf het patroon? Al zou je niets doen met het patroon wat ontstaat dan nog is de utkomst hetzelfde als uit 'iemand woont thuis, maar ontvangt geld voor uitwonend zijn' overwegend mensen met een migratie-achtergrond rolt. Dan neem je etnische afkomst niet eens mee maar rollen daar wel constant dezelfde personen uit.
Dan heb je het qua algoritme alsnog goed voor elkaar (denk je) maar krijg je wel telkens de aanklachten en onderzoeken aan je broek, want degene die je aanpakt zijn dan vaak die met migratie-achtergrond.

[Lord Anubis]

Dat kan, maar is anders dan ik zoek op 'iemand woont thuis, heeft een migratie achtergrond, maar ontvangt geld voor uitwonend zijn' of "heeft een migratie achtergrond, maar ontvangt geld voor uitwonend zijn' en gaan nu dus uitzoeken waar hij woont."

Nogmaals ik vind dat je een patroon als resultaat van een basis onder zoek niet in je algoritme moet plaatsen. Dat je achteraf filters gebruikt om statistische data te creëren vind ik ook prima; maar gebruik ook deze data niet algoritme versterkend te maken om plegers te vinden.

[Keypunchie]

Opmerkelijk: In NRC werd juist expliciet gesteld dat het niet was dat er veel studenten met migratie-achtergrond in het klantbestand zaten.
https://www.nrc.nl/nieuws...ritme-zei-fraude-a4167810

Huiszoekingen gebeuren niet altijd even zorgvuldig, dat bleek al toen een student die door DUO als fraudeur was bestempeld daartegen in beroep ging en in januari door de rechter in het gelijk werd gesteld. Maar in de bijna vijftienhonderd van zulke beroepszaken die de journalisten daarna analyseerden, viel nog iets anders op: ze spraken 32 advocaten, samen goed voor 376 zaken in de afgelopen tien jaar, en al die advocaten zeiden, soms uit zichzelf, dat hun cliënten opvallend vaak studenten waren met een migratie-achtergrond. Preciezer: in 367 van de 376 zaken.

Dat is ruim 97 procent.

Hoe zit dat? Frauderen studenten met een migratie-achtergrond zoveel meer? Nee, vertelde een deskundige hen. Hebben deze advocaten dan toevallig meer cliënten met een migratie-achtergrond? Nee, ook niet. De enige verklaring die overbleef: het ‘risicoprofiel’ op basis waarvan DUO zijn toezichthouders op pad stuurt.

[sympa]

Wat is je punt met die advocatenkantoren? Als er vooral studenten met migratieachtergrond worden aangeklaagd gaan er vooral studenten met migratieachtergrond naar de advocaat. Duh.
Kan je zien hoe scheef de controle is.

[Djerro123]

Nee, als je 50 kantoren vraagt met “Mohamed en zonen” dan krijg je veel te horen dat ze klanten hebben die een migratie achtergrond hebben.dat is wat ik bedoelde.

[Tosti55]

Zou me niks verbazen als er achter de schermen nog meer mis gaat dan alleen de toeslag affaire ging.. ik hoop gewoon dat alle mensen overal eerlijke kansen krijgen en dat iedereen alles wordt gegunt.. alleen zo komen wij er !!

[Verwijderd]

als mensen zelf nou ook gewoon eens eerlijk zouden zijn, bestonden er ook geen schandalen als gevolg van algortime-fouten.
Mensen zoeken altijd de snelste en goedkoopste weg en dat zorgt lang niet altijd voor eerlijke structuren.

We kunnen de opsporingsdiensten/algoritmen wel snel de schuld geven, maar de mens an sich mag ook wel eens wat eerlijker worden.
Zwart werken, belastingtrucs, afkeer van autoriteit, het helpt allemaal niet mee om de boel op orde te houden.

Als de mens zich gewoon netjes gedraagt, hoeven er veel minder regels te zijn en ook minder controle op fraude.

Als mensen stoppen met fraude plegen, hoeft er ook niet gecontroleerd worden op fraude.

[Keypunchie]

Als de mens zich gewoon netjes gedraagt, hoeven er veel minder regels te zijn en ook minder controle op fraude.

We hebben het hier over meer dan 1500 mensen die zich volkomen netjes gedroegen, maar toch valselijk zijn beschuldigd.

En dat zijn degenen die het nog konden bewijzen! Waarschijnlijk zijn er nog flink meer van de overige 10.000 beschuldigden gewoon helemaal netjes en braaf.

Waarom moeten zij frustrerende procedures beginnen en met de angst leven dat ze onterecht als fraudeur worden aangemerkt omdat er nou eenmaal niet zo nette mensen in de wereld zijn?

Dat is onrecht!

[CivLord]

Die 1500 mensen zijn slachtoffer van anderen die zich niet netjes gedroegen, waarna de regels en controles zijn aangescherpt. Daardoor werden ze na een onschuldige vergissing meteen als mogelijke fraudeur bestemepeld, waarbij het 'mogelijke' al snel vergeten werd.

Bij het begin van de toeslagen kreeg iedereen die toeslagen aanvroeg het voordeel van de twijfel. Iedereen kreeg waar hij/ zij om vroeg. Dat kwam vooral omdat het snel ingevoerd moest worden, voordat alle systemen en koppelngen gereed waren. Iedereen met een BSN en een rekeningnummer kon opgeven dat hij/ zij het minimumloon verdiende en tien kinderen in de opvang had zitten, ook al was hij een kinderloze miljonair. Controle zou achteraf plaats vinden, waarna teveel ontvangen toeslagen teruggevorderd zouden worden, was het idee bij de politiek. (Ook bij Omzigt.)
Dat was natuurlijk de kat op het spek binden. Helemaal nadat het gereedkomen van de systemen en koppelingen erg lang op zich liet wachten en controles gebrekkig plaat konden vinden. Toen na de publicaties over de Bulgarenfraude de problemen niet langer onder de pet konden blijven, ging het roer om. De controles werden strenger (wat mogelijk werd omdat de systemen eindelijk min of meer klaar waren) en bij geconstateerde fouten boven een bepaald bedrag werd automatisch fraude vermoed. (Met goedkeuring van Omzigt.)

Voeg daar een paar harde voorwaarden voor toeslagen aan toe zonder hardheidsclausules. Zoals dat er geen recht op kinderopvangtoeslag is zonder betaling van een eigen bijdrage, ook niet wanneer de ouder die bijdrage aan een bemiddelingsbureau heeft betaald, maar dat bemiddelingsbureau die bijdrage niet heeft heeft betaald aan de kinderopvang. Bij de behandeling van deze regel in de 2e kamer is het risco besproken dat ouders daardoor ten onrechte ontvangen toeslag terug zouden moeten betalen omdat buiten hun schuld om de bijdrage niet is betaald, maar het risico werd erg laag geschat en het werd te fraudegevoelig gevonden om uitzonderingen toe te staan. (Ook door Omzigt.)

Je hebt dus ouders die het verkeerde bemiddelingsbureau vertrouwden om hen door de papierwinkel heen te loodsen, voor het aanvragen van kinderopvangtoeslag. Die betaalden keurig hun eigen bijdrage voor de kinderopvangtoeslag aan dat bemiddelingsbureau. Het bemiddelingsbureau ging echter failliet (door bedrijfseconomische redenen of doordat de eigenaars met een zak geld met de noorderzon vertrokken) waardoor de eigen bijdrage niet doorgestort werd naar de kinderopvang. Na conrole achteraf, na de uiterste betaaldatum van de eigen bijdrage, werd geheel volgens de wet geconstateerd dat er geen recht op toeslagen bestond omdat de eigen bijdrage niet was betaald. Bezwaar bij de Belastingdienst en (hoger) beroep bij de rechter haalden niets uit, omdat de wet 100% correct was toegepast en er geen escape mogelijk was.
Dat is al erg genoeg, maar door politieke druk was bij Financiën en de Belastingdienst beleid ingevoerd dat bij terugvorderingen boven een bepaald bedrag (waar je met teruggevorderde toeslagen al erg snel boven zit) automatisch fraude werd aangenomen. Dat betekende dat het hele bedrag in één keer betaald moest worden en dat er geen betalingsregeling mogelijk was, en in veel gevallen ook dat nieuwe taanvragen voor toelsagen geweigerd werden.

De politiek heeft nu eindelijk gezien wat voor een fuik ze hebben gecreerd waarin onschuldige burgers terecht kunnen komen en heeft een compensatieregeling opgetuigd.
Maar omdat zich meteen 50.000 mensen voor die compensatie hebbn gemeld, waarvan een groot deel nooit kinderopvangtoeslag heeeft ontvangen, of deze nooit (deels) terug heeft hoeven te betalen, of deze terecht (deels) terug heeft moeten betalen, is de behandeling van die aanvragen totaal vastgelopen en zijn er al voorbeelden in de media gekomen van mensen die die compensatie ten onechte hebben gekregen.

Dus inderaad, die 1500 mensen hebben zich volkomen netjes gedragen, maar zijn onderhand 10 keer slachtoffer geworden van mensen die bewust hebben gefraudeerd en de krampachtige wijze waarop daartegen gereageerd is.

[sympa]

Correctie: slachtoffer geworden van de slordige werkwijze van de overheid.
Als de politie mij met geweld zou arresteren omdat ze me aanzien voor een bepaalde crimineel is dat niet de schuld van die crimineel. Maar van de politie die dan (kennelijk) niet oplet.
En ik krijg eventuele schadevergoeding ook van de politie, daarvoor hoef ik niet te vragen welke crimineel ze eigenlijk op het oog hadden.

[CivLord]

Ik zeg dan ook op het laatst: "...en de krampachtige wijze waarop daartegen gereageerd is."

Wanneer niet iedere keer zo krampachtig gereageerd werd, van het ene uiterste naar het andere, zou er nooit een toeslagaffaire geweest zijn.

[Verwijderd]

de enige manier om dat onrecht op te lossen is geen gebruik te maken van algoritmes.
Zodra je op bepaalde zaken gaat selecteren (vanwege een herkend patroon) zal je automatisch dit probleem krijgen.

[HakanX]

Het probleem bij de toeslagenaffaire was (is overigens nog steeds niet opgelost! Behalve de €30k zijn de getroffen nog altijd niet schadeloos gesteld) dat je puur op basis van die selectie al als fraudeur werd bestempelt. Eenmaal fraudeur worden je bezwaren niet meer in behandeling genomen, want alles wat een fraudeur aanlevert is een leugen en reageren op fraudeurs mag ook niet. Daarna is het betalen of beslag tot je bij neervalt.

Dat gaat vervolgens in het systeem, persoon met achtergrond X is afgehandeld als fraudeur.
X+1 > pak meer mensen met achtergrond X want dat zijn fraudeurs. Je hoeft verder echt niks fout te doen, behalve aan enkele doodnormale criteria voldoen. Bij ons in het rapport stond zelfs dat we de controlleurs probeerden te misleiden omdat we overal in het huis Nederlandstalige boeken hadden (foei).

Terug ontopic, de overheidsdienst ontkent, waar kennen we dat van? En als het uiteindelijk bewezen wordt "ik heb er geen actieve herinnering aan" en "ik heb niet gelogen, alleen de feiten verkeerd herinnerd en benoemd, maar wel naar alle eerlijkheid"

[Verwijderd]

het probleem is dat de overheid de oplossing voor het probleem probeert uit te voeren vanuit dezelfde mindset als waarin het probleem is veroorzaakt.
Ze moeten simpelweg hun verlies nemen en alle 'fraudeurs' erbij pakken, alle schuld kwijtschelden, schone lei en door.
Maar dat kost geld en daarvoor moeten ze over hun schaduw heen stappen.
Ze proberen dus alles netjes op te lossen vanuit het systeem wat het heeft veroorzaakt.
En ja dat gaat dan minimaal tot 2027 duren...

[frietfriet]

Dat zou kloppen als de overheid altijd correct zou zijn. Maar ... die wezens in de politiek zijn ook mensen. Daar zitten ook leugenaars, fraudeurs en wetsovertreders tussen.
Zo zwart wit als jij het ziet is het niet.
De overheid heeft een machtsmonopolie. Daar moet zeer scherp op toegezien worden om te voorkomen dat we als burgers niet misbruikt worden.
Dictaturen onstaan geleidelijk.

[Verwijderd]

precies, zo zwart wit is het niet, en daarom was het dus ook een overdrijving: het zou mooi zijn geweest als iedereen gewoon eerlijk en netjes was.
Maar dat zijn ze niet, en daarom is controle mogelijk.
Als je efficienter wil controleren, ga je aan patroonherkenning doen.
En zodra je daar naar gaat handelen zal je moeten discrimineren, immers ga je bepaalde groepen automatisch vaker controleren?
Al we dat niet willen, moeten we stoppen met algoritmes en patroonherkenning.
Dan zijn we maar minder efficient en doen we alleen blinde steekproeven.

[sympa]

Je mag selecteren op gedrag. Maar als je gedrag neemt dat heel veel voorkomt dan is de kans groot dat je verkeed bezig bent.
Bijvoorbeeld: bepaalde inbrekers gebruiken gereedschap van een bepaalde bouwmarkt. Prima dat je de camera gaat bekijken wie er geweest zijn.
Maar andersom, iedereen van z'n bed lichten die daar een boormachine gekocht hebbenheeft? Dan ben je verkeerd bezig.
En dat is dan nog niet eens een aangeboren eigenschap.

[Reactie gewijzigd door sympa op 23 juli 2024 15:06]

[MrMonkE]

De overheid heeft een geweld monopolie.

[frietfriet]

Ook macht. Via wetten.

[CivLord]

Dat zou kloppen als de overheid altijd correct zou zijn. Maar ... die wezens in de politiek zijn ook mensen. Daar zitten ook leugenaars, fraudeurs en wetsovertreders tussen.
Zo zwart wit als jij het ziet is het niet.
De overheid heeft een machtsmonopolie. Daar moet zeer scherp op toegezien worden om te voorkomen dat we als burgers niet misbruikt worden.
Dictaturen onstaan geleidelijk.

Fout. Dictaturen ontstaan niet geleidelijk. Dictaturen ontstaan plotseling, vaak als reactie op een zwakke overheid.
Dan staat er één sterke figuur op, die een revolutie teweeg brengt (al dan niet met geweld of via de stembus). En wanneer de stof neergedaald is blijkt hij zichzelf sterk in het zadel gemanouvreerd te hebben, alle touwtjes in handen te hebben en absoluut geen tegenspraak te dulden. (Ook in de Nederlandse politiek hebben we een paar figuren die daar op zitten te wachten.)

[HollowGamer]

De toeslagenaffaire is wel anders. Ja, daar zijn onterecht mensen benadeeld en ook (enorme) fouten gemaakt. Het verschil is wel, dat diegene die verantwoordelijk waren voor die puinhoop, nooit dit hebben toegeven en vrolijk doorgingen. Sterker nog, hun doel was volgens mij die mensen slopen, i.p.v. we gaan het rechtzetten en excuses aanbieden.

Hetzelfde zie je bij Groningen. De politiek weet zogezegd nergens van en de beleidsbepalers hebben enorme vrijheid + zijn incompetent (in mijn ogen). Ik zeg dus niet dat het onderzoek naar DUO onzin is, want in bepaalde groepen komen nu eenmaal meer fraude voor, en onderzoeken doen naar een dienst is altijd goed. Maar waar het misgaat is verantwoordelijk nemen om foute recht te zetten.

Persoonlijk zou ik willen zien dat politici en beleidsmakers verantwoordelijk kunnen worden gehouden voor misstanden. Bedoel laatst 20 miljoen aan een zinloos IT project uitgeven, en niemand die hier voor berecht word. Sterker nog, zal mij niet verbazen als die mensen een mooie baan hebben gekregen in een bestuur en daar hetzelfde doen.

[Reactie gewijzigd door HollowGamer op 23 juli 2024 15:06]

[Verwijderd]

als het zo is dat bij bepaalde groepen meer fraude voor komt, dan moeten we natuurlijk niet gaan klagen over discriminatie. Dat is namelijk een automatisch gevolg van handelen op basis van het algoritme.

[sympa]

Daarom zijn er regels, zoals dat je niet op afkomst mag selecteren.
Dat is dus niet altijd makkelijk, maar het is wel de regel.

[Verwijderd]

helaas geldt het niet beide kanten op, gezien de rapportages over 'nog teveel witte mannen' als doelstelling om te veranderen in de diversiteitsplannen.

Je hoeft er ook niet perse op te selecteren als toevallig bepaalde groepen met een bepaalde afkomst oververtegenwoordigd zijn. Dat is precies het probleem: zelfs als je er niet op selecteert maar toch oververtegenwoordigd is, is alsnog het land te klein.
vandaar dat dit artikel vermoedelijk ook weer bestaat.

Bij de ouders blijven wonen is een cultureel fenomeen dat nog steeds actueel is buiten (het individualistische) west-Europa waar de kroost op hun 18e op zichzelf moet gaan wonen op een studentenkamer. Daar krijg je dan sneller mee te maken in je statistieken.

[sympa]

Precies, maar bij andere familieleden wonen is dan wel "vreemd" uit historisch oogpunt, het heeft niet te maken met fraude.
En om het dan toch als indicator te gebruiken is niet juist.

[Verwijderd]

Bij ouders of familie is wat mij betreft grotendeels gelijk. Je bent dan niet echt uitwonend, want je woont bij familie en kan daar meestal ook gewoon meeliften op het huishouden wat daar al is, vaak met gunstige voorwaarden. Misschien moet je wat kost en inwoning betalen maar het blijft een familiaire omgeving.

Ik kan me prima voorstellen dat DUO het met mij eens is en daarom dit conflict ontstaat.
Rest nog de discussie of het inderdaad technisch zo is dat bij familie ook 'inwonend' betekent. Ik beschouw het als wel inwonend, maar je woont technisch niet meer bij je ouders, dus tja dan ben je officieel wel uitwonend...

[Reactie gewijzigd door Verwijderd op 23 juli 2024 15:06]

[sympa]

Er zal een wet over zijn. En ook DUO heeft die wet te volgen.

[frietfriet]

Waarom is de toeslagenaffaire anders?
Duo moet nog onderzocht worden. Na het onderzoek weten we pas of ze niet dezelfde fouten hebben gemaakt

[divvid]

Probleem is niet een potentiële bias in een algoritme, maar de humane controle in het vervolg traject. Die zou eventueel onterechte classificatie eruit moeten filteren (maar dat kost geld).

Dit kan ook andersom uitpakken. Sommige bevolkingsgroepen hebben meer last van bv diabetes. Zou je willen dat je huisarts dat gegeven negeert bij een checkup? Als ik bij zo’n bevolkingsgroep zou behoren zou ik dat juist kwalijk vinden.

Zo zwart-wit is het dus allemaal niet

[frietfriet]

U slaat de plank mis
Als de menselijke controle na het algoritme komt is de bias daarin wel degelijk een probleem.
Neem het extreme geval:
Als alleen de allochtonen door het algoritme bekeken worden zullen inderdaad alleen daar fraudeurs gevonden worden. De conclusie na menselijke controle is dan inderdaad: zie je wel, alle fraudeurs zijn allochtonen.
Dat kan dan weer gebruikt worden om het algoritme te trainen waardoor het nog meer bias krijgt.
Lees eens wat over statistieken en controle groepen.

[divvid]

Lees eens wat over statistieken en controle groepen.

Daar ben ik uitgebreid mee bekend
En dat bedoel ik dus ook precies. Een gezonde humane controle op het algoritme zelf, zonder bias overigens geen selectie.
Echter ook in dit geval case by case, want ook een goed gebalanceerd algoritme zal false positives genereren

Het model verfijnen met de uitkomsten van het algoritme is uiteraard een recept voor overfitting

[sympa]

En dan nog, als de voorselectie "goed genoeg" scoort zal de humane controle dezelfde criteria over gaan nemen.
Of op zoek gaan naar een bepaalde reden om van schuld uit te gaan. Ook zo zitten mensen in elkaar: "ik krijg een melding dat hier islets aan de hand is, oh daar zijn twee mannen, weet je wat geef ze een bekeuring want het zijn vast de boeven. Zo zijn we in ieder geval nuttig".

[divvid]

tja, dan kan je beter ophouden met controleren......

[sympa]

Je kan beter een algoritme hebben dat de heel veilige gevallen er uit haalt en die overslaat bij de controle.
Geen idee hoe je dat dan doet met regels overigens. Er van uitgaan dat iemand uit een gezin met een hoog inkomen niet zal frauderen klinkt ook vreemd, nietwaar?

[divvid]

Precies, dat is lastig. Mijn gepensioneerde buurman was rechercheur en ging af op z’n gevoel. Volgens hem werkte dat om het kaf van je koren te scheiden, maar hij was wel zo eerlijk om dat door een collega kritisch te laten controleren.
Mensen werk gaat, hoe graag de AI boys het ons willen laten geloven, toch beter door echte mensen, mits je het maar integer doet.

Overigens ben ik niet anti AI, gebruik het in mijn dagelijks werk, met succes

[Reactie gewijzigd door divvid op 23 juli 2024 15:06]

[Ludewig]

Er zijn allerlei andere mogelijke verklaringen dan discriminatie. Het is bijvoorbeeld waarschijnlijk dat studenten die thuis wonen veel vaker frauderen, aangezien de meest voorkomende fraude is dat men onterecht beweert dat men niet meer thuis woont. Dus studenten die thuis wonen hebben de mogelijkheid om die fraude te plegen, terwijl studenten die daadwerkelijk op kamers wonen die mogelijkheid niet hebben.

Ik verwacht dus een groot verschil in fraudegevallen tussen thuiswoners en (echte) uitwoners, niet omdat men crimineler is, maar puur omdat thuiswoners de mogelijkheid hebben om deze fraude te plegen.

Dan zou ik ook verwachten dat alles dat correleert met het vaker thuiswonen zorgt voor een hogere pakkans. Ik zou bijvoorbeeld verwachten dat studenten wiens ouders dichtbij de stad waar men studeert wonen, veel thuis blijven wonen, en dus ook vaker fraude plegen.

Als dat zo is zou je dus net zo goed een data-analyse kunnen doen en daaruit concluderen dat DUO discrimineert tegen mensen die geboren zijn in of vlakbij Delft, Amsterdam, Utrecht, Maastricht en andere studentensteden. Dat is dan echter de verkeerde conclusie.

Nu is het volgens mij zo dat allochtonen relatief vaak thuis wonen omdat de cultuur bij hen gemiddeld genomen traditioneler en minder individualistisch is. Dus zou ik dan net zo goed verwachten dat allochtonen vaker deze fraude plegen, wederom puur omdat ze vaker de mogelijkheid hebben om deze fraude te plegen, omdat ze vaker thuis blijven wonen.

Overigens zou ik om dit te onderzoeken beginnen met het uitzoeken van de correlaties. Dus eerst eens uitzoeken welke meetpunten die worden gebruikt in het algoritme er nu precies voor zorgen dat allochtonen vaker worden gecontroleerd. En dan kun je vervolgens voor dat meetpunt allerlei analyses doen.

[Rhinosaur]

Stel dat je een algoritme bouwt en je business case is bijvoorbeeld “kans dat een sollicitant een goede medewerker is” en je traint het algoritme met data van historische sollicitanten of historische sollicitaties. Datapunten kunnen dan bijvoorbeeld zijn “full-time werken”, “vroege bedrijfsverlaters”, “doorgroeien in managementfunctie”.

Zelfs zonder dat je in je algoritme iets benoemt in de data als gender, kan er toch een onbewuste bias ontstaan voor mannen. Wat er gebeurt is dat hier vooroordelen sluipen in een algoritme, omdat vrouwen misschien wel bijna niet voorkomen (stel dat je het hebt over een industriële bedrijf met 70% mannen in dienst). Het gevolg is dat vrouwen worden gediscrimineerd en nooit worden gezien als goede sollicitanten. En door een algoritme worden afgewezen.

Dit is hoe een algoritme discrimineert zonder dat er ook maar iets over gender voorkomt. En dit maken gekleurde mensen in Nederland te vaak mee!

[Reactie gewijzigd door Rhinosaur op 23 juli 2024 15:06]

[Ludewig]

Je lijkt in jouw verhaal elk verschil in gemiddelde beoordeling tussen mannen en vrouwen automatisch gelijk te stellen aan discriminatie, maar daarmee ontken je dat er ook gewoon culturele verschillen kunnen zijn waardoor mannen of vrouwen wel degelijk vaker geschikt zijn voor een bepaalde functie. Zo is het gewoon een feit dat mensen die meer uren werken, meer werkervaring hebben. Dus in een functie waar werkervaring een voordeel is, is het logisch dat mensen uit een groep die gemiddeld meer uren werken, gemiddeld ook beter beoordeeld worden.

Jouw opvatting is ook heel erg selectief, want je kunt allerlei deelgroepen aanwijzen die verschillen in hoeveel uur ze werken. Vaders met 3+ kinderen werken ook meer uren dan vaders met 1 of 2 kinderen, dus die worden ook bevoordeeld als je mensen beoordeeld op gewerkte uren. Is het algoritme dan ook discriminerend voor vaders met weinig kinderen?

Uiteindelijk is het zo dat in een wereld waar groepen in gedrag van elkaar verschillen, jouw opvatting er onvermijdelijk toe leidt dat elk algoritme als discriminerend wordt beoordeeld, want er is dan altijd wel een groep aan te wijzen die gemiddeld genomen slechter wordt beoordeeld.

En waarom zou dat onterecht zijn als die beoordeling daadwerkelijk gaat over een factor die daadwerkelijk waardevol is? De logische consequentie van de opvatting dat groepen mensen geen nadeel mogen ondervinden van groepsgedrag, is dat je andersom ook groepen geen voordeel mag geven van positief groepsgedrag. De een zijn voordeel is immers onlosmakelijk de ander zijn nadeel. Daarmee worden culturen die zich positief gedragen dus niet meer beloond en ondervinden culturen die negatief gedrag vertonen ook niet de consequenties.

Juist de opvatting dat minderheden niet mogen profiteren van goed gedrag is traditioneel een bron van discriminatie van bepaalde groepen die vanuit hun cultuur sterk worden gestimuleerd om opofferingen te doen om hoogopgeleid te worden en een erg goede carrière te hebben, zoals Joden en Aziaten. Historisch gezien hebben die groepen erg veel last gehad van afgunst-discriminatie, waaronder ook veel geweld.

In de praktijk zie je echter dat dergelijk cultureel gedrag zelfs met dodelijk geweld niet uit mensen te slaan is, dus de drang om dezelfde uitkomsten te krijgen voor groepen die cultureel verschillen en dus verschillend gedrag vertonen is een kansloze missie. Kansloze missies, waarbij mensen dat weigeren te erkennen en bereid zijn om erg ver te gaan om het doel te bereiken zijn bij uitstek een bron van radicalisatie. Achter de grootste misdaden tegen de menselijkheid kun je volgens mij altijd wel een kansloos ideaal aanwijzen, waarbij mensen bereid waren om de meest erge dingen te doen om dat ideaal te proberen te bereiken.

[sympa]

Een heel grote rol speelt dat bepaalde factoren van de wet niet mee mogen wegen.
Zo had ik een collega die in een buitenland is geboren, maar op zijn 1e jaar naar Nederland is verhuisd. En werd afgewezen wegens "je spreekt met een accent, want buitenlands". Toen werd daar niet zo moeilijk over gedaan nog.
Alleen had die in de verste verte geen accent, uit Nederlandse ouders en in Nederland opgegroeid...

[Verwijderd]

en daarom druisen algoritmes automatisch in tegen het gelijkheidsbeginsel.
Je zal het een dataset moeten geven, maar die is geworden zoals die is om onduidelijke redenen, maar omdat het uitgangspunt helemaal geen neutraal begin is, zal het algoritme dat als basis nemen. En dus automatisch alles en iedereen die daar van afwijkt negeren.

[sympa]

Bij sommige groepen blijven de kinderen thuiswonen totdat ze getrouwd zijn. Ik kende er ook zo een, en die kon ook een mooie nieuwe motorfiets kopen een half jaar nadat ie was gaan werken. Kijk, alweer een fraude-indicator: kijk, deze is net afgestudeerd, en koopt zonder geld te lenen een nieuwe motor.

[Ludewig]

Wanneer iemand al afgestudeerd is, wordt er volgens mij geen fraudeonderzoek meer gedaan voor de periode daarna. En sowieso zou DUO helemaal geen toegang moeten hebben tot de uitgaven van een persoon, tenzij de overheid illegaal informatie deelt (wat op zich zou kunnen, want de overheid is al eerder niet netjes geweest).

[sympa]

Klopt, maar dit is dus ook een geval waarin het patroon anders is dan verwacht. En waar ik ook wel eens over lees - "hoe komt zo'n jongen aan zo'n duur vervoermiddel".

[Frame164]

Positief bijproduct hiervan: alle wat wordt geroepen over de staatsomroep en overheidspropaganda via de media is dus grote onzin. Dit is het zoveelste onderwerp waarbij de publieke omroep mogelijke misstanden bij de overheid bekend maakt. Dat doe je niet als je een propagandakanaal van diezelfde overheid bent.

[HollowGamer]

Dat is namelijk ook de taak van hun, kritisch zijn op de overheid, dat staat zelfs in hun taakbeschrijving.

Het probleem is alleen dat de NPO tegenwoordig steeds meer omroepen krijgt met een specifieke opvatting. Zoals Omroep Zwart of een omroep met extreemrechtse onwaarheden. Dat vind ik persoonlijk een gevaarlijke ontwikkeling. Meningen horen erbij, maar ik kijk dan liever naar het Belgisch model, zoals één en Canvas. Of de BBC. Gewoon goede programma's en inhoud. Al die omroepen en besturen, vind ik eerlijk gezegd maar geld en tijdverspilling.

Gelukkig hebben wij best goede onderzoeksjournalisten en ook vrijheden. Al worden die ook ingeperkt door diezelfde overheid, die documenten niet volledig vrijgeven of onleesbaar maken. Dat zag je ook bij de toeslagenaffaire.

[sympa]

Ik denk dat je door die verschillende omroepen wel een gezonde concurrentie hebt. En een manier waarop de overheid op afstand blijft.
Kan me van de Belgische tv nog wel een programma herinneren van vele jaren terug (ik kijk nooit maar zapte er in) dat fluorkoolwaterstoffen (freon en zo) helemaal fantastisch waren. Duidelijk een gevalletje Chemours, al hette dat misschien anders toen. Zo op de "onafhankelijke" tv.
Dan heb ik liever wat meer diversiteit.

[Verwijderd]

op die laatste zin kan je heel makkelijk doorfilosoferen natuurlijk: gewoon een aantal keren je staatszender zoiets laten publiceren zodat mensen denken dat het een onafhankelijk platform is.
Is immers geen probleem als je toch oneindig 'sorry' kan zeggen, geen actieve herinneringen aan hebt, of zoals recentelijk 'het in je eigen geheugen anders was'.
Dan kan je best misstanden publiceren op je eigen staatszender voor extra bonuspunten.

[Ludewig]

Positief bijproduct hiervan: alle wat wordt geroepen over de staatsomroep en overheidspropaganda via de media is dus grote onzin.

Het kan natuurlijk zo zijn dat de omroepen zich lenen als kritiekloos doorgeefluik wanneer een boodschap past bij de cultuur van de omroep(en), maar niet wanneer dat niet het geval is.

Ik vond het ten tijde van het bekendmaken van bepaalde coronamaatregelen in elk geval opvallend dat 1vandaag qua taalgebruik geen distantie hield van de overheid, bijvoorbeeld door zinnen als "we hebben immers besloten dat..." Zulke zinnen hoor ik dan weer nooit van ze wanneer de politiek besluiten neemt waar de gemiddelde journalist het niet mee eens is. Dan houden ze wel de distantie en gebruiken ze zinnen als: "de overheid heeft besloten dat..."

[gaskabouter]

Keuzes maken op basis van kenmerken... Da's toch zo'n beetje de definitie van een algoritme.

Waar het in de praktijk nu vaak mis gaat is dat kenmerken gekozen worden die bepaalde groepen insluiten of juist uitsluiten. Als die kenmerken eigen keuzes zijn is het geen punt dat je op basis van je eigen keuzes al dan niet om aandacht vraagt. Als die kenmerken gaan over geloof, afkomst, huidskleur etc. ben je in essentie verkeerd bezig.

Daar moeten we zelf nog in leren en zeker AI moet daar nog in leren

[Reactie gewijzigd door gaskabouter op 23 juli 2024 15:06]

[Groningerkoek]

Zijn al een hoop mensen die DUO hier reeds veroordeeld hebben, ook de auteur stelt reeds dat de onderzoekers vinden dat er wordt gediscrimineerd terwijl de onderzoekers zelf niet verder gaan dan dit:

"De advocaten voerden slechts een deel van de rechtszaken die vanwege fraudebeschuldigingen werden aangespannen. Daarom is niet vast te stellen of ons onderzoek representatief is voor de gang van zaken bij alle fraudezaken. Het geeft wel een indicatie dat bij de fraudebestrijding de focus ligt op studenten met een migratieachtergrond."

Maar laten we aannemen dat migranten inderdaad onevenredig sterk zijn vertegenwoordigt bij de rechtszaken, dan is er nog helemaal niets bekent over waarom dit zo is. Misschien procederen deze mensen gewoon vaker en denken autochtonen sneller dat het geen nut heeft. Misschien zijn er niet discriminerende factoren waarop word geoordeeld die bij de ene groep veel vaker voorkomen dan bij de andere groep, het zou mijn inziens onzin zijn om factoren als "woont bij familie" weg te laten omdat er een groep is die dit vaker doet dan andere groepen. Elke op zich neutrale factor kun je op die manier dan wel verbieden want bijna geen factor zal voor allochtonen en autochtonen gelijk zijn vanwege de zeer verschillende achtergronden van de familie.