Minister van Onderwijs biedt excuses aan voor discriminerend algoritme van DUO

De Nederlandse demissionair minister van Onderwijs Robbert Dijkgraaf maakt excuses voor een algoritme dat door de Dienst Uitvoering Onderwijs werd gebruikt. Dat algoritme gaf een risicoscore aan potentiële fraudeurs, maar dat bleek discriminatie in de hand te werken.

De demissionair minister van Onderwijs, Cultuur en Wetenschap schrijft in een brief aan de Tweede Kamer dat hij excuses maakt voor het gebruikte algoritme. Dat gebeurt nadat onderzoeksbureau PwC een rapport schreef over de inzet van dat algoritme. Dat gebeurde door de Dienst Uitvoering Onderwijs of DUO, die verantwoordelijk is voor het uitkeren van studiebeurzen. Vorig jaar schreef de NOS al over het controversiële algoritme dat DUO gebruikte om uitkeringsfraude op te sporen.

DUO gebruikte een regelgebaseerd algoritme om een risicoscore aan studenten toe te kennen. Dat gebeurde onder meer op basis van onderwijstype, woonafstand van ouders en leeftijd, maar daarna kwamen er steeds meer gronden voor nader onderzoek bij waarop studenten huisbezoeken kregen. "Specifiek concludeert PwC dat studenten die woonden in wijken met een hoog aandeel inwoners met een migratieachtergrond in vergelijking met anderen vaker zijn gecontroleerd", schrijft Dijkgraaf. "Dit ondanks het gebruik van ogenschijnlijk neutrale selectiecriteria."

DUO selecteerde tussen 2012 en 2023 zo'n 26.800 studenten voor een extra controle. DUO stopte in juni 2023 met het gebruik van het algoritme vanwege ophef die door mediaberichtgeving ontstond.

Toeslagenaffaire

In zijn rapport merkt PwC op dat het algoritme buiten schot bleef nadat het kabinet viel vanwege, deels, een ander discriminerend algoritme. Het kabinet-Rutte III viel vanwege het toeslagenschandaal, waarbij de Belastingdienst discriminerende algoritmes bleek te gebruiken om toeslagenfraude op te sporen. In de nasleep van die affaire ging de overheid op zoek welke andere overheidsinstellingen in Nederland nog meer mogelijk discriminerende algoritmes gebruikten.

Het algoritme van DUO viel buiten schot van die inventarisatie. Dat kwam volgens PwC omdat het algoritme niet keek naar 'afkomstgerelateerde gegevens'.

Door Tijs Hofmans

Nieuwscoördinator

01-03-2024 • 17:48

109

Reacties (109)

Sorteer op:

Weergave:

Ik denk dat we na eerdere affaires zoals die met SyRi, en nu weer deze, inmiddels onszelf moeten afvragen of we maatschappelijk wel moeten willen dat we dit soort algoritmes gebruiken.

Er zit blijkbaar onbedoeld (mag ik toch hopen....) een bias in die bepaalde bevolkingsgroepen onevenredig vaak benoemd als (potentiele) fraudeur. Dat kan echt enorm zware gevolgen voor mensen hebben, tot levens die praktisch verwoest worden aan toe. Zie wederom de toeslagen-affaire.

is het bestrijden van fraude dat écht waard allemaal? Ik begin daar steeds meer aan te twijfelen.

Wellicht moeten we toch meer accepteren dat er nu eenmaal altijd gefraudeerd zal worden, en dat het gewoon onmogelijk is om dat te voorkomen. Het doel (bestrijden van fraude) zou niet alle middelen (het kapotmaken van levens van mensen) moeten heiligen. In mijn optiek dan.

Hoe zit het met de slachtoffers van dit algoritme? Krijgen die nog een schadevergoeding, smartengeld etc? Want excuses zijn mooi, en ook zeker op zijn plek als ze onterecht zijn benadeeld, maar alléén excuses daar maak je de ellende niet mee ongedaan.
Algoritmes worden gebruikt door bezuiniging.
Keer op keer zei de overheid tegen de uitvoerings instanties (DUO, Belastingdienst, etc): "We verlagen jullie budget met 10%, vang dit op door meer "efficient" te werken."
Dus dat gebeurde er. Mensen werden vervangen door algoritmes, persoonlijk contact door telefoon.
De oplossing is het budget voor uitvoerings instanties sterk te verhogeren, maar dat mag dan ook weer niet want burgers willen dat overheid minimaal is zodat ze minder belasting hoeven betalen.
En die bezuinigingen komen omdat we stelselmatig op partijen stemmen die vinden dat de overheid kleiner moet worden. En los van dat: hoe wil je die organisaties gaan bemensen in de huidige arbeidsmarkt? Als we alles gaan doen zodat de overheid perfect wordt zijn er geen mensen meer die het geld voor Nederland moeten verdienen.
Is de vraag die je stelt of we algoritmes überhaupt moeten willen gebruiken? Ik zou dat nuanceren tot: hoe kunnen we algoritmes wel blijven gebruiken, met veiligheidswaarborgen?

Ik kan me bijvoorbeeld voorstellen dat een algoritme wordt ingezet bij fraudedetectie. Dat is haast onmogelijk met de hand te doen. Wat je dan zou willen is dat het algoritme moet uitleggen waarom een bepaalde persoon als (potentieel) fraudeur aanmerkt. Als het algoritme zegt: deze persoon valt in het 99e percentiel van bedragen die ontvangen worden (m.a.w.: deze persoon krijgt meer geld dan 99% van de mensen die geld krijgen), dan vind ik dat misschien wel een acceptabele reden om eens beter te gaan kijken naar deze persoon en of het wel klopt dat die zoveel geld krijgt. Als het algoritme echter uitlegt: deze persoon stemt partij X, heeft een niet heel Nederlandse achternaam, woont in buurt X, heeft een bepaalde seksualiteit, of noem het maar op... Dan zou ik inderdaad zeggen: dit is geen goed algoritme.

De vraag is wat mij betreft dus niet: moeten we computers helemaal niet meer vertrouwen, maar hoe we computers kunnen blijven vertrouwen. Een stuk uitlegbaarheid en begrijpelijkheid van beslissingen lijken mij daarbij voorwaarden, zodat we kunnen blijven toetsen of er bias bestaat, of simpelweg absurde redenaties.

Overigens zijn er ongetwijfeld heel veel aspecten die ik niet ken en over het hoofd zie; ik ben ook geen expert.
Randvoorwaarden en niet buiten de lijnen van onze grondwet tekenen.

Dat is blijkbaar te veel gevraagd.
En het duurt te lang voordat er consequenties zijn wanneer men onethisch te werk gaat.

Ik stel mij zo voor.
Het begon vast zoals eerder is gepost hierboven:
Goedkoop
Een berg werk snel en makkelijk verzetten
Onredelijke deadlines (binnen een paar seconden een beurs regelen zonder checks)

Kortom een broedplaats voor onethische besluiten, stel ik mij zo voor.

En dan kwam daar Syri waar elke ministerie mee mocht doen en laten wat het wil.
Fraude checks ging automatisch en besluiten om een case te starten had je uit handen gegeven.
“Ja maar waren meeste zaken dan niet terecht?”
Als Syri alleen zaken starten voor mensen die Henk en Ingrid heetten…? Had het je uitgemaakt hoe vaak het het bij het juiste eind had?

Moraal van het verhaal
Maar goed. Niet genoeg die er het kwaad in ziet…
In dit geval werden ze gecontroleerd. Het is niet zo dat ze automatisch aangepakt werden als gevolg van het algoritme.

Wat ik hier mis zijn de resultaten. In hoeverre kwam die risicoscore overeen met reëel fraude?
Omdat dat vrij weinig zegt. Als je 100 appels en 10 peren op rotte plekken controleert, zal je meer appels met rotte plekken vinden.

Doordat de controle scheef is, kan je weinig zeggen over hoe betrouwbaar of succesvol de gebruikte methode is. Je hebt geen betrouwbare vergelijking met de gehele populatie aan uitwonende studenten omdat je sample niet klopt.
Adresfraude onder studenten is van alle tijden en gebeurt in alle milieus. Ik ben van de generatie net vòòr de invoering van dit algoritme en ik kende een paar mensen die gecontroleerd werden en drie die terecht gepakt werden op fraude (waaronder mijn zus). Zij hoefden zich financieel geen zorgen te maken gezien het feit dat de ouders wel garant konden staan. De impact van de fraude waren geen financiële problemen die jarenlang doorwerken, maar bleef beperkt tot flinke ruzie met het thuisfront en een wijze les om het niet nog een keer te doen.

Als door dit algoritme bepaalde groepen niet meer in beeld komen, gaan die groepen geheid meer frauderen, en aangezien het algoritme ze niet meer zal traceren kan die situatie jarenlang in stand worden gehouden. Als je algoritme dan "toevallig" mensen uit overwegend allochtone/armere milieus treft terwijl een deel uit de beter bedeelde mileus vrijuit kan gaan, dan is er iets goed fout.
Ieder serieus mens weet dat je dit statistisch moet benaderen. Absolute aantallen zeggen niets.
Dat is de info die ik hier mis. Het kan best zijn dat het disciminatie in de hand werkt, daar neem je dan de nodige stappen voor. Net zoals Heineken stappen onderneemt om drinken op het werk te voorkomen bijvoorbeeld.

Wat ik nergens kan vinden is wat de resultaten waren. Heb je statistisch gezien meer rotte appels dan peren? Als dit effectief zo is, dan gebruik je die info om de rootcause te vinden en aan te pakken.

Zomaar ermee kappen omdat je onderbuikgevoel zegt dat dit niet OK is, is helemaal niet goed. Zoals hierboven aangekaart, laten we fraude dan maar gewoon toelaten. Laten we alles toelaten omdat het wel ergens een groep benadeelt.
Hoewel je met een statistische benadering het risico hebt dat je heel veel onschuldige mensen bij voorbaat als fraudeur bestempelt, moet je inderdaad iets om grootschalige controles uit te voeren.

Maar als je het statistisch benaderd op de cijfers die uit deze methode zijn gekomen, krijg je een verkeerd beeld. Ze hebben namelijk bepaalde groepen te veel gecontroleerd en andere groepen te weinig.

Vervolgens worden er door een team van vijf medewerkers studenten geselecteerd bij wie huisbezoek/buurtonderzoek plaats gaat vinden. Daarbij is van invloed hoe zo'n inspecteur van het DUO zo'n huisbezoek doet. Is zijn doel fraude bewijzen of is hij neutraal? Ook hier speelt achtergrond weer een rol, want hoe bepaal je in een huishouden dat compleet afwijkt van dat van jou en wat je kent, wat red flags zijn? Misschien gaat een uitwonende student met achtergrond X of Y wel veel vaker bij z'n ouders langs dan eentje met achtergrond P of Q en hoort men bij buurtonderzoek vervolgens dat die student wel erg vaak daar is. Dan kan iemand met achtergrond P of Q fraude zien waar dat niet het geval is.

Nu kwam men tot de conclusie dat het een groep mensen onnodig vaak aanmerkte als mogelijke fraudeur en was er niet direct een oplossing voor. De oplossing is dan het algoritme voorlopig niet gebruiken omdat onschuldige slachtoffers niks kopen voor "maar we kunnen fraude toch niet laten gebeuren?". Ze laten ook niet ineens alles toe. Het is niet algoritme met bias toepassen of helemaal niks doen.

Kortom: je kan filteren op basis van cijfers, mits deze cijfers uit onderzoek met een goeie sample komen. Vervolgens moeten de controles worden uitgevoerd door mensen met een neutrale blik en kennis van verschillende woonsituaties en achtergronden.

Iedereen door een automatisch systeem gooien en onschuldige slachtoffers voor lief nemen is wat het toeslagenschandaal mogelijk maakte.
Iedere keer dat een er soortgelijk artikel word geplaatst zie je dezelfde onzin reactie zoals deze.
in werkelijkheid hou je natuurlijk gewoon bij hoeveel appels en peren je hebt gecontroleerd, en kun je prima vergelijken (rekening houdende met het feit dat voor kleinere N je resultaten minder betrouwbaar zijn).
Je sample grootte bijhouden is wel het meest basic wat je kan doen en ik snap niet zo goed waarom er altijd vanuit word gegaan dat dit niet gebeurt.
Het gaat niet om samplegrootte, maar om de inhoud van je sample. Iemand wilde weten of de risicoscore overeen komt met de uitkomsten. Als je op basis van een verkeerde risicoscore onderzoek gaat doen, wordt het een self-fulfilling prophecy. Je kan namelijk niet 100 appels en 10 peren vergelijken en dan het aantal appels tot 10 terugrekenen om het gelijk te trekken. Helemaal omdat er daarna ook menselijk handelen bij komt kijken in de vorm van selectie van studenten voor huisbezoek (een team van vijf medewerkers doet dit) en de uiteindelijke huisbezoeken en buurtonderzoeken. Er werd soms op basis van 2 verklaringen al iemand als fraudeur aangemerkt.

Daarnaast zal een ambtenaar/inspecteur die huisbezoeken doet bij groepen die vaker als mogelijke fraudeur worden aangemerkt hoogstwaarschijnlijk met een andere bril kijken. Onder het mom van 'waar rook is, is vuur'. Dat is gewoon menselijk gedrag.

Aannemen dat het systeem goed werkt en voldoende controlemechanismes heeft leidt tot heel veel onschuldige mensen die door de mangel worden gehaald.
Een statisticus zou dan zeggen dat n bij de peren te klein is om een zinvolle conclusie te trekken.
Leuk geschreven maar als nou blijkt dat appels sneller rotten dan peren dan is de sample prima omdat je daar meer controle op wil.
Wat als je bij je 100 appels en 10 peren voorbeeld 92 appels rotte plekken hebben en 0 peren?

[Reactie gewijzigd door Johannezzzz op 23 juli 2024 09:57]

Wat als bij de groep van appels 0/100 zitten en bij de peren 10/10? Misschien rotten de peren wel sneller. Of wat als 50/100 appels eigenlijk avocado's zijn omdat ze per ongeluk verkeerd fruit hadden besteld? Avocado's zijn binnen no time rot.

We kunnen wel allemaal hypothetische situaties bedenken die ergens in de verte aansluiten op dit onderwerp, maar daar schiet niemand iets mee op.
Bijna 10.000 studenten zijn in de afgelopen tien jaar door DUO beschuldigd van fraude. Ruim 6000 studenten maakten bezwaar: een op de vijf kreeg gelijk. Ook volgden er bijna 1500 rechtszaken, waarbij een kwart van de studenten in het gelijk werd gesteld.

Dus 8800 beschuldigingen die "correct " waren en 1200 beschuldigingen zijn teruggedraaid. Lijkt mij een prima resultaat. En daar draait het uit eindelijk om, om de resultaten. Maar wat doet de overheid?
Een groep mensen die fraudeert, toevallig veel mensen met een migratie achtergrond, die gaan we niet meer lastig vallen, nee we kijken een andere kant op. We gaan nu controles uitvoeren op mensen waarvan studenten hun ouders niet meer ingeschreven staan in Nederland. Laten we die studenten gaan checken, grote kans dat niemand daar fraudeert en dan kan de overheid zeggen. Jongens niemand fraudeert meer, wat is hebben we toch een Gaaf land! :')

Wegkijken voor de realiteit is echt het slechtste wat een overheid kan doen. Maar ja.. overheid he, drama niveau
Ik snap dat het makkelijker is om niet verder dan de oppervlakte te kijken en te zeggen "zie je nou wel". Maar misschien moet je het hele verhaal lezen. Inclusief achtergrondartikelen. Wat je nu doet is slechts je eigen vooroordelen bevestigen op basis van platte cijfers zonder volledige context.

Mensen met een migratie-achtergrond worden vaker als mogelijke fraudeur aangemerkt omdat het systeem (onbewust) zo is ingericht dat ze vaker er uit worden gepikt, omdat ze bijvoorbeeld bij familieleden wonen. Omdat ze veel vaker door het systeem worden geselecteerd vindt er meer controle plaats binnen die groep. Als je een bepaalde groep veel meer controleert, vind je daar ook meer fraude. Sterker nog, dan zullen de ambtenaren die de controle uitvoeren ook steeds meer gaan geloven dat er fraude is, al voordat ze langs zijn geweest. Dan krijg je naast een systeem dat verkeerd selecteert ook vooringenomenheid bij de stappen met menselijk handelen.

En bezwaarprocedures en beroepszaken tegen de overheid? Misschien even het dossier toeslagenschandaal lezen. Bij Toeslagen probeerde men bewust de burgers zo min mogelijk informatie te verstrekken, waardoor je geen gelijk speelveld had. Mensen werden ontmoedigd als ze om documenten betreffende hun zaak vroegen. Je werd van het kastje naar de muur gestuurd. Vaak is ook nog eens niet helemaal duidelijk waarom je als fraudeur bent aangemerkt, want ze willen je tenslotte niet te veel informatie geven.

DUO ziet nu dat dit systeem niet goed werkt, dus moeten ze het tijdelijk stopzetten om te kijken hoe ze het kunnen verbeteren. Of we kunnen wegkijken terwijl een groep mensen door het systeem door de mangel wordt gehaald omdat we graag overal fraudeurs en profiteurs zien. De buurman heeft trouwens ook een erg dure auto...waar betaalt hij dat toch van? Een wantrouwen waar je helemaal niks aan hebt.

Ook dit is trouwens menselijk gedrag. Aangeleerd door decennialang het idee verkopen dat je falen of succes geheel bij jezelf ligt. En als je erkent dat mensen (met allerlei achtergronden) ook vaak in de problemen komen door hoe een systeem is ingericht, moet je misschien ook erkennen dat jouw succes mede mogelijk is gemaakt door datzelfde systeem.
88% klopte gewoon. En ja het zou mooi zijn als het percentage nog hoger wordt. Vooral als mensen er gewoon niet meer mee frauderen, maar ipv gaan we het algoritme maar aanpassen en proberen we er voor te zorgen dat bepaalde groepen mensen minder gecontroleerd worden want anders is het zielig. 88% klopte gewoon. Wat is het probleem nou? Sowieso wat is het probleem als je een controle krijgt? Je laat die mensen binnen en binnen 5 minuten staan ze weer buiten.
Het is maar een controle hoor, maar kennelijk zijn er die controles wel nodig want er wordt behoorlijk wat gefraudeerd dat blijkt nu wel uit de cijfers en gelukkig hebben ze een daar een algoritme voor gebruikt zodat ze doelgericht te werk konden gaan en als ik de resultaten zie is dat zeer succesvol geweest.

Maar ook dit is trouwens menselijk gedrag, dat je bepaalde resultaten liever niet ziet, daardoor de maar minder doelgericht te werk gaan om zo " mooiere " cijfers te showen, maar realistisch is het niet.
Wel typisch overheid mentaliteit.
Volgens mij heb je mijn reactie niet gelezen. Of alleen oppervlakkig bekeken. Dat sluit dan wel weer aan bij hoe je naar dit onderwerp kijkt.

Of je het nou niet snapt of niet wil snappen: als je niet verder kan kijken dan de oppervlakte en niet in kan/wil zien waarom de methodes zoals gebruikt niet goed werken, is een discussie over dit onderwerp niet mogelijk. Het heeft geen zin om je uit te leggen waarom het systeem werkt zoals het werkt als jij de output maar net lijkt te begrijpen en niet snapt wat voor invloed de input heeft.

Dat of je bent aan het trollen.
Ik dacht oprecht dat je liep te trollen. Door de manier waarop je schrijft, de hele tijd één ding herhaalt en dat je andermans reacties niet lijkt te lezen. Het komt over als 'bad faith' argumenteren. Dat je mij nu beschuldigt van trollen nadat ik zeg dat jij lijkt te trollen is trouwens van het niveau 'wat je zegt ben je zelf'.

Blijkbaar lees of snap je de artikelen niet, waardoor je op basis van slechts oppervlakkige informatie je eigen vooroordelen kan bevestigen (confirmation bias). Daarom blijf je constant dat ene percentage herhalen alsof het een argument is. Maar fraudebestrijding is verre van perfect en kent altijd veel onschuldige slachtoffers. Keer op keer komt dat naar voren.

Ik hoop dat je uiteindelijk gaat begrijpen dat het allemaal niet zo simpel is en dat dingen niet "gewoon zo zijn". Achtergrond en context zijn onmisbaar om een gedegen mening te vormen over een onderwerp. En als je geen zin of tijd hebt je ergens in te verdiepen, moet je accepteren dat mensen je mening niet serieus nemen.
Wat is nou het probleem dan? Leg het uit dan? Ja de score moet hoger dan 88%.
Verder is het dikke prima zo. Maar jij veranderd liever de spelregels zodat een bepaalde groep mensen "wellicht " minder vaak gepakt worden als fraudeur? Wat is nou het probleem geweest dan? Je moet gewoon naar de feiten en de resultaten kijken. Ik kijk helemaal niet naar achtergrond of iets, ik kijk naar als iemand wel of niet gefraudeerd heeft en nacontrole van een algoritme blijkt dat ritme het voor 88% goed te hebben. Prima toch? Dus leg het maar eens uit meneer. Wat is er mis met een score van 88% en nee we kijken niet naar de achtergrond van de fraudeurs we kijken alleen naar of iemand gefraudeerd heeft of niet.
Leg het maar uit.
Want de enige die zich steeds maar druk blijft maken over een groep mensen, de groep met een migratieachtergrond ben jij. Terwijl mij dat totaal niet boeit, het systeem kijkt daar ook niet naar. Echter komen zij wel vaker naar voren want zij wonen ook vaker bij familieleden in. En juist daar is fraude makkelijker te plegen. Jij blijft je maar staren op migratieachtergrond en dat ik daar bepaalde vooroordelen bevestig van zie ofzo maar mij boeit dat dus totaal niet. Ik kijk naar de resultaten. Jij vindt het kennelijk zielig of beangstigend dat een bepaalde groep eruit boven uitspringt. Ik vind het vrij logisch als je weet hoe verschillende culturen hier in Nederland leven. Ik heb genoeg vrienden die bij hun zus in gewoond hebben en ook deze controle gehad hebben. Logisch, ik kreeg dat niet terwijl ik ook uitwonend was. Maar ik woonde op een eigen adres, ingeschreven bij de gemeente waar niemand anders woonde en zeker niet iemand met dezelfde achternaam. De kans dat ik fraudeer is dus een stuk kleiner, dan iemand die bij zijn zus in woont. Dus nogmaals, staar je niet zo blind in de slachtofferrol. Het ritme is afgestemd op de samenleving alleen vinden vele mensen het niet leuk om te zien dat een bepaalde groep naar voren komt en gaat men maar de pas en on te pas hun excuses aanbieden.
En dit heb ik nu al 3x uitgelegd, kan jij daar heel anders over denken, dikke prima. Dan val ik weer terug op de feiten en dat is een score van 88% goed en wie en wat voor mensen in die 88% zitten boeit mij geen ene hol.

[Reactie gewijzigd door fifanoob op 23 juli 2024 09:57]

Fraudebestrijding is onzuiver en kent onschuldige slachtoffers. Het wordt vaak niet duidelijk gemaakt waarom je als fraudeur bent aangemerkt en als je in beroep of bezwaar gaat wordt je bij elke stap tegengewerkt door het systeem. De uitkomsten van het rapport over het Toeslagenschandaal liegen er niet om. Onschuldige mensen zijn door de mangel gehaald en door zowel de overheid met haar draconische fraudebeleid (gebaseerd op onderbuikgevoel van figuren als bijvoorbeeld Henk Kamp) als bestuursrechters totaal in de steek gelaten. Als je eenmaal het stempel hebt, ben je de lul.

Als je dan een groep buitensporig veel gaat controleren op basis van door mensen gevoede algoritmes, zal die groep meer slachtoffers van dit fraudebeleid kennen. Vervolgens krijg je een zelfversterkend effect. Er is meer fraude bij mensen met kenmerk A of B, dus we moeten daar meer controleren. Zo ontstaat er een beeld dat bij bepaalde kenmerken veel fraude voorkomt.

Er wonen bijvoorbeeld ook genoeg studenten in huizen die op naam staan van hun ouders. Veel krijgen daar dan ook nog huurtoeslag voor (want een eigen voordeur). Dan pompen ze gewoon geld binnen de familie in de rondte en krijgen nog subsidie ook. Maar dat vinden we normaal, dus dat is geen fraude. Je pakt mensen dus aan op basis van willekeur.

En die willekeur zie je terug in algoritmes gevoed met "ervaringen" en controles gedaan door mensen, bepaald door een team van 5 medewerkers. Als denkt dat dat een waterdicht systeem is, is je kritische/cynische houding tegenover de overheid vrij selectief.
je voorbeeld is krom. Die studenten die in een betaalde huis van hun ouders wonen en ingeschreven staan en daar huurtoeslag voor krijgen die wonen ook daar daadwerkelijk. Mensen die bij hun broer/zus/oom/nicht ingeschreven staan zijn risicovoller. Daarbij kijken we dus niet naar de afkomst, nee ze kijken puur naar de namen. Dus als Jantje bij Jantje in woont valt dat op en krijg je eerder een controle. Net als achmed bij achmed in woont.
Maar als Jantje bij niemand in woont en als enige daar ingeschreven staat krijg je minder controle dan diegene die op een adres woont waar iemand met dezelfde naam woont. Dat is toch gewoon logisch?
En ja studenten met een migratieachtergrond wonen vaker bij familieleden in dan mensen zonder migratieachtergrond. Maar daarom is het nog niet discriminerend.

Ik heb ook nog wel een voorbeeld. We zetten een Flitspaal vlak bij een Moskee neer. Wat blijkt, heel veel moslims krijgen boetes. Ga je dan ook zeggen hey dit is discriminerend want die paal geeft een vertekend beeld want, het zijn voornamelijk moslims die door die paal bekeurd worden en je weet in nederland in bezwaar gaan is heeeel lastig.
Ga je dan ook beweren dat die flitspaal weg moet? Moskee kan je overigens ook vervangen voor een kerk of what ever.
Of kijk je dan gewoon naar de resultaten en boeit het je niet wie er precies allemaal geflitst worden, het gaat immers om de verkeersovertreding of blijf je dan ook doorgaan dat die paal veel meer moslims controleert en dat het niet eerlijk is? Ben oprecht benieuwd.
Je weet niet of iemand daar daadwerkelijk woont. Daar zou je makkelijk mee kunnen frauderen. Ook als je daar met meer mensen staat ingeschreven kan je dat als uitwonend adres opgeven en de hoofdhuurder kan toeslag krijgen. Maar dat zijn allemaal geen red flags in het systeem omdat we het prima vinden als mensen met geld een huis kopen voor hun studerende kinderen, maar we het verdacht vinden als iemand bij familie gaat wonen omdat ze misschien geen studentenkamer kunnen betalen of niet in een studentenhuis willen wonen. Vandaar dat ik het willekeur noem. Ik heb het ook nooit discriminerend genoemd, maar wel gezegd dat er naar het algoritme moet worden gekeken omdat het blijkbaar scheefgroei in de hand werkt. Het systeem moet worden doorgelicht. Het rapport over het Toeslagenschandaal geeft ook aan dat het zo weer kan gebeuren omdat het systeem dit mogelijk blijft maken.

De vergelijking flitspaal fraudecontrole is een false equivalence. Snelheidscontroles en controle op fraude verschillen meer van elkaar dan dat ze op elkaar lijken.

Te hard rijden kent een specifieke en duidelijke grens: Maximale toegestane snelheid + correctie. Zit je daar boven, is het een boete. Het is niet dat je random ergens rijdt en ze op basis van de kleur van je auto wel of niet controleren omdat rode auto's vaker te hard rijden. Vervolgens gaan de agenten aan mede-weggebruikers vragen of je te hard reed. Of ze voelen aan je banden hoe warm ze zijn. En op basis van die gegevens bepaalt die agent of je een boete krijgt. En bij het bezwaar is het dan jouw woord tegen het woord van die agent die volgend het systeem boetes mag uitdelen op basis van rondvragen en de temperatuur van je banden.

Wat de politie wel doet is op plekken waar ze mensen vaak te hard zien rijden (bedrijventerreinen) soms iemand neerzetten met zo'n lasergun. Als ze dat doen bij een Moskee in de buurt omdat bezoekers van het betreffende gebedshuis daar elke week volgas wegrijden na het bidden, is dat prima. Dat heeft dan te maken met hun rijgedrag en niet de kleur van hun auto.
en zo wordt er bij de uitwonende beurs gekeken als je bij familie inwoont, niet naar de soort achternaam, maar gewoon als die hetzelfde is. Hetzelfde dat je ergens gaat flitsen omdat er vaak te hard gereden wordt.
Ook op adressen waar meerdere personen ingeschreven staan wordt vaker gecontroleerd als er meerdere red flags zijn. Er is nogmaals niks mis met het systeem. Want kijk ook nog eens naar de resultaten 88% van de score was correct.

Ps een ouder koopt een huis voor zijn kind maar laat hem dan alsnog in zijn eigen huis thuis wonen? Wat is dat voor logica? Waarom koop je dan dat huis puur om je kind daar in te kunnen schrijven voor de uitwonende beurs? Precies dat doe je niet en daarom worden studenten die in een 2e koopwoning van hun ouders zitten niet zo snel gecontroleerd.

[Reactie gewijzigd door fifanoob op 23 juli 2024 09:57]

Ik heb echt al heel vaak gezegd dat die 88% is gebaseerd op bezwaar- en beroepsprocedures die ongelijk zijn in het nadeel van de beschuldigde. En de aanklachten op het verslag van een ambtenaar die kijkt naar wat hij/zij denkt dat een teken is dat iemand ergens wel of niet woont, of het woord van een paar buren. Probeer daar maar eens bezwaar tegen te maken als DUO dat rechtsgeldig vindt. Je zegt nu dat het systeem werkt omdat het systeem zelf een score van 88% behaalt. Dat is een beetje een cirkelredenering. Als het systeem niet deugt, kan je die 88% vergeten.

Er zijn genoeg studentenhuizen waar meerdere studenten wonen. Het lijkt me het bekijken waard of de hoofdbewoner daar echt woont als deze kind van de pandeigenaar is, huurtoeslag krijgt en een uitwonende beurs. Mensen verzinnen de meest creatieve constructies om geld te verdienen. Ook mensen die meerdere huizen kunnen kopen.

Ik heb voor werk in het verleden te maken gehad met zaken waarbij meerdere bewoners huurtoeslag claimden maar ipv controle men gewoon de extra aanvragen afwees. Of pandeigenaren die huurtoeslag voor hun koopwoning kregen. Contractje maken en het systeem keek er niet naar om.

Je kan het zo gek niet bedenken of mensen proberen het.
Ik werk bij DUO vriend, ik weet heel goed hoe het in elkaar steekt. Jij duidelijk niet. De ritmes zijn ook wel eens anders geweest. Die 88% is gebaseerd op het aantal controles. Want van die 10000 zijn er al 4000 niet eens in bezwaar gegaan maar gaven al meteen toe dat ze gefraudeerd hadden. Een bezwaar indienen tegen DUO is overigens niet zo zwaar/moeilijk en wordt vrij snel toegekend.

Jij wilt niet naar die 88% kijken omdat je dat niet bevalt, maar dat zijn en blijven de feiten.

Je zegt het goed, mensen kunnen het zo gek mogelijk maken. Veel mensen met migratieachtergrond denken daar ook heel makkelijk over. Oh schrijf gewoon bij je nicht in die verderop woont.
En dan opeens controle. Tjah kut voor ze maar 88% daarvan is terecht gezien als fraudeur.

[Reactie gewijzigd door fifanoob op 23 juli 2024 09:57]

In het Engels heb je het gezegde 'too close to the fire to see the smoke'. En als ik daar aan denk, snap ik dat je in het systeem gelooft. Je zit er tenslotte midden in. Je ziet alleen het warme vuurtje. Waarschijnlijk is er op kantoor ook boosheid over deze beleidswijziging. "Ze snappen er niks van in Den Haag".

Ik werkte zelf bij Toeslagen (gelukkig niet de afdeling fraude) en weet hoe ik toen bepaald beleid als heel normaal beschouwde, terwijl het onderdeel was van een systeem dat burgers door de mangel haalde. Ik sprak regelmatig burgers die last hadden van het beleid. In plaats van ze helpen moesten we deze mensen afwimpelen. Er was een beetje een sfeer van wantrouwen richting burgers die Toeslagen ontvangen. Omdat je verschillende afdelingen hebt en weinig zicht op zowel 'kantoor' als in de zaal bij de bestuursrechter hebt, is het moeilijk te zien hoe zeer sommige mensen worden aangepakt door een systeem en hoe elk radertje daar (onbewust) aan bijdraagt. Soms moet je dus je systeem evalueren omdat het onbedoeld onschuldige mensen benadeelt.

Als bezwaren zo makkelijk worden toegekend, is het vreemd dat 88% van alle zaken eindigt als fraude. En wie zegt dat alle onschuldige mensen bezwaar indienen? Jij vindt het makkelijk, maar jij werkt er. Misschien snappen of durven mensen het niet. Niet iedereen heeft namelijk positieve ervaringen met de overheid. Het is dus niet zo zwart/wit als jij het ziet.

Als er zulke succescijfers zijn kan een instantie zeggen dat hun methodes goed werken. Dan is het moeilijk om een stapje terug te doen en te zeggen: zijn onze controlemethodes wel goed? Wat doet het algoritme precies? Ze gaan geloven in hun eigen succes en vervolgens is een cirkelredenering of zelfversterkend algoritme geboren.

Overigens valt het op dat je als je je boos maakt je ineens vrij ongenuanceerd bent over achtergrond in combinatie met fraude. Dat maakt het minder geloofwaardig als je zegt dat het je niet om achtergrond gaat. Het lijkt me ook geen goede basis voor fraude-opsporing.
Sorry, ik weet niet precies hoe ik je reactie moet lezen, maar lees ik het goed dat jij 1200 onterechte beschuldigen een prima resultaat vindt? En is dat alleen omdat het dan studenten met een migratieachtergrond zijn dat jij dat resultaat prima vindt? Dan is het niveau echt hard gedaald.

Elk onterechte beschuldiging is eentje te veel. Ben dan blij dat types als jij het niet voor het zeggen hebben. De oorzaak van dit probleem.

"Een groep mensen die fraudeert, toevallig veel mensen met een migratie achtergrond"

Waar staat dit? Als jij je onderzoek richt op bijna alleeen een specifiek groep dan komt er wat uit. Maar die opmerking heeft geen toegevoegde waarde aangezien het algoritme zich niet echt heeft gericht op andere (geen migratie-achtergrond) groepen in de samenleving.
Het feit dat het een groot getal is schrikt af. Maar als je bij een examen 12 van de 100 vragen fout hebt en daardoor een 8,8 haalt gaat de vlag uit. Niemand die dan zegt dat je het niet goed hebt gedaan. Als een algoritme 8800 fraudegevallen correct idenitificeert is dat net zo goed. Zonder dat algoritme hadden 8800 fraudeurs vrijuit gegaan. Nu kunnen we er natuurlijk met z'n alleen voor kiezen om fraude maar toe te laten omdat geen foute resultaten willen accepteren. Maar dan moeten we ook achteraf niet gaan klagen.
Deze redenatie klopt natuurlijk miet. Zonder algoritme waren er anderen gecontroleerd. Aangezien er geen cijfers bekend zijn is het niet te zeggen hoeveel er vrijuit zouden zijn gegaan.

Het algoritme niet gebruiken staat niet gelijk aan fraude opsporing overboord gooien.
Opmerkelijk dat jij dit nog goed probeert te praten.
Bijzondere persoon ben jij!
Het is geen verkeerd resultaat. Vergelijk het met bv het strafrecht. Hier een quote uit de NRC:

"Van politiemensen en gevangenisdirecteuren die dachten dat het in gemiddeld ‘10 procent’ van de zaken fout was gegaan..."

Exacte cijfers over dwalingen in de rechtspraak zijn moeilijk te vinden, maar het gebeurd heel veel vaker dan we denken.

Een foutmarge van 12% bij DUO, het lijkt veel maar het valt reuze mee. En al helemaal omdat die 12% foutmarge niet betekent dat men niet heeft gefraudeerd. Het betekent enkel dat een rechter niet overtuigd was van de schuld.
Zoals ik hem lees is de selectie voor extra controle binnen een bepaalde doelgroep een menselijke geweest, en staat deze los van het algoritme dat uitsluitend met neutrale selectiecriteria werkte.

Daarbij; Discriminatie is bevooroordeling op basis van ongegronde redenen. Ervan uitgaand dat de input en weging van indicatoren binnen dit algoritme neutraal geweest is, kan de output best op zaken wijzen die wij als discriminerend ervaren maar statistisch gezien wél hout snijden.

Gemiddelden zijn nu eenmaal meedogenloos.
natuurlijk vindt je fraudegevallen, maar je zoekt ze bij een doelgroep en de fraudes bij andere groepen blijven buiten schot. Vervolgens staat in het jaarrapport van DUO... froude komt vooral voor bij... zodat die groep weer extra gecontroleerd wordt. Self fullfilling profecy en ongewenst natuurlijk. Op TV werden studenten geinterviewd die hier slachtoffer van waren. Je komt hier niet zomaar vanaf en je was vrij machteloos als je wilde aantonen hoe het zat. DUO geloofde gewoon je gewoon niet. Want algorithme...
Fraude dient, net zoals alle andere aanklachten, ontegensprekelijk bewezen worden. Indien dit niet het geval is, moeten we volledig stoppen met zoeken naar fraude? Of passen we onze procedures aan tot het wel zo is?

Indien je een vermoeden hebt dat je algoritme een bepaald groep verkeerdelijk benadeelt, dan verifieer je het. Dan test je het. Dan doe je een randomized selectie uit de andere groepen en je controleert ze.

Indien een groepering gevoeliger is voor fraude, dan mag het geweten zijn. Dan mogen er ook acties komen om dit aan te pakken. Zomaar je kop int zand steken is geen oplossing. En net dat blijf ik hier zien. Niemand wilt het weten omdat het stigmatiserend kan werken. Dus laten we er gewoon mee kappen.
Slachtoffers omdat je een controleur op bezoek krijgt. Als je niets te verbergen hebt, is dat geen enkel probleem, heb je dat wel, dan ben je geen slachtoffer, maar dader.
Natuurlijk is dat het waard. Zo’n algoritme zoekt gewoon de grootste kanshebbers. En elke fraude voorkomen scheelt de belastingbetaler geld. In deze gevallen wordt er niemand slechter van, als je niet fraudeerde was het “houdoe en tot ziens”. Fraudeerde je wel, dan kon je op de blaren zitten.

Een ander verhaal wordt het wanneer er er ook geautomatiseerde beslissingen worden gemaakt zonder dat je bij iemand terecht kunt. Zoals bij de toeslagenaffaire bijvoorbeeld.
"Specifiek concludeert PwC dat studenten die woonden in wijken met een hoog aandeel inwoners met een migratieachtergrond in vergelijking met anderen vaker zijn gecontroleerd"
Maar er wordt nergens geduid waarom dit kwalijk zou zijn?

Als er aan de hand van neutrale criteria naar voren komt dat er 1.000 mensen een extra controle behoeven dan boeit het toch niet waar die wonen en als je die controleert en het blijkt dat de helft inderdaad heeft gefraudeerd dan is je onderzoek niet slecht, als de helft van die mensen uit Luxemburg afkomstig zou zijn is de conclusie dan dat het systeem discrimineert op afkomst, of is de juiste conclusie dan dat Luxemburgers vaker frauderen?

Ik krijg steeds vaker het gevoel tegenwoordig dat al dit soort statistieken een weerspiegeling van de samenstelling van de samenleving moeten worden. En dat elke bevolkingsgroep procentueel gezien evenredig moet worden gecontroleerd. Maar dat is alleen logisch als elke bevolkingsgroep procentueel gezien evenveel fraude pleegt en dat is dus niet zo, en het is ook ongelofelijke onzin om gelijke statistieken na te streven.

Je moet selecteren op niet discriminerende data en als daaruit blijkt dan Jantjes veel meer kans hebben om te frauderen dan Pietjes dan moet je Jantjes veel meer gaan controleren dan Pietjes. Het enige wat je niet moet gaan doen is als iemand Jan heeft extra controleren puur om de naam, als je input in het systeem juist is komen er vanzelf meer Jantjes dan Pietjes bovendrijven.

Dit kun je alleen vermijden door of bewust een stel Jantjes niet te controleren en dus de fraude voor lief te nemen, of je gaat bewust geld verspillen door extra veel Pietjes te controleren wetende dat je geld aan het verspillen bent.

Ik vindt dit gebeuren echt een storm in een glas water, dit is geenzins te vergelijken met bijvoorbeeld een toeslagenaffaire waar afkomst een bewust toegevoegd criterium was.
Het probleem is dat je algoritme vooringenomen wordt. Als je uit Luxemburg komt of Jan heet en mede daarom beticht wordt van fraude is dat discriminatie. Het is niet fijn als je er als Luxemburger of Jan steeds weer uitgehaald wordt. Bovendien zorg je voor achterstelling in de samenleving van Luxemburgers of Jannen, als die relatief vaker worden betrapt op fraude dan anderen.

Dit is exact hetzelfde als het toeslagenschandaal, dus ik snap niet wat je bedoelt met je laatste alinea.
Je kunt je algoritme gewoon vertellen dat het voornamen en nationaliteit niet mee mag nemen in de waardebepaling. Sterker nog je kunt in de informatie die je het controlesysteem voedt de doorgifte van voornamen en nationaliteit zeer simpel blokkeren.

Wat hier gebeurde is zeer verschillend met de toeslagenaffaire, hier ziet men het als probleem dat het systeem hoewel niet sorterend en filterend op voornaam en afkomst toch bepaalde voornamen en afkomsten onevenredig vaak als te controleren resultaat aanmerkte maar dat staat los van voornaam en afkomst. Die groep mensen voldoen via neutrale feiten vaker aan de norm voor controle. Tevens is er hier geen gebruik gemaakt van verboden gegevens.
(Ik bleef even bij voornaam en nationaliteit als voorbeeld)

Bij de toeslagenaffaire werd het systeem bewust gevoed met nationaliteit, en werd nationaliteit nog jarenlang bewaard en gebruikt nadat was geoordeeld dat dit illegaal is en verwijdering van deze gegevens was geeist door de politiek. Ook was nationaliteit onderdeel van de criteria om iemand wel of niet automatisch aan te merken als extra fraude-gevoelig.

Zie je het verschil?
Ja, dat zie ik. Het gaat er inderdaad om dat je de juiste variabelen meeneemt, of in ieder geval zorgt dat het model niet op gevoelige variabelen discrimineert. Dat hebben ze een stuk beter gedaan dan bij de toeslagenaffaire, maar dit toont wel aan dat het moeilijk blijft. Dat wil niet zeggen dat het onmogelijk is om nog een goed model te maken, maar het model zal nooit zo goed worden als een die mag discrimineren op alles.
Het systeem probleem is in mijn ogen hier niet het probleem. Het wensdenken van sommigen dat dit soort systemen de ene groep niet vaker rapporteert dan een andere groep is dit echter wel.

Stel de kans op fraude neemt toe naarmate de ouders verder weg wonen ongeacht nationaliteit, moeten we die factor dan weglaten omdat de kans dat dit buitenlanders betreft vrij groot is?
Dit artikel wordt wel heel anders gebracht dan die bij rtl. Tweakers laat lijken alsof de studenten specifiek gecontroleerd werden wegens hun afkomst, maar op rtl staat wat anders.

"In hun afweging om een huis te bezoeken keken controleurs van DUO eerst naar de afstand tot het huis van de ouders. En die is doorgaans kleiner bij studenten met een migratieachtergrond. De achtergrond van studenten was geen criterium bij de keuze om een huisbezoek te brengen."

Dus er kwamen indirect meer allochtonen uit de slectie maar het was geen criteria.

[Reactie gewijzigd door Rogers op 23 juli 2024 09:57]

Een zwaar overtrokken verhaal weer, met als hoofdmoot het feit dat er dus risico gericht werd gecontroleerd, en dat we nu na de ophef weer simpelweg compleet random steekproeven uitvoeren.

Minder risico op discriminatie, meer risico om daadwerkelijk fraude te missen.
Aan de manier waarop dingen worden gepresenteerd kun je doorgaans aardig aflezen wat de politieke voorkeuren van de auteur zijn.
"Specifiek concludeert PwC dat studenten die woonden in wijken met een hoog aandeel inwoners met een migratieachtergrond in vergelijking met anderen vaker zijn gecontroleerd"

En, wordt er in wijken met eeen hoog aandeel inwoners met een migratieachtergrond dan soms vaker gefraudeerd? Dat lijkt me de hamvraag. Als dat niet zo is, tsja dan sla je een figuur en moet je je heel goed afvragen waar die bias vandaan komt.

Maar als de 'bias' van het algoritme een 1op1 afspiegeling is van eerdere data, en je zo simpelweg de meeste fraudeurs pakt per controle... Ja, wat dan? Waar ontstaat dan het onderscheid? Bij het algoritme, of bij het gedrag van de betrokken studenten zelf?
En, wordt er in wijken met eeen hoog aandeel inwoners met een migratieachtergrond dan soms vaker gefraudeerd? Dat lijkt me de hamvraag.
Is de hamvraag niet of we überhaupt algoritmes willen gebruiken voor dit soort dingen? Moeten we niet gewoon volledig willekeurige steekproeven doen zodat iedereen, ongeacht afkomst, rijkdom, huidskleur, etc., een even grote pakkans heeft? Misschien dat we dan de staatskas iets minder spekken, maar het lijkt mij persoonlijk wel veel wenselijker dan een soort van kastenstelsel introduceren waarin de mensen die het toch al goed hebben met alles wegkomen, en de mensen die het zwaar hebben de hele tijd op hun vingers worden gekeken.
De vraag is of je efficient fraude wil opsporen, of inefficient?

Aangezien er altijd een beperkte capaciteit is, willen de meeste mensen dat het geld efficient besteed word.
En PwC heeft niet aangegeven dat de algoritmes discrimineerden.

Als de politie snelheidscontroles doet, doe je die dan op wegen waarop heel veel ongelukken gebeuren, of moet je volledig willekeurige steekproeven doen. Dus heel veel controles landweggetjes waar 2x per dag een tractor met 15km/h overheen rijd?
Moeten we maar geen snelheidscontroles doen in en rondom te roze buurt in Amsterdam? Want dan discrimineren we misschien mannen.

Moeten we maar ophouden met controles rondom scholen tijdens de start of eind van een schooldag? Statistisch gezien zijn er namelijk meer vrouwen die hun kind ophalen dan mannen. Mogelijk discrimineren we daarmee vrouwen.

Controle vlakbij een macdonald's? Ook maar niet meer doen, dan discrimineren we dikke mensen.

Controle in de Bijlmer? Kan echt niet natuurlijk want dan controleren we voornamelijk mensen met een donkere huidskleur.

Trajectcontrole ring A10? Moet die niet weg? Daar rijden statisch gezien meer allochtonen dan in Brabant.

Tegenwoordig zoeken we overal naar discriminatie en rasisme en eigenlijk is dat opzicht al discriminerend natuurlijk. Misschien moeten we daar met zn allen gewoon eens mee ophouden en de feiten accepteren.

Westerse en niet westerse allochtonen zijn in de minderheid maar over vertegenwoordigen ondanks dat nog steeds de Nederlandse gevangenissen en dat is echt niet omdat de Nederlandse politie hun ogen dicht doet als een Nederlander iets verkeerd doet. Naast dat mensen van Nederlandse afkomst zwaar in de minderheid zijn in gevangenissen zitten in deze groep nog steeds een grote groep Nederlanders waarvan de ouders of grootouders een migratieachtergrond hebben. Daarnaast zijn er meer mannen dan vrouwen die misdrijven plegen. Moeten we dan maar meer vrouwen gaan controleren ook?

Men kan dit soort statistieken racistisch en discriminerend vinden maar feiten zijn feiten. We kunnen ook gewoon accepteren dat mensen met een migratieachtergrond veel vaker overtredingen en misdrijven begaan dan mensen die geen migratieachtergrond hebben. Dat kan je als mens zijnde niet leuk vinden maar het is wat het is.
Efficientie kan natuurlijk ook doorslaan, he.
Ik bedoel, je zou ook gewoon iedereen met bepaalde kenmerken, waarvan we hebben vastgesteld dat die vaker leiden tot crimineel gedrag, al in de embrionale fase kunnen onderscheppen en vernietigen. Heel efficient natuurlijk..

Ik ben ook benieuwd wat jij van dit soort efficientie zou vinden als jij elke week staande word gehouden voor een controle omdat je blijkbaar aangemerkt bent als iemand die in een risicogroep valt (zonder dat je je ergens schuldig aan hebt gemaakt).. Zou jij dat accepteren? Zou je niet genoeg krijgen van telkens bij voorbaat al als een overtreder te worden gezien omdat een overheid jou in een risicogroep heeft ingedeelt? Wat als dit op basis is van kenmerken waar je mee geboren bent, waar je niets aan kunt doen?

Dit soort efficientie (eigenlijk dus het steeds meer doen met minder middelen) kan tot grotere schade leiden omdat er dan minder speciefiek wordt gekeken door mensen. Dat is namelijk de efficientieslag. Je hoeft er niet meer een mens naar te laten kijken maar je beslist mer een paar 'simpele', van statistieken afgeleide regeltjes of je iemands leven zuur gaat maken of niet. Nul verantwoordelijkheidsgevoel ook, want computer zegt dat het zo is.
De vraag is of je efficient fraude wil opsporen, of inefficient?
Efficiënt, maar wat mij betreft zonder te discrimineren. Waar je ouders wonen, kun je niets aan doen: daarom vind ik het slecht dat dat wordt meegenomen in zo'n algoritme. Ik zou het begrijpelijker vinden als we bijv. mensen vaker controleren die in het verleden al vaker gefraudeerd hebben. Dan beoordeel je mensen op de keuzes die ze zelf maken in hun leven.
Als de politie snelheidscontroles doet, doe je die dan op wegen waarop heel veel ongelukken gebeuren, of moet je volledig willekeurige steekproeven doen. Dus heel veel controles landweggetjes waar 2x per dag een tractor met 15km/h overheen rijd?
Iedereen kan in het Gooi geflitst worden, niet iedereen kan er wonen.

Misschien moet ik omdraaien: vinden we het een goed idee dat de overheid mensen meer vertrouwt, omdat ze in een villapark wonen? Want dat is wat het algoritme doet.
“Waar je ouders wonen kun je niks aan doen”, really? In deze context? Het is toch redelijk common sense dat wanneer jij je inschrijft op dorpstraat 27b terwijl je ouders op dorpstraat 27a wonen, dit relevant is voor een risico beoordeling mbt je mogelijk fraudeert.

En laten we daar even bij stellen; je wordt niet veroordeelt door het algoritme, je wordt door een mens beoordeelt.

Interessant is dan weer dat je mensen die iets fouts hebben gedaan, daarvoor hun straf hebben gehad, alsnog extra wilt controleren. :?
“Waar je ouders wonen kun je niks aan doen”, really? In deze context? Het is toch redelijk common sense dat wanneer jij je inschrijft op dorpstraat 27b terwijl je ouders op dorpstraat 27a wonen, dit relevant is voor een risico beoordeling mbt je mogelijk fraudeert.
In het artikel staat letterlijk dat PwC constateerde dat niet alleen op de criteria zoals woonafstand naar ouders werd geselecteerd, maar dat mensen uit achterstandswijken vaker werden gecontroleerd. Dat eerste, checken op woonafstand, begrijp ik. Ik heb er moeite mee dat studenten die dicht bij hun ouders wonen in een villapark minder vaak worden gecontroleerd dan studenten die dicht bij hun ouders wonen in een achterstandswijk.
Interessant is dan weer dat je mensen die iets fouts hebben gedaan, daarvoor hun straf hebben gehad, alsnog extra wilt controleren. :?
Als we consequenties hangen aan de daden van mensen, heb ik daar inderdaad minder moeite mee dan wanneer we consequenties hangen aan de afkomst van mensen. Bij je daden heb je vrije keuze. Je afkomst krijg je, en heb je mee te dealen.
Ik ben door het rapport heengegaan gisteren en ben nergens deze conclusie tegengekomen.

Je doet nu net alsof afkomst een onderdeel was van de afweging maar dit komt in het hele rapport naar voren dat dit juist NIET het geval was.

Fraude kwam vaker voor bij MBO, weet je welke bevolkingsgroep juist daar vertegenwoordigd is? Dicht bij je ouders wonen was een risico, weet je welke groep dat doet? Niet Floris-Jan die in zijn Corps huis woont.

Er werd dus expliciet niet geselecteerd op afkomst, iets wat al in de eerste pagina’s duidelijk wordt gecommuniceerd. Dus waar haal je dit vandaan?
Dus waar haal je dit vandaan?
Dit staat in het artikel zelf:
DUO gebruikte een regel-gebaseerd algoritme om een risicoscore aan studenten toe te kennen. Dat gebeurde onder meer op basis van onderwijstype, woonafstand van ouders en leeftijd, maar daarna kwamen er steeds meer gronden voor nader onderzoek bij waarop studenten huisbezoeken kregen. "Specifiek concludeert PwC dat studenten die woonden in wijken met een hoog aandeel inwoners met een migratieachtergrond in vergelijking met anderen vaker zijn gecontroleerd", schrijft Dijkgraaf. "Dit ondanks het gebruik van ogenschijnlijk neutrale selectiecriteria."
Je hebt gelijk dat er niet expliciet wordt gezegd: “controleer allochtonen maar vaker”. Er wordt wel geselecteerd op criteria die sterk correleren met deze groepen. Als ik dan in het rapport ga kijken hoe die criteria zijn onderbouwd, vind ik dat erg ondermaats.

Wat citaten uit de bijlage “Kwantitatieve en kwalitatieve analyse CUB-proces – Algorithm Audit”, hoofdstukken 4 en 5:
Samenvattend, de aselecte steekproeven uit 2014 en 2017 bieden een statistische onderbouwing voor een binaire hoge- en lage risicoclassificering. Er zijn echter geen duidelijke redenen om voor de gehanteerde risicocategorieën 1-6, zoals gehanteerd in het CUB-proces, te kiezen.
Oftewel, het algoritme deelt studenten in in 6 risicocategorieën, terwijl statistisch gezien alleen onderbouwing is voor een hoog-laagclassificering (1 + 2 hoog, rest laag).
De selectiecriteria zijn opgesteld op basis van een handmatige analyse van lijsten met uitwonende studenten in de pilotregio's in combinatie met ervaringsgegevens en wat in de workshop werd genoemd ‘gezond verstand’ [A.46,A.47].
Dus we willen algoritmes gaan gebruiken om objectiever en efficiënter te selecteren - en wie laten we de regels mee bepalen? Mensen met “gezond verstand”. Doei objectiviteit.
Het Onderzoekskader ADR schrijft voor dat “de keuze voor het model en de hyperpara- meters zijn beargumenteerd en vastgelegd” (DM.2) en dat de grenzen van de toepas- baarheid van het model zijn gedocumenteerd (DM.3). Hier is deels aan voldaan [A.40].
De keuze voor het risicoprofiel en haar parameters is deels te reconstrueren, maar niet consequent vastgelegd [C.42-1]. Een onderbouwing van de wegingsfactoren (ook wel: risicocodering) ontbreekt. Waarom voor de gebruikte selectiecriteria is gekozen is nergens uitvoerig onderbouwd [E.9-4].
Documentatie? Alleen maar gedoe. We hebben ons gezonde verstand toch?
"Specifiek concludeert PwC dat studenten die woonden in wijken met een hoog aandeel inwoners met een migratieachtergrond in vergelijking met anderen vaker zijn gecontroleerd"

Daar staat niet dat mensen worden gecontroleerd omdat ze een migratieachtergrond hebben, maar dat mensen die uit de profielen komen, vaker een migratieachtergrond hebben.

Dan zou best dat profiel fout kunnen zijn natuurlijk, maar zo'n profiel is slechts een indicatie dat een persoon nader onderzoek behoeft. Als dan blijkt dat dat profiel niet zo vaak frauderende personen oplevert, wordt dat profiel aangepast.
Als jij in het Gooi woont in dezelfde straat als je ouders bij een familie lid word je er door het algoritme eruit gehaald. Er wordt helemaal geen onderscheid gemaakt op discriminerende factoren.
Het staat letterlijk in het artikel…
Dat gebeurde onder meer op basis van onderwijstype, woonafstand van ouders en leeftijd, maar daarna kwamen er steeds meer gronden voor nader onderzoek bij waarop studenten huisbezoeken kregen. "Specifiek concludeert PwC dat studenten die woonden in wijken met een hoog aandeel inwoners met een migratieachtergrond in vergelijking met anderen vaker zijn gecontroleerd"
Omdat men in het Gooi niet bij familieleden in woont. Er wordt op woonafstand van ouders en leeftijd en onderwijstype gekeken, dus niet naar specifieke woonplaatsen want anders wordt bepaalde woonplaatsen overgeslagen. Nergens in het algoritme staat dat ze bepaalde woonplaatsen niet hoeven te controleren en bepaalden juist weer wel. Het is alleen dat de groep fraudeurs vaak wel uit dezelfde streken komen, iets met mondreclame, van hey schrijf je bij je oom in en vraag uitwonende beurs aan. Dat hoeft Jantje uit het Gooi vaak niet te doen want die 150 euro meer of minder boeit hun niet.

Men schreeuwt moord en brandt maar juist de resultaten laten inzien dat het algoritme succesvol werkt en dat deze geen onderscheid maakt op basis van religie, afkomst of huidskleur of weet ik veel wat. Nee er worden naar hele neutrale dingen gekeken. Waarvan bovendien maar 12% fout was, de rest was correct, lijkt mij een hele efficiënte manier van meten/controleren.
Uitgaande van je eigen cijfers: Er hebben 1200 van de 6000 beschuldigden terecht bezwaar gemaakt dus er zijn slechts 4800 fraudeurs opgespoord, niet 8800.

Minder dan de helft dus. Feiten zijn wel feiten maar dan moet je wel je wiskunde op orde hebben.
Tja het ligt natuurlijk wel een beetje in de lijn der verwachtingen dat er een algorithme gebruikt wordt om in een eerste slag 'de kaf van het koren' te scheiden, puur omdat er maar bescheiden resources zijn (er zijn maar zoveel inspecteurs beschikbaar).

Wat er meestal fout gaat is dat in die eerste slag vaak (de verkeerde?) assumpties gedaan worden. Hier bijvoorbeeld dat de kans tot frauderen hoger is als je dichterbij woont. (waar is dat op gebaseerd?)

Wat beter zou zijn is met een 'green field' te beginnen, en dan op basis van de data die je terug krijgt het algorithme te sturen. Mogelijk komt daar nog steeds een antwoordt uit wat niet politiek correct genoeg is voor de media, maar in ieder geval wel beter verdedigbaar omdat je dit op basis van je data kunt bewijzen.
Woonafstand lijkt mij in het geval van uitwonenden duo-uitkering een goede indicator. Iemand die ouders heeft die vlak bij de onderwijsinstelling wonen, zal minder snel kiezen om op kamers te gaan, als er dus toch mensen zijn die hier voor kiezen kan dat een goede indicator zijn voor verder onderzoek.
Dat is prima, maar dan moeten we achteraf niet gaan klagen dat er teveel fraudeurs niet gepakt worden. Voor een hogere pakkans ontkom je er niet aan om gericht te zoeken. Supermarktdieven vindt je ook eerder in de supermarkt dan langs het voetbalveld op zaterdagochtend.
Die analogie klopt alleen niet helemaal. Hij zou beter kloppen als je mensen die met een dure auto naar de supermarkt komen minder vaak controleert dan mensen die met een goedkope auto naar de supermarkt komen. Wellicht is er een correlatie, maar de vraag blijft of het wenselijk is om dat onderscheid te maken.

Ik had een collega met een niet-westerse achtergrond die meerdere keren per jaar mocht uitleggen hoe hij aan die dure fiets kwam. Het kan goed zijn dat mensen met een niet-westerse achtergrond vaker een fiets jatten, maar vinden we het wenselijk dat iemand met zo’n achtergrond die niets fout doet, daar zo veel hinder van ondervindt? Ik vind van niet. Daar weegt het voordeel (een paar extra dieven pakken) niet op tegen het nadeel (mensen die niets fout doen constant het gevoel geven dat we ze wantrouwen).
Het probleem is dat als het algoritme fraude vermoedt, de inspecteur dat dan ook zo zal zien.

"Ah, hier staan nog 2 paar schoenen van je zoon? Dan denk ik toch niet dat hij zo vaak in de universiteitsstad zal overnachten. Misschien moeten we die toelage voor kamers maar eens schrappen".
Als je op plekken meer controleert, ga je ook meer fraude vinden, wat vervolgens weer kan zorgen voor een grotere bias en dus nog meer extra controle. Dat is in ieder geval een van de risico’s met dergelijke bias/systemen.
In absolute aantallen wel ja, de vraag hier is echter of er procentueel meer fraudeurs in wijken met veel inwoners met een migratieachtergrond zijn, dan in rijkere wijken. En als dat zo is, is de volgende vraag ook of die metriek direct is meegenomen in de invoer van het model, of zelf door het algoritme is afgeleid.

Ik betwijfel het, maar ik ben wel benieuwd of daar naar gekeken is.
Dat is dus waarom je naast een algoritmische controle ook een groep willekeurig selecteert. Die willekeurig gekozen groep is de controle groep waarmee je kan controleren of je algoritme (nog) deugd.
Als je op plekken controleert waar veel fraude is, ga je ook meer fraude vinden. Feit is dat dit algoritme slechts een selectie maakte van mensen met een opvallende situatie. Uiteindelijk komen er ook weer statistieken van mensen die niet bleken te frauderen.
Uit het rapport:
Wat is dit rapport niet?
Een kwantitatieve analyse van vooringenomenheid ten aanzien van migratieachtergrond.
Dit onderzoek heeft tot op heden niet kunnen plaatsvinden omdat de data die daarvoor nodig zijn tot nog toe niet beschikbaar zijn gesteld door het Centraal Bureau voor de Statistiek (CBS).


Het rapport concludeert wel dat er geen sprake is van direct onderscheid op basis van migratieachtergrond.

M.a.w: er wordt niet expliciet gediscrimineerd, maar er zou een bias kunnen zijn t.a.v. mensen met een migratieachtergrond, maar die is (nog) niet aantoonbaar.

Ik kan me wel voorstellen hoe een dergelijke bias kan ontstaan.
Er wordt op 3 criteria geselecteerd:
  • Leeftijd. Hoe jonger, hoe groter de kans op fraude.
  • Opleidingsniveau. Hoe lager het opleidingsniveau, hoe groter de kans op fraude.
  • Afstand tot plaats woning van de ouders. Hoe korter de afstand, hoe groter de kans op fraude.
Op zich netjes en objectief. Overigens trekt het rapport de conclusie dat alleen de laatste overduidelijk correleert met fraude. De andere zijn niet/minder duidelijk, mede vanwege de beperkte steekproef. Maar dit terzijde.

Eigenschappen mensen met een migratieachtergrond:
  • Zitten minder vaak op hoger onderwijs. Worden hierdoor dus vaker geselecteerd.
  • Er zijn veel meer MBO scholen dan HBO en WO. Dus is de kans veel groter dat je dichter bij het ouderlijk huis terecht kunt. En dus een grotere kans geselecteerd te worden.
  • Mensen met een migratieachtergrond wonen bovengemiddeld in steden. Dichter bevolkt, kortere afstanden, ook grotere kans dat je dichter bij huis terecht kunt, en weer een grotere kans geselecteerd te worden.
En zo worden mensen met een migratieachtergrond dus vaker gecontroleerd.

Of dat erg is, is de vraag. Dat is een discussie over normen en waarden, dus nauwelijks uit te komen :)

edit: Feit is wel dat een algoritmische selectie *altijd* een bias heeft. Dat is de bepalende eigenschap van een algoritme. En dus is een algoritme altijd discriminerend voor iemand. Als je een purist bent op dit gebied moet je algoritmes verbieden en alleen maar willekeurig selecteren voor controle.

[Reactie gewijzigd door locke960 op 23 juli 2024 09:57]

Deze vraag wordt beantwoord in de zin erna:

Specifiek concludeert PwC dat studenten die woonden in wijken met een hoog aandeel inwoners met een migratieachtergrond in vergelijking met anderen vaker zijn gecontroleerd", schrijft Dijkgraaf. "Dit ondanks het gebruik van ogenschijnlijk neutrale selectiecriteria."..
Er wordt gedaan alsof het allemaal net over de grens is omdat er door een soort toevalligheid impliciet gediscrimineerd werd op afkomst, maar ik vind de overige selectiecriteria ook niet zo heel erg fris.
Tot drie maal toe controle gehad en altijd alles netjes op orde. Studeerde toen in Antwerpen over de grens. Maar het gezeik van “je pdf is te groot en kwam niet aan lol, dus daarom moet je nu dus alles ineens terugbetalen” of “Ja we hebben de gegevens nog niet ontvangen in Groningen” tot aangetekende brieven aan toe en zelfs naar Den Haag mogen rijden… Altijd alles wel weer op orde gebracht, maar wat een gezeik met die klote instantie. Zou ik onder de groep zijn gevallen van “…woonafstand van ouders en leeftijd…”?
Wat zijn eigenlijk nu de richtlijnen?

Ik snap dat je niet mag discrimineren op huidskleur of achtergrond maar als iemand in een bepaalde wijk woont, of bij een cultureel cluster hoort waar relatief vaak gefraudeerd wordt snap ik op zich wel dat je daar vaker wil controleren.

Echter als die wijk in het Gooi ligt en de culturele club de lokale golfclub dan voelt het minder snel als discriminatie dan als het een sociale wijk met relatief veel migranten uit een bepaalde culturele achtergrond betreft

Edit: de vraag staat los van deze berichtgeving. Er zijn door duo wel echt richtlijnen gebruikt die praktisch uit de onderbuik zijn gekomen

[Reactie gewijzigd door lmartinl op 23 juli 2024 09:57]

De wet heeft iets met discrimineren op afkomst en dat is niet hetzelfde als discrimineren op basis van bijvoorbeeld hobby.
Prima dus om selectie voor belastingcontrole te doen bij bezitters van oldtimers, of bij de bezitters van Bentleys.
Maar niet prima om te selecteren op letterpatronen in achternamen of op woonwijk.
Je zegt prima te selecteren op bezitters van Bentley's.

Maar daar ligt juist een groot deel van wat men nu als probleem ziet.

Men selecteert bijvoorbeeld op Tesla's en vindt geen bovengemiddelde afwijking en niemand die protesteert. Maar nu gaat men selecteren op 25 jaar oude Mercedessen of op oude Toyota busjes maar dan worden mensen boos want die voertuigen zijn procentueel bovengemiddeld aanwezig bij allochtonen en dan mogen we daar dus niet op selecteren. Nu mag er nog speciale aandacht uitgaan naar telefoonshops omdat die bovengemiddeld frauderen maar die zijn ook bijna uitsluitend in handen van allochtonen mogen we straks nog wel extra aandacht aan telefoonshops geven of is dat stigmatiserend? Uiteindelijk moeten we zoveel gegevens weglaten dat het hele algoritme wel in de vuilnisbak kan.
Nouja mijn punt is dat, zeker met AI en trainingsmodellen de grens zoek is wanneer je per ongeluk soms toch indirect op iemand’s achtergrond zoekt/kan zoeken met genoeg data die op het eerste ogenblik onschuldig lijken.

Iemands geloof en huidskleur zijn duidelijk. Iemands adres iets minder maar ok. Maar iemands eetpatronen? Uitgaven? Netflix gedrag? Keuze auto? Porno consumptie?

Iemand die old timers spaart zal relatief vaker een blanke man boven de 50 met een goede spaarrekening zijn.

Met genoeg ogenschijnlijk onschuldige aanknooppunten kun je echt wel met statistische zekerheid iemands achtergrond bepalen.

Zelfs eten kan moeilijk zijn. Selecteren op mensen die van kip houden heeft voor de mens al sneller een racistisch kantje dan selectie op basis van avocado’s terwijl het voor de machine niet uit maakt

Dus ik vraag me oprecht af of de overheid er niet beter aan doet gewoon volledig blinde/random steekproeven uit te voeren
Geheel eens, steekproeven zijn een verstandige keuze.
Overigens had ik die oldtimers erin omdat het ook een "onwil om belasting te betalen" kan zijn. En het hebben van een oldtimer een keuze is. In tegenstelling tot een woonadres of huidskleur.
Het is een beetje dubbel, discriminatie is natuurlijk nooit goed. Maar! :P
Als voorbeeld, borstkanker komt bij vrouwen vaker voor dan bij mannen, zie:
https://www.rivm.nl/bevol...anker/kans-op-borstkanker
“ Borstkanker komt ook voor bij mannen, maar veel minder dan bij vrouwen.”
Als je alle patiënten die het ooit gehad hebben, op een hoop gooit en dan hier een formule of algoritme mee maakt, dan is de kans groot dat een (slecht) algoritme alleen zou testen op borstkanker als het een vrouw is. Het boeit niet zo zeer dat er dan discriminatie op geslacht is, immers is het onwaarschijnlijk dat een man het heeft, echter, zou je hierdoor een patient mogelijk niet laten onderzoeken omdat het algoritme zegt dat het onwaarschijnlijk is.

Als we dat op de fraudeurs toepassen dan worden er per gerichte controle meer fraudeurs gepakt, terwijl je door die gerichte controle fraudeurs uit andere bevolkingsgroepen potentieel laat lopen.

Ik zeg: ontwikkel een methode om iedere fraudeur op te pakken, dan is er geen discriminatie :)
De vraag is ook wat telt, het pakken van fraudeurs, of het afschrikken door een pakkans.
De afschrikking is het meest effectief als je de controles gelijkmatig spreidt.
Het opgehaalde boetebedrag is het hoogst als je heel specifieke criteria hanteert waarbij je bewust groepen laat lopen waar je het de moeite van het controleren niet waard vindt.
En dan denk ik: kies maar, gaat het om de opbrengst deze week, of gaat het er om fraude op lange termijn te bestrijden?
Controles gelijkmatig spreiden betekent ook dat je evenveel aandacht moet besteden aan groepen waarvan je aan de hand van je gegevens weet dat fraude er zeldzaam tot zeer zeldzaam is. Ik vindt dat verspilling van geld en mankracht als men die middelen elders met een veel groter effect op heersende fraude kan inzetten.
Een algoritme discrimineert niet. Als het resultaat van een algoritme dat het wel is, dan moet je naar de invoer data kijken of naar de controle van de uitvoer.
Je wil natuurlijk niet hebben dat je algoritme een blinde vlek krijgt voor bepaalde specificaties.

Het hele idee van algoritmes is dat het juist de menselijke vooroordelen uitsluit en daardoor eerlijker (en privacy vriendelijker) is. Maar het blijft belangrijk om er op toe te zien wat de uitvoer in de praktijk is.

Ook is elke vorm van voorselectie uiteindelijk op een manier discriminerend. Alleen steekproefsgewijs werken of simpelweg iedereen controleren is eerlijker.

Het is makkelijk om maar weer eens een algoritme de schuld te geven. Lekker schuilen achter iets ongrijpbaars terwijl de uitvoering buiten schot blijft.
Als je algoritme zo goed is dat het geen blinde vlekken heeft (goed punt overigens, want je wilt niet dat het algoritme met heel weinig bewijs toch een fraudekans uitspuugt) dan nog mag het niet discrimineren op bepaalde gevoelige variabelen, zoals afkomst, geslacht en leeftijd. Op bepaalde andere zaken die minder gevoelig zijn mag je wel discrimineren, zoals misschien inkomensgegevens, de frequentie van het contact met DUO, het soort studiefinanciering etc. Maar wat wel en wat niet mag, dat moeten we als samenleving zien te bepalen.
Dat maakt algoritmes onbruikbaar als een demografische variabele correleert met een uitkomst van de enquete (want de uitkomst is dan opeens discriminerend).

Het hele doel van een algoritme is discrimineren, je wil de input vernauwen.

In de echte wereld hangen demografische variabelen nou eenmaal samen met bepaald gedrag of uitkomsten (ongeacht de reden daarvoor).

Beetje van het niveau dat je niet mag zeggen dat de maffia Italiaans is, want dat is discriminatie.

Dat is toch gewoon de nieuwe kleren van de keizer?


Het nieuwsbericht zegt ook niks over de terechtheid van de controles, alleen dat als je in een wijk woont met een hoog aandeel migratieachtergrond, dat er dan meer gecontroleerd is.

Er zijn nogal wat neutrale sociologische redenen waarom dat gewoon terecht is, zoals bijvoorbeeld minder binding hebben met een land, of overheden minder vertrouwen, dingen die waarschijnlijk flink correlereren met migratieachtergrond.

Nog los van dat je in Nederland nogal makkelijk 'fraudeert', gewoon per ongeluk iets verkeerd doen. Met een migratieachtergrond is de onbegrijpelijke overheid nog een stukje meer onbegrijpelijk.

Kortom: het nieuwsbericht klinkt als politiek correcte onzin
Niemand trekt in twijfel dat er correlaties te vinden zijn tussen fraudekansen en de plek waar je woont of je afkomst, de stelling is dat het niet wenselijke is om op dergelijke criteria te selecteren. Ik vind het zelf onbegrijpelijk dat je iets anders lijkt te beargumenteren. Door wel op dergelijke criteria te selecteren hou je de ongelijkheid welke waarschijnlijk ook ten grondslag ligt aan de gevonden correlatie juist in stand.

Daarnaast toont sociologisch onderzoek aan dat bevolkingsgroepen die door de maatschappij worden weggezet als crimineel (door vaker controle, media uitingen etc) zich in de loop van tijd steeds meer gaan voegen naar dit beeld wat de maatschappij over ze heeft, ook een onwenselijk gevolg van dergelijke over surveillance.
Een logaritme is een gewoon een code.
Als je in de logaritme de afkomst laat meewegen is de logaritme dus discriminerend.
Een logaritme is geen algoritme.
correctie algoritme
Maar dat gebeurde hier dus niet. Het bleek dat het in bepaalde wijken normaal was om elders in dezelfde wijk bij familie op kamers te gaan. En dat waren voornamelijk mensen van dezelfde afkomst.
Je weet de totale algoritme niet. Het is niet 1 code.
Wat ik meest bijzondere vind is dat ze dit bij Auto verzekeringen al jaren doen om de premie te berekenen. Maar daar hoor je niemand over.
Wat heb je eigenlijk aan excuses als je nu al op een briefje kunt schrijven dat dit zeker niet de laatste keer zal zijn dat dit gaat gebeuren.

Op dit item kan niet meer gereageerd worden.