Toezichthouder: overheden moeten transparant zijn over gebruik algoritmes

Nederlandse overheden moeten transparant zijn over het gebruik van algoritmes. Dat vindt de Autoriteit Persoonsgegevens, zo schrijft de NOS. Overheden vertellen nu burgers niet of zelden dat een beslissing het gevolg is van een algoritmische beslissing.

Veel overheidsinstanties gebruiken algoritmes om ambtenaren te adviseren, meldt de NOS. In geen enkel geval neemt een algoritme de daadwerkelijke beslissing, maar een algoritme wijst wel personen aan die een verhoogde kans of een verhoogd risico hebben. Zo hopen gemeenten schoolverlaters sneller op te sporen of fraudeurs te identificeren. De NOS heeft via de Wet Openbaarheid van Bestuur documenten in handen gekregen over het gebruik van algoritmes bij 54 overheidsinstanties, waaronder gemeenten, de politie en de Belastingdienst.

De Autoriteit Persoonsgegevens vindt dat overheden transparant moeten zijn over het gebruik van algoritmes. Dat is nu niet het geval. "Als er een besluit over je wordt genomen en je weet niet hoe dat tot stand is gekomen, dan kun je je daar niet tegen verdedigen", zegt voorzitter Aleid Wolfsen tegen de NOS.

De Belastingdienst gebruikt de data die hij nu al heeft, om via algoritmes fraudeurs op te sporen. Daarbij is aandacht voor het voorkomen van discriminatie via algoritmes, aldus de dienst. Hoe dat precies gebeurt, blijft onduidelijk.

Behalve discriminatie is het ook een probleem dat ambtenaren moeilijk het advies van een algoritme kunnen negeren, zegt het Centrum Indicatiestelling Zorg. "Medewerkers vinden het soms lastig af te wijken van het algoritme als de situatie van de cliënt daarom vraagt."

Niet elke overheidsinstantie wil algoritmes gebruiken. De gemeente Uden kiest er bewust voor om van gebruik af te zien bijvoorbeeld. "Het risico is te groot om data als werkelijkheid te zien", aldus het document van de gemeente. "Bij een grote rol van data zijn er meer problemen te verwachten dan we ermee oplossen."

Reacties (52)

[Eldunari]

Daarbij is aandacht voor het voorkomen van discriminatie via algoritmes, aldus de dienst.
Ik ben wel benieuwd waarom expliciet iets gedaan moet worden waardoor de algoritmes niet discrimineren.
Als blijk dat een bevolkingsgroep meer of minder gevallen van een specifieke brom van fraude oid voorkomt. Waarom mag dit dan niet terugkomen in het algoritme?
Of zou er een andere reden zijn dat het algoritme discrimineert die niet aan de data ligt.

[Creesch]

Op de NOS website gaat men er wat dieper op in

"Het probleem is dat je gegevens uit het verleden in het algoritme stopt" ... "Maar vaak zit er in die data al een vooringenomenheid."

Met als voorbeeld

Als bijvoorbeeld een politie-agent bewust of onbewust mensen uit een bepaalde bevolkingsgroep vaker staande houdt, komen hun kenmerken vaker voor in de politiestatistieken. En zo wordt een bepaalde groep buitensporig vaak gecontroleerd maar kunnen criminelen met andere kenmerken onopgemerkt blijven.

En zo zijn er veel meer voorbeelden te bedenken.Er is een heel mooie analoge anekdote hierover die aantoont waardoor het uitgaan van bepaalde data je sowieso op het verkeerde been kan zetten. Tijdens de tweede wereldoorlog wilde men de overlevingskans van bommenwerpers die elke nacht naar Duitsland vlogen verhogen. Daarom startte men met het analyseren van de bommenwerpers die terugkwamen om te kijken waar de kogelgaten en andere schade zat van afweergeschut met het doel die plekken te versterken. Dit had alleen niet het gewenste effect. Totdat een statisticus bedacht dat je het moet omkeren en kijken waar alle bommenwerpers die terugkomen geen schade hebben.
De bommenwerpers die terugkwamen hadden dat gedaan ondanks de kogelgaten en andere schade.
Men heeft toen juist gekeken naar de plekken waar alle terugkomen bommenwerpersgeen schade hadden. Het kan namelijk niet zo zijn dat er plekken zijn die nooit worden geraakt. Als die plekken wel worden vastgesteld betekend het simpelweg één ding. Alle voorbeelden van bommenwerpers die op die plekken geraakt worden zijn de neergestorte bommenwerpers aangezien je de zwakke plekken hebt gevonden.

Zo is het met veel algoritmes ook, het is voor de hand liggend om bepaalde data er in te stoppen. Maar de vraag is of het ook de meest nuttige data is en het niet je blind maakt voor andere zaken of onnodig veel aandacht zet op zaken die feitelijk niet zo groot zijn als ze nu lijken puur doordat de uitgangspositie van de bron data niet zuiver is.

[Reactie gewijzigd door Creesch op 22 juli 2024 23:08]

[WoutervOorschot]

Op die manier heb je dus daadwerkelijk meer kans om opgepakt te worden (niet veroordeeld persé) als je in een bepaalde groep hoort.

Dat is niet objectief, niet eerlijk, en ja, discriminerend. En zeker zal het efficienter zijn, net als iedereen altijd live tracken en nederland vol hangen met camera’s, dat is ook efficiënter, moet je het willen? Nee.

[TheDutchChief]

Oververtegenwoordiging is behoorlijk relatief, Nederlanders van Marokaanse origine zijn op jaarbasis ongeveer drie keer zo vaak in aanraking met justitie als autochtonen. Drie keer klinkt heftig, maar je hebt het over percentages van 1,6 tegen 3,6. Als je kijkt naar de brave burgers zijn autochtonen 0,03 keer braver dan Nederlanders van Marokaanse origine. Dat leidt er (etnisch profileren) wel toe dat (mijn enigzins) getinte kinderen veel vaker om hun ID wordt gevraagd dan hun minder getinte vriendjes. Je stelling klopt als de politie alleen achter boeven aan gaat, maar de algoritmes geven kansen weer over de hele bevolkingsgroep, Dat boeven er last van zouden hebben boeit denk ik niemand zo, maar de brave burgers hebben er ook last van. Overigens worden in de VS algoritmes gebruikt waarbij de kans op recidive mede bepaalt is op basis van afkomst (kleur) en bepalen die algoritmes ook mede de strafmaat.

[TheMak]

Je hebt gelijk. Het probleem is dat verschillende agenten op verschillende momenten dezelfde Marokkaan staande houden. Als dit te vaak gebeurt is het niet meer efficiënt.

[jeanj]

Een ander klassiek voorbeeld is dat men een algorithme aan het ontwikkelen was om vijandelijke (russische) tanks te onderscheiden van eigen tanks (amerikaans). In het laberatorium werkte het algorithme goed, in het veld werd de eerste amerikaanse tank die het algoritme als vijand geindentificeerd.

Het probleem zat hem in het trainings materiaal. De foto's van Amerikaanse tanks waren mooie, schone op gepoetse tanks, glossy foto's, hoge resolutie. Die van de russische tanks waren van slechter kwaliteit en tanks in het veld die smerig waren

Effectief had men een algorithme dat moeie goed foto's van glanzende tanks versus slechtere foto's van smerige tanks kon onderscheiden. In het veld was de amerikaanse tank smerig, slechte belichting en de camera was van minder kwaliteit, dus het alorithme classificeerde dit als een vijandelijke tank.

[Keypunchie]

Waarom mag dit dan niet terugkomen in het algoritme?

Omdat iedereen het recht heeft om bij voorbaat als individu behandeld te worden. En al helemaal voor kwaliteiten die inherent aan je zijn.

Stel je rijdt BMW. Nou is het natuurlijk algemeen bekend* dat onder BMW-rijders de meeste alcohol-rijders zitten, en dat vinden de algoritmes ook, dus gebruiken we Big Data om extra alcohol-controles op de snelwegen te doen waar de meeste BMW's rijden. En dan houden we zo veel mogelijk BMW's aan. Wel zo efficient.

Jammer voor jou als BMW-rijder die wel netjes aan de regels houden, dat je de hele tijd in die fuik rijdt, maar goed, het is nou eenmaal een gegeven he?

Het is duidelijk dat in dit fictieve voorbeeld er al rechtsongelijkheid in de hand wordt gewerkt. Onschuldige BMW-rijders worden meer gecontroleerd en andere merk-rijders die alcohol drinken hebben een veel lagere pakkans. Een burger verliest zijn individuele behandeling.

En dan kan je in dit voorbeeld nog een andere auto kiezen. Een andere huidskleur of ethniciteit heb je niet zo makkelijk geregeld.

Wat je van algoritmen wilt is dat ze niet sorteren op identiteit, wie iemand is, maar op gedrag, wat die persoon doet. Als je het over een fraude-algoritme hebt, dan wil je dus niet dat hij hele postcodes vlagt als verdacht, maar bvb. een grote declaratie, gevolgd door een vakantie-melding.

*Dit schudt ik ter illustratie volkomen uit mijn mouw, maar ik moet zeggen dat veel vooroordelen die ik hoor, doorgaans evenveel onderbouwing hebben: geen, met op zijn hoogst een vaag onderbuik gevoel.. Helemaal als je gaat kijken naar zaken als opleiding en inkomen, die doorgaans statistischer veel verklarender zijn. Toch hoor je weinig de oproep om meer controle te doen op "mensen met een MBO-opleiding", maar ik dwaal af.

[Reactie gewijzigd door Keypunchie op 23 juli 2024 07:42]

[mark-k]

Wat een onzin. Een algoritme kan het zn spreekwoordelijke reet roesten waar iemand vandaan komt, die handelt gewoon op basis van feiten. Het zal veranderingen in de structuur ook gewoon meenemen als het goed geschreven is (en dat is dan ook het enige punt waar goede controleren op moet zijn).

Of is het beter bekijken van wegen met veel verkeersdoden ook discriminerend? Of weersverwachtingen? En ga zo maar door. De wereld hangt aan elkaar van de algoritmen juist omdat deze een unbiased resultaat geven daar waar mensen niet objectief kunnen blijven. Uiteraard zul je ook wel eens een false positive hebben, maar dat zal altijd blijven.

[unfold]

Wat een onzin ;-) Algoritmes worden ontworpen door mensen of afgeleid uit data uit onze maatschappij (in het geval van machine learning algoritmes). In beide gevallen sluipen er onbedoeld voorkeuren in het algoritme. We noemen dat 'algorithmic bias'.

Soms leert een algoritme bijvoorbeeld beter blanke mensen dan zwarte mensen herkennen omdat de trainingsdata meer foto's van blanke mensen bevatte.
https://www.vox.com/2017/...ack-white-faces-diversity

Soms bepaalt een algoritme dat het geen zin heeft om vrouwen advertenties voor goed betaalde banen te tonen, want vrouwen hebben minder vaak goedbetaalde banen, zo leerde het uit de data.
https://www.theguardian.c...gh-paid-jobs-google-study

Etc.
https://www.newscientist....imes-ai-showed-prejudice/

Dit alles wordt ook wel samengevat als "bias in, bias out".

Technologie is nooit neutraal. De politieke dimensie is alleen verstopt onder een dun laagje wiskunde.

[Sandor_Clegane]

En welke feiten zijn dat? Alleen de feiten die jij hem verteld hebt.

Als je alleen bananen erin stopt die krom zijn gaat hij een rechte banaan nooit classificeren als een banaan.

[blissard]

U krijgt punten voor de Mooiste Analogie van dit bericht.

[Mellow Jack]

Niet helemaal. Een perfect algoritme obv een incomplete dataset kan zeker een mening hebben over waar iemand vandaan komt. Als dat de enige dimensie is

Als je het weer, de leeftijd, relationele status, woonplaats/wijk, geschiedenis ouders, school, werk, vrienden etc etc etc is "waar iemand vandaan komt" steeds minder relevant.

Nee zoals je veel journalisten iets ziet schrijven of vertellen wat niet klopt, puur omdat ze ergens een persbericht hebben gelezen maar niet het hele verhaal overzien. Heb je dit ook met algoritmes... Als je dan de resultaten door een lama laat interpreteren krijg je inderdaad de situatie dat ze opzoek gaan naar BMW's IPV dat ze begrijpen niet elke correlatie ook daadwerkelijk nuttig is

[poktor]

Een algoritme is zo slim en integer als degene die het schrijft. Zet je de stagiaire of een bijna-bejaarde op zo'n klus, of je laat dit iemand doen op maandagmorgen, na een weekend doorzakken, dan kun je op je klompen aanvoelen dat er zaken over het hoofd gezien worden. Het is en blijft nu eenmaal mensenwerk en mensen maaken fouten. VEEL fouten. Dus conclusie: in die gebruikte algoritmes zitten fouten, daar hoeven we niet aan te twijfelen.

[Mellow Jack]

Niet helemaal... Als jij een algoritme hebt om synthetische sleutels te vinden in datasets gaat het niet alleen om de kwaliteit van het algoritme maar vooral om de datasets die je erin stopt. Dat laatste doet de gebruiker en niet de ontwikkelaar

[Reactie gewijzigd door Mellow Jack op 23 juli 2024 07:42]

[poktor]

Maar dan nog blijft mijn argument dat het mensenwerk is en blijft, staan. En kunnen er fouten gemaakt worden.

[WORPspeed]

Als je algoritme is getraind op een biased dataset, is je algoritme uitkomst biased

Als nu alle BMW rijders extra getest worden omdat de controleurs biased zijn tegen ze, dan zal het algoritme die bias meenemen.

[Reactie gewijzigd door WORPspeed op 23 juli 2024 00:59]

[droner]

[...]Wel zo efficient.

Die efficiëntie lijkt m.i. alleen zo hoog omdat men via algoritmes op laaghangend fruit mikt. Er is dan ook een hoop laaghangend fruit op alle denkbare gebieden. Gevolg is wel dat een groot deel van de werkelijkheid niet meedoet.

[unreal0]

Dan maar geen bmw

[WillySis]

Het is een beetje overdreven, maar heel ver naast de waarheid zit je niet als je stelt dat dit soort algoritmes per definitie discrimineert. Deze algoritmes zoeken naar vaste patronen en discrimineren daarmee gewoon. De discriminatie is niet persé op afkomst of geslacht, maar meer op sociale afkomst of, salaris en vriendengroep.
Het gebruik van dit soort algoritmes is dat je je te veel blind gaat staren op zo'n algoritme. Het algoritme wordt vervolgens gevoed met gegevens die aan de criteria voldoen, maar gevallen die er niet aan voldoen (99% van de mensen) worden er niet aan toegevoegd. De discriminatie van een algoritme neemt alleen maar groter. Het succes lijkt steeds beter, maar in werkelijkheid gaat een algoritme zich steeds meer specialiseren in een subgroep.

[Mellow Jack]

Het is niet zozeer discrimineren maar meer incomplete datasets. Geef die analyse medewerkers een checklist wat ze dwingt de data ook echt de interpreteren. Ze doen nu net alsof de algoritmes zo ingewikkeld zijn maar dat is echt niet zo. Je ziet welke data erin gaat en welke conclusies eruit komt. Om die conclusie te testen is logisch nadenken vaak al voldoende

Zo heb ik bijv eens een documentaire gezien die bijv criminaliteit in een grote stad analyseerde. Vooral om te zien of zo'n stelling als alle buitenlanders zijn criminelen überhaupt ergens op slaat. Uiteindelijk kwamen ze tot de conclusie dat land van afkomst weinig uit maakte in die situatie. Al jaren, sinds de jaren 60, kwamen alle grote criminelen uit dezelfde wijk (zelfs gedeelte v/d wijk) maar daar had niemand ooit echt onderzoek naar gedaan (tot die tijd was het zo van nu hebben we last van Marokkanen dus alle Marokkanen zijn crimineel) .

Wat ik daarmee wil zeggen is dat analyses obv algoritmes prima zijn maar je moet niet zomaar iemand van de straat de cijfers laten interpreteren. Als je dus bijv een trend analyse doet en tot een conclusie komt zou je als eerste eens goed met moeten nadenken of je de juiste variabelen hebt gebruikt. In mijn voorbeeld levert criminaliteit tov afkomst een heel ander beeld op dan criminaliteit tov wijk obv een periode van 60 jaar.

Uiteindelijk draait het om slimme mensen. Als een organisatie geen slimme mensen heeft of kan / wil vinden lijkt het me inderdaad slim om geen algoritmes te gebruiken. Maar daarentegen lijkt het me ook geen goed idee om die organisatie überhaupt een berekening te laten maken. Zelfs obv stapels papieren en een rekenmachine

[Reactie gewijzigd door Mellow Jack op 23 juli 2024 07:42]

[ajolla]

obv?

Ah, op basis van.

[Reactie gewijzigd door ajolla op 23 juli 2024 07:42]

[WillySis]

De algoritmes zijn bedoeld om een onderscheid te maken tussen (mogelijk) fout en (waarschijnlijk) goed. Het maken van onderscheid noem je in de wiskunde discrimineren.
De interpretatie van een algoritme is nog redelijk simpel, maar mag nooit heilig zijn. Jan met de pet kan er dus gewoon gebruik van maken, maar er zullen ook altijd zaken zijn die via heel andere wegen tot het zelfde resultaat (bijv. misdaad) komen. Een algoritme mag daarom nooit (alleen) leidend zijn.

Een algoritme moet ook onderhouden worden door er continu data aan toe te voegen. Daar zit in de praktijk het grootste gevaar. Als een algoritme eenmaal in gebruik is genomen, wordt het vaak alleen nog maar gevoed met gegevens die door het algoritme juist zijn voorspeld. In een kleiner aantal gevallen worden ook de verkeerde voorspellingen toegevoegd. In beide gevallen gaat het algoritme zijn blik vernauwen en wordt het steeds gemakkelijker om het te omzeilen

Een algoritme moet ook onderhouden worden met data waarbij de uitkomst niet is voorspeld, dus een misdadiger die via andere wegen tot een misdaad is gekomen.

[CAPSLOCK2000]

Daarbij is aandacht voor het voorkomen van discriminatie via algoritmes, aldus de dienst.
Ik ben wel benieuwd waarom expliciet iets gedaan moet worden waardoor de algoritmes niet discrimineren.

Er zijn verschillende redenen, maar de eenvoudigste is dat veel van die algoritmes zijn gebaseerd op menselijke kennis. Helaas is die kennis niet altijd neutraal. Als je zo'n algoritme laat trainen op kennis waar vooroordelen in zit, dan zal het algoritme die vooroordelen overnemen.

Een ander bekend probleem is dat algoritmes veel data nodig hebben om van te leren. Bij schaarse informatie krijg je gekke resultaten. Stel je een algoritme bouwt om verkeersovertreders te herkennen. In de data zit één plaatje van een Ferrari. Die Ferrari reed door een rood stoplicht. Omdat er geen andere voorbeelden van Ferrari's zijn leert het algoritme dat alle Ferrari's altijd door rood rijden.

Nog een voorbeeld zijn zelfversterkende fouten. Iedereen maakt wel eens een foutje. Normaal gesproken kom je weg met kleine foutjes als een keer door een rood stoplicht lopen, maar af en toe krijgt iemand daar een bekeuring voor. Als je iemand een hele dag door de politie laat volgen dan ga je veel van die kleine foutjes zien. Als je die allemaal opschrijft dan lijkt die persoon opeens een groot crimineel. Een naief algoritme stuurt de volgende dag dan wel drie agenten achter die persoon aan en samen zien ze nog meer overtredingen. Ondertussen komen andere mensen weg met veel zwaarder overtredingen, maar omdat hele corps bezig is met een "gewone" burger te volgen ziet de computer die zware overtredingen niet en blijft maar agenten naar die gewone burger sturen.

Als blijk dat een bevolkingsgroep meer of minder gevallen van een specifieke brom van fraude oid voorkomt. Waarom mag dit dan niet terugkomen in het algoritme?

Ten eerste moet je heel erg oppassen voor die zelfversterkende fouten. Als je een bepaalde groep meer gaat controleren dan is de kans groot dat je daar ook meer gaat vinden.
Ten tweede zijn we allemaal zelfstandige mensen die onze eigen beslissingen nemen. De groep (welke dan ook) doet dat niet voor ons. Iedereen heeft het recht om onschuldig te zijn tot het tegendeel is bewezen. Er zitten meer mannen in de gevangenis dan vrouwen, maar dat betekent niet dat we alle mannen maar alvast als boeven behandelen.
Ten derde is het alleen discriminatie als je onderscheid maakt op grond van zaken die er niet toe doen. Het is geen discriminatie om te zeggen dat je baby's niet hoeft te onderzoeken op pensioenfraude. Dat is een zinnig onderscheid, geen discriminatie. Onderscheid maken tussen groepen mensen is precies wat veel van die algoritmes doen. Dat is prima zolang we er voor oppassen dat we niet op de verkeerde grond mensen in hokjes gaan stoppen.

[El Toro]

"Ten eerste moet je heel erg oppassen voor die zelfversterkende fouten. Als je een bepaalde groep meer gaat controleren dan is de kans groot dat je daar ook meer gaat vinden"

In absolute termen misschien, maar als die bepaalde groep (met extra controle) even crimineel is als de andere groep (met normale controle), zal er relatief gezien geen verschil moeten zijn.

Helaas is dat vaak anders.

[GLaDTheresCake]

Maar misschien is dat effect ook wel deels te verklaren door de systematische mishandeling van deze groepen die je hiermee in de hand werkt. Mensen zien deze groep vaker staande gehouden worden, men ziet ze vaker opgepakt worden, men krijgt hierdoor een negatief beeld over de groep. Hierdoor voelt de groep zich onwelkom, en krijgt minder kansen en meer achterdocht van de samenleving. Dit zorgt voor meer armoede en hopeloos voelende situaties voor de groep, en dat lijdt tot... meer criminaliteit. Self fulfilling prophecy.

[Sandor_Clegane]

Omdat het algoritme getraind is met data dat een bias in zich heeft uit zich dat ook in de uitkomsten.

[Mathi159]

Maar zijn pure uitkomsten bij definitie bias? Dat het geen gelijke groepen zijn is duidelijk maar daarachter kom je toch met de statistiek van error marges en dergelijke? Mag hopen dat de gebruikte algoritmes niet alleen in percentages meten...

[ro4sho]

Het lijkt allemaal niet erg totdat jij tot een groep behoord die in vizier van het algoritme verschijnt...

Onlangs hebben we al gezien wat er bij de belastingdienst is gebeurd door dit soort gekkigheid.

[Ed Vertijsment]

Algoritmes zijn biassed door de data waarmee ze getrained zijn.

[Nickname55]

Eigenlijk zou je de software gewoon geen input moeten geven over huidskleur en afkomst. En misschien over nog wel meer dingen niet. Zoals bijv. seksuele geaardheid. Maar als je die input allemaal weg houd, dan kun je bijna wel ophouden met dat algoritme...

[DVX73]

Wat mij opvalt in de discussie is dat er over gesproken wordt om de controle van algoritmes bij accountants onder te brengen.

Ik vraag me af of dit wel de juiste keuze is. Het zou veel logischer zijn om dit onder te brengen bij gecertificeerde IT auditors (RE) welke zijn aangesloten bij de Norea. Hier heeft de overheid al de verplichte jaarlijkse DigiD audits ondergebracht.

Verder vindt ik het knap van de gemeente Uden dat ze niet met algoritmes willen werken. Wat zou beteken dat ze geen electronica waar een chip inzit zouden gebruiken.

[Reactie gewijzigd door DVX73 op 23 juli 2024 00:30]

[Verwijderd]

Een lastig probleem. Algoritmes zijn per definitie stereotyperend, het is nou juist het hele doel om die patronen te vinden, anders heb je er helemaal niets aan.

Ik vind niet dat je dan politiek ongewenste uitkomsten aan de kant moet schuiven, ook dat maakt een algoritme nutteloos. Als recent voorbeeld: een minister van justitie die de zwaarste vormen van criminaliteit, inclusief moord, verdoezelt. Dat is data zo politiek kleuren dat het gelijk staat aan keihard liegen.

Al met al lijkt het me belangrijk hoe ingrijpend de beslissing op het individu is. Vaak wordt die nogal overdreven. Stel een donker getinte man wordt aangehouden voor controle. Op zichzelf heeft deze zin een lichte schijn van discriminatie, los van of dat zo bewust bedoeld is. In werkelijkheid ligt het helemaal niet zo simpel: de man rijd als jonge twintiger 's nachts in een extreem dure auto door een slechte wijk van een stad en gedraagt zich opvallend. Een heel andere situatie, met veel meer data, waar de combinatie van al die kleine rode vlaggetjes doorslaggevend is om te controleren.

Een totaal andere situatie dan een fuik bij klaarlichte dag waar de politie iedereen die blank is door laat rijden. Dat zou behoorlijk opzichtig racistisch zijn, het eerdere voorbeeld niet.

Helaas leven we in tijden waar het onderwerp overgevoelig ligt.

[Verwijderd]

Heel toepasselijk en duurt maar paar seconden:

https://www.youtube.com/watch?v=WOdjCb4LwQY

[Reactie gewijzigd door Verwijderd op 23 juli 2024 07:42]

[Sandor_Clegane]

De gemeente Uden verdient een pluim: "Om data als werkelijkheid te zien".
Het is niet sexy, maar wel een goede gedachte.

[josttie]

Ik vind het een nogal kop onder het zand steken mentaliteit. Blijkbaar komen bepaalde dingen vaker voor in bepaalde bevolkingsgroepen. Daar kun je ook positief op reageren, ipv domweg te schreeuwen dat het discriminatie is. Als voorbeeld: stel in bevolkingsgroep a is ér veel geweld tegen vrouwen. Maar je mag niet discrimineren, dus hang je maar in heel Nederland wat posters op en dan is je budget op. Kun je toch beter gericht voorlichting geven op scholen en hulp aanbieden in de regio's waar bevolkingsgroep a oververtegenwoordigd is en proberen te helpen en proberen de emancipatie te bevorderen. Het gaat er heel erg om wat je met deze informatie doet en je kan ook problemen herkennen en gericht hulp aanbieden. Helpen en niet bevolkingsgroep a een stempel opplakken als vrouwenhater, maar juist gericht helpen.

Ook kan je ervoor zorgen dat bestaande hulpmiddelen tegen fraude beter ingezet kunnen worden. Bijvoorbeeld als je weet dat er een bepaalde bijstandsuitkeringsfraude erg populair is in Polen, dan lijkt het mij ook zo verstandig om een Poolse aanvrager met wat meer aandacht en middelen te checken, je kan al heel wat extra checks uitvoeren voordat die persoon het merkt (woont hij op een adres met 40 andere Polen bijvoorbeeld?).

Ik denk voornamelijk dat de interpretatie van een algoritme altijd bij een mens moet liggen, zo kun je voorkomen dat je gaat stigmatiseren maar alsnog problemen kunt ontdekken die je anders niet ziet.

[Creesch]

stel in bevolkingsgroep a is ér veel geweld tegen vrouwen.

Maar dat is juist het lastige aan algoritmes en de brondata die hier voor wordt gebruikt.

• Is er meer geweld tegen vrouwen in de bevolkingsgroep of wordt geweld eerder gerapporteerd binnen die bevolkingsgroep?
• Zijn er andere bevolkingsgroepen waar mogelijk sprake is van meer geweld maar wordt daar minder over gerapporteerd waardoor het in de statistieken voor een algoritme niet zichtbaar is?

Bij het eerste punt steek je alsnog veel moeite in die groep terwijl daar er al actief op wordt geacteerd. Bij het tweede punt bereik je die hele groep niet en mis je dit wellicht helemaal als je daar geen rekening mee houd bij het ontwerpen van je algoritme.

Dat maakt het juist een zeer lastig onderwerp, want er is inderdaad zeker iets voor te zeggen dat je data gebruikt om trends te vinden om beter op zaken te acteren. Maar de kans is ook zeer groot dat je daardoor focust op zaken die eigenlijk niet zo groot zijn als ze lijken en andere zaken over het hoofd ziet.

[Sandor_Clegane]

Uhm nee. Pas als je de trainingsdata goed op orde hebt, en dit is best lastig, dan pas kun je eens gaan nadenken over deze systemen.

En die voorbeelden die je aanhaalt kunnen nu al gedaan worden, gewoon meer poppetjes.

Het probleem met laten liggen bij de mens is dat deze lui wordt als het systeem "goed" werkt. Zie de Uber chauffeur met de "zelfrijdende" Volvo. Je hebt dan het slechtste van beide werelden: Als je alles zelf moet doen weet je wat er van je verwacht wordt. Gaat het 99% van de tijd goed dan is je aandacht verslapt als je wel op de rem moet trappen.

[ro4sho]

Dit is precies wat er met blindstaren op data wordt bedoelt. Lees ook het antwoord van @Creesch , slaat de spijker op zijn kop.

[ajolla]

Volgens mij heb je voor de dingen die je hier noemt geen algorithme nodig.
Een beetje boerenverstand bij iemand die overzicht heeft doet vaak wonderen.

[PCeend]

Helemaal eens dat data niet als 'de werkelijkheid' gezien moet worden. Maar "De gemeente Uden kiest er bewust voor om van gebruik af te zien." is vervolgens wel een andere extreme.

Ik kan me voorstellen dat je als (kleine) gemeente niet wilt investeren in het bedenken, trainen en toetsen van algoritmes. Maar er zullen ongetwijfeld steeds meer algoritmes beschikbaar komen die aantoonbaar processen verbeteren voor een gemeente. Ik hoop dat ook de gemeente Uden dan bereid blijft dit te implementeren.

Het klinkt misschien als een gekke vergelijking, maar voor mij is dit te vergelijken met het volgende: "het mp3-formaat is niet van dezelfde kwaliteit als een cd, dus laten het we het maar niet adopteren".
Voor 95% van gevallen maakte mp3 het leven een heel stuk fijner en voor de overige 5% moet je een andere oplossing bedenken.

[Sandor_Clegane]

Uhm nee, we hebben het hier over mensenlevens die geraakt worden door deze systemen. Als deze dan nog in de kinderschoenen staan kun je dat prima zeggen.

Dat techno optimisme is weer zo idioot bezig. Blockchain! AI! Terwijl als jij het haasje bent omdat je volgens het neurale netwerk je in het verkeerde bakje valt je in the real world echt de sjaak bent.

Deze techniek is nog veels te diffuus om al zo breed al ingezet te worden. We kunnen nu nog niet eens processen goed inrichten, laten we het dan alsjeblieft niet nog complexer te maken door er een systeem tussen te hangen.

[PCeend]

Dan zitten we nog niet zo ver van elkaar af denk ik, maar dan zou ik als gemeente zeggen: we zien voorlopig af van het gebruik van algoritmes.

Nuance is niet sexy, maar wel een goede gedachte

[Sandor_Clegane]

Nietes!

[ajolla]

Je vergeet het stukje over meer problemen veroorzaken dan oplossen.

[rswrwjwt]

Lijkt me dat als je een parameter op afkomst/ras instelt dat je inderdaad verkeerd bezig bent.
Maar het is maar net hoe ver we willen gaan met dit soort dingen. Mooi voorbeeld is de Chinese overheid waarbij je 'punten' verliest als je door een rood stoplicht loopt.
Is het kopen van producten bij een coffeeshop een rode vlag bijvoorbeeld? Of het wonen in een bepaald gebied? En kan een belasting fraudeur hier misbruik van maken als hij weet hoe het algoritme werkt?

[locke960]

Lijkt me dat als je een parameter op afkomst/ras instelt dat je inderdaad verkeerd bezig bent.

Dit is wel een van de parameters die medische diagnose algoritmes/AI's in hun analyse meenemen. Gewoon omdat bepaalde aandoening in bepaalde bevolkingsgroepen meer voorkomen dan anderen. Dat betekent dus dat bepaalde bevolkingsgroepen een hogere kans hebben dan anderen om op een bepaalde ziekte onderzocht te worden.
Wordt de groep die minder vaak onderzocht wordt op een bepaalde ziekte nu gediscrimineerd? Ze kunnen tenslotte die ziekte wel hebben.

Het is natuurlijk niet helemaal hetzelfde. Hier probeer je de middelen die je hebt zo effectief in te zetten om iedereen zo go goed mogelijk te helpen, wat min of meer de gespiegelde versie is van je middelen zo goed mogelijk inzetten om fraudeurs te pakken.
Maar de overeenkomst is dat we beperkte middelen hebben en niet iedereen op alles kunnen onderzoeken. Voor het algemeen goed is het vereist dat keuzes gemaakt worden, en het gevolg is dat sommige mensen daardoor benadeeld worden. En blijkbaar is ras/afkomst soms een acceptabele parameter.

De vraag waar precies "onderscheid maken" overgaat in "onterecht onderscheid maken" is gewoon niet eenduidig te beantwoorden. Daarvoor is het samenspel van alle factoren te complex en dan heb je ook nog te maken met verschillen van opvattingen over die factoren, zelfs bij mensen die het over de grote lijn wel eens zijn.

[Reactie gewijzigd door locke960 op 23 juli 2024 07:42]

[RemiB]

Ik zou iedereen aanraden om het boekje: je hebt wél iets te verbergen te lezen. We leven tijdens een enorme verandering van de maatschappij, en dat is heel lastig om te bevatten voor mensen die er niet hun studie van gemaakt hebben.

Een voorbeeld is de definitie van privacy. Wie kan dat nou precies oplepelen. En welke waarde hechten wij daaraan? Is het een mensenrecht? Of is privacy helemaal niet zo belangrijk en wordt er van een vlieg een olifant gemaakt?

Het is een niet zo makkelijk te omvatten kwestie die wel zeer veel gevolgen zal hebben.

[gekkie]

Mjah probleem is dat de meeste kenmerken waarmee algoritmen gevoed worden, geen (directe) causatie hebben met het probleem, maar slechts een correlatie op de grote berg. Afhankelijk van wat je er mee doet en hoe je dat doet is dat meer of minder een probleem.

[ocn]

Ach, maak van alles mensenwerk en volgens mij heb je dan dezelfde algoritmen, maar dan arbeidsintensiever, duurder en minder effectief. Daar waren de algoritmen immers voor bedacht, om efficiënter en effectiever beslissingen te kunnen nemen. Back to the Future!

[kdekker]

Het is al lang geleden, maar toen ik nog studiefinanciering ontving was er bewust een groep die zei dat ze maximaal binnen probeerden te harken (via lenen/aanvullend) en na afronden van de studie naar het buitenland (=oorspronkelijke vaderland) gingen. Dat zijn dingen die bepaalde mensen wel kunnen doen en anderen niet (bijv. omdat ze geen familie in het buitenland hebben). Het lijkt me iets te kort door de bocht om dit soort criteria al op voorhand discriminatie te noemen, al kan een algoritme wel gebruikt worden om (dit soort) patronen te herkennen.

Beoordeel te feiten, zonder een complete bevolkingsgroep weg te zetten. En als er patronen gezien worden, dan is inderdaad een gevolg dat dit zelf-versterkend is (door de extra aandacht). Moet je dan als alternatief politiek correct zijn? Met politiek (over) correct zijn kun je ook serieuze problemen onder het tapijt moffelen... Dat zie je vaker (en niet alleen in de politiek). Het woord discriminatie wordt ook soms wel heel snel geroepen (als methode om te zeggen dat het niet in jezelf zit). Ben je eerlijk c.q. fraudeer je niet, dan zal je ook met extra controle niet tegen de lamp lopen. Parafraserend: een beetje integer bestaat niet....