Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Meerdere politieke partijen willen aparte toezichthouder voor algoritmes

Meerdere politieke partijen pleiten voor een aparte toezichthouder voor algoritmes bij de overheid en duidelijkheid over welke data er wordt gebruikt bij algoritmes. Dat staat in de partijprogramma's voor de aankomende verkiezingen die Tweakers heeft doorgelezen.

De huidige coalitiepartijen VVD, D66 en de ChristenUnie pleiten samen met GroenLinks voor een aparte toezichthouder op algoritmes. De VVD en D66 willen dat er een nieuwe toezichthouder in het leven wordt geroepen die kijkt naar de inzet van algoritmes bij de overheid en toezicht houdt op het gebruik van data daarvoor. GroenLinks wil een algemene 'Nationaal coördinator dataverzameling' die in het algemeen kijkt naar data van de overheid. De ChristenUnie wil niet specifiek een nieuw orgaan oprichten, maar de Autoriteit Persoonsgegevens ook toezicht laten houden op algoritmes.

Dat blijkt uit een overzicht van alle verkiezingsprogramma's dat Tweakers vandaag publiceert. Daarbij is gekeken naar alle onderwerpen rondom digitalisering in de programma's van de grote partijen die over anderhalve maand meedoen aan de verkiezingen. In dat overzicht valt onder andere op dat partijen veel willen doen aan algoritmes en dataverzameling bij de overheid.

Naast een aparte toezichthouder pleiten verschillende partijen ook voor meer openheid over die algoritmes. D66, de PvdA, GroenLinks, Forum voor Democratie en DENK pleiten daar bijvoorbeeld voor. Die laatste partij wil bovendien dat er een verbod komt op 'discriminerende algoritmes'. De standpunten zijn een grote verandering met vier jaar geleden. Toen stond in het regeerakkoord nog dat overheden juist meer data met elkaar moesten delen en analyseren om datafraude op te sporen. Inmiddels is dat een van de hoofdoorzaken gebleken van de toeslagenaffaire waar het kabinet door viel.

Een ander punt dat in veel verkiezingsprogramma's terugkomt is de aanpak van grote techbedrijven. De VVD, het CDA, D66, de PvdA en de SP pleiten voor de mogelijkheid om die bedrijven op te breken. Dat moet meestal in Europees verband gebeuren. Andere partijen zeggen dat niet met zoveel woorden, maar waarschuwen wel voor de risico's van technologiereuzen en hun grip op datagebruik en hun invloed op nieuwsvoorzieningen. Ook opvallend is dat de partijen VVD, CDA en FVD ervoor pleiten dat data voortaan eigendom moet worden van de burger of klant. Op dit moment is dat niet het geval; de privacywet AVG regelt bijvoorbeeld alleen wanneer bedrijven data mogen verzamelen en wat voor data dat mag zijn.

De meeste partijen pleiten ervoor de politie meer budget te geven om op de een of andere manier meer te doen met cybercrime. Bedragen worden daarbij weinig genoemd, maar op slechts een paar partijen na erkennen alle grote partijen dat cybercrime een te groot probleem is om met de huidige middelen op te lossen. Hetzelfde geldt voor Defensie; ook dat zou meer geld moeten krijgen voor een betere verdediging van Nederlandse vitale infrastructuur. De VVD pleit daarnaast voor offensieve cybercapaciteiten voor de krijgsmacht.

Lees hier meer over de technologieaspecten in de verkiezingsprogramma's.

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Door Tijs Hofmans

Redacteur privacy & security

30-01-2021 • 06:00

130 Linkedin

Reacties (130)

Wijzig sortering
Ik ben hier geen voorstander van, en wel hierom:

1. Het lijkt op symptoombestrijding. Ik ben van mening dat de overheid niet voldoende competente mensen op de juiste plekken heeft zitten. Veel IT-ers binnen de overheid zijn doorgegroeid van een baan op de straat of (bijvoorbeeld) archivaris, naar bijvoorbeeld systeembeheerder binnen de overheid omdat hij of zij tien jaar geleden ‘een handig Excel-sheet in elkaar heeft gezet’. Vervolgens wordt zo’n persoon verantwoordelijk gemaakt voor business intelligence (om maar iets te noemen). Vervolgens is het een draak van een oplossing die voldoet aan geen enkele standaard. Helaas heb ik dit systematisch en bij verschillende departementen gezien. Ik moet als IT-er ook geen kasteeltuinen gaan ontwerpen, dat gaat verkeerd.

Een ander voorbeeld: nu de AVG er is, en er meer regelgeving op het gebied van informatiebeveiliging is, zie ik ditzelfde patroon bij CISO’s in privacy officers binnen de overheid. Ambtenaren uit een heel ander vakgebied die dit ‘erbij doen’.
Ditzelfde is van toepassing op de mensen die een rol spelen bij het ontwerpen en implementeren van algoritmes binnen de overheid omdat dit patroon een systemisch probleem is en daarom zichtbaar is bij vrijwel alle (IT-) activiteiten van de overheid. Tenminste, dat is gebaseerd op mijn kijk in de keuken bij de overheid.

Ik ben bekend met de aanloop richting deze toezichthouder voor algoritmen. Men heeft aan dezelfde, hierboven genoemde, Excel-goeroes gevraagd of er zich algoritmes bevinden die beslissingen ondersteunen in software waar zij helemaal geen zicht op hebben (want: commercial-off-the-shelf, closed-source door leveranciers die niet uitleggen hoe hun software werkt, want de Excel-goeroe kan je alles aanpraten daar deze niet competent is op dit gebied).
Zonder in deze vraagstelling een goede, bruikbare definitie of uitleg te geven van wat dan ‘beslissingsondersteunend’ is, wat algoritmes zijn, etc. Dus ook daar is in de basis al een gebrek aan competentie, en is het dus ook maar de vraag of de informatie die verstrekt wordt, zinnig is. Garbage in=garbage out.

Je kan wel gaan handhaven, maar als je mensen hebt die er niet voldoende van begrijpen, is dat dweilen met de kraan open, en dat is niet efficiënt.

2. Een toezichthouder voor de overheid is niet effectief, omdat er binnen de overheid een cultuur heerst waarbij geen verantwoordelijkheid wordt genomen. Daardoor kunnen de consequenties die een toezichthouder aan haar bevindingen verbindt, gemakkelijk naast zich neer worden gelegd.

Een voorbeeld daarvan is het BIT, wat in de praktijk een tandeloze tijger is. En, wederom gebaseerd op mijn ervaring bij verschillende departementen, om de volgende redenen:
-wanneer een project ‘BIT-plichtig’ is, worden (achteraf) de benodigde documenten op orde gemaakt en worden er procedures opgezet die puur administratief van aard zijn, om zo door de BIT-toets heen te komen. Aan de essentie waarvoor het BIT ooit is opgezet (betere besteding van overheidscenten door betere IT) wordt daarmee volledig voorbij gegaan; de oplossing zelf komt namelijk niet op een efficiëntere manier tot stand en is ook niet fundamenteel beter, er worden middelen omheen bedacht om het beter te doen lijken.
-mocht een project toch door de minister worden stopgezet, aan de hand van een BIT-uitkomst, dan wordt het onder een andere naam eigenlijk gewoon voortgezet. De fout blijft dus in het systeem, maar is niet meer zichtbaar omdat men nu weet hoe deze buiten het zicht van het BIT moet worden gehouden.

Iets vergelijkbaars zie je als de ADR (Auditdienst Rijk) een controle komt doen. Maar ook op andere niveaus zie je vergelijkbare zaken.

Op deze manier wordt verantwoordelijkheid ontlopen. Dit zien we, helaas, op alle niveaus, zoals bij de toeslagenaffaire waarbij er al lang informatie beschikbaar was dat er iets niet goed zat (in 2009 kwamen de eerste signalen binnen dat het anders kon, zie wikipedia-pagina over toeslagenaffaire) maar er niet op geacteerd is. Of, recentelijk, bij de onthullingen over de onveilige systemen van de GGD’s voor de testregistratie.

Het niet nemen van verantwoordelijkheid (of ontlopen van verantwoordelijkheid door informatie achter te houden), is mijns inziens het tweede systemische probleem waardoor het aanstellen van een nieuwe toezichthouder geen enkele zin heeft. Dat is dan gewoon een nieuwe, tandeloze tijger en een middel om de verantwoordelijkheid ergens anders neer te leggen zodat deze niet hoeft te worden genomen op de plek waar deze thuishoort.

Dit klinkt allemaal wat zwartgallig; immers doet de overheid ook veel zaken wėl goed, maar ik denk dat er op deze gebieden echt wel ruimte is voor verbetering. Dit is een element dat voor mij de komende verkiezingen een rol zal spelen, en mocht er iets van een inspraakprocedure komen voor wetgeving inzake deze algoritme-toezichthouder, dan ga ik daar gebruik van maken.

[Reactie gewijzigd door Bram® op 30 januari 2021 12:33]

Je eerste bewering onderbouw je niet met feiten. Je toont niet aan dat het zou kloppen en al helemaal niet of het van invloed is op toezicht. Dit zou er aan de hand zijn en als dat klopt zou het van toepassing kunnen zijn is geen sterke onderbouwing om ergens voor of tegen te zijn.

Je tweede bewering lijkt gebaseerd op geselecteerde situaties die je gelijk zouden moeten bevestigen. Ook daar toon je geen relevantie of verband aan.

Als je op die manier ergens voor of tegen bent wekt dat meer de indruk dat je vooringenomen bent en daar gelijk bij zoekt. Dan kan je overal wel voor of tegen op zijn.

Daarnaast is dit soort vormen van tegen zijn te makkelijk omdat je er geen oplossing bij geeft hoe het probleem bij de algoritmes dan wel aangepakt moet worden. Dan vraag ik me af of het je niet meer te doen is om zwartgallig te zijn over anderen in plaats van dat je het probleem van de algoritmes wil oplossen.
Het is totaal anekdotisch maar ik heb hele andere ervaring dan Bram lijkt te beschrijven tijdens het werken met de overheid als project mederwerker bij een commercieel bedrijf.
Ik kom vaak technisch zeer kundige mensen tegen met goede opleiding en een flinke portie ervaring.
Kan wel zeggen dat ik de meest kritische vragen heb gehad in bij projecten met de overheid mede omdat de mensen wat meer tijd lijken te krijgen en nemen om over dingen na te denken.
Het zijn niet altijd de mensen die op de voorgrond willen treden of zo even een presentatie uit de mouw schudden maar wel vaak in en in kundige mensen die zeer goed zijn in hun vak.

Ik kan mij dan ook niet vinden in het beeld dat de overheid dit niet zou kunnen of moeten doen, ik denk dat dit soort zaken bij uitstek bij de overheid moeten liggen.
Als dit het geval zou zijn dan zou de overheid geen klungelzooi aan IT zijn. Bram zijn uitleg geeft duidelijk inzicht en is logisch als we naar het niveau van overheids IT projecten kijken. De bewering dat ze kundig en kritisch zijn is waanzin als je kijkt hoe lek alles daar is.
Ik zou je een toer kunnen geven hele mooi en binnen budget uitgevoerde it projecten waarvoor ze voor specifieke zaken kennis inhuren en de rest zelf doen. Je leest alleen over wat er mis gaat en doordat het publiek geld is komt daar veel van aan het licht, ik vermoed dat dit een rol speelt.

Daarnaast doet Bram een bewering in het begin waar ik het totaal niet eens ben op basis van mijn ervaring.

[Reactie gewijzigd door R3m3d7 op 30 januari 2021 22:26]

Dus in feite doen ze meer aan consultancy dan in-house? Misschien omdat de in-house juist niet de ervaring hebben. Maar wel de salarissen hebben van U. Bram zijn bewering klopt wel trouwens.
De reden waarom overheden relatief veel consultancy heeft ipv eigen mensen heeft niks met kennis te maken, maar simpelweg dat dit een ander potje is.

Ik heb diverse projecten voor diverse takken binnen de overheid gedaan en kan je zeggen dat de kennis daar op hoog niveau aanwezig is. Sterker nog op enkele grote bedrijven na ga je bijna nergens zoveel kennis vinden.

Probleem waarom sommige projecten falen. Is niet op 1 of twee oorzaken teug te leiden. Maar om te beginnen falen er overal projecten. Veel van deze projecten worden ook pas voor het eerst gedaan en zijn ook uniek en komen dan ook met unieke problemen.
Dit is wel een ding. In de commerciele wereld wordt er heel veel gefaald. Dit wordt simpel bestraft door marktwerking. Klaar, er is wel een concurrent die het overneemt of beter doet.

Echter hebben we maar 1 overheid. En deze overheid is ook nog eens erg belangrijk voor heel het land. Als daar fouten ontstaan is het een stuk lastiger dan in de commerciele sector waar het prima is dat je dienstverlening slecht is, want de concurrent gaat er dan met je klanten vandoor.

Dit oplossen is dus heel lastig. Hoe haal je de menselijke foutieve factor uit het spel? Als je dat weet -> nobel prijs.
Gewoonlijk doe je dat dus door successen te belonen, en falen te ontslaan of in het geval van systematische belastingdienst discriminatie misdrijven de cel in te gooien.

Echter zit de top van onze overheid vol met de grootste falers omdat ze oneindig budget hebben en geen verantwoordelijkheid

[Reactie gewijzigd door Osiummaster op 31 januari 2021 12:31]

Ze huren specifieke kennis in die het niet waard is om op te bouwen voor een project, dat is volgens mij heel slim met geld omgaan. Naast die specifieke kennis doen ze veel zelf, dat is anders dan sommige bedrijven die hele projecten uitbesteden en dan zelf zo goed als niets doen. Ik begon al met "Het is totaal anekdotisch" en dat is wat het blijft maar het gaat wel over bijna 20 jaar ervaring met dergelijke projecten met 10+ overheidsinstanties, dat heeft wel enige waarde zou ik denken.
Zolang er geen verantwoordelijkheid wordt genomen bij projecten waar de fouten spuigaten uitlopen blijven incapabele hoofden in positie. Dat zegt echt al ruim voldoende. Acties spreken harder dan anecdotes over "uitzonderingen en gewoonlijk werken ze wel hard". Systeem is zo lek als een mandje.

[Reactie gewijzigd door Osiummaster op 30 januari 2021 23:04]

Ook wat dit betreft is mijn ervaring anders, ze doen interne evalutaties van projecten en leren beter van hun fouten dan veel commerciele bedrijven die al snel bezig zijn met 'the next big thing'.
Maar goed, ik ga niet beweren dat alles top loopt, er zijn genoeg projecten bekend die mis zijn gegaan, ik denk alleen dat het beeld veel te negatief is over overheid en it in het algemeen. Een klein tegengeluid als het ware. ;)
Ze doen een interne evaluatie en vegen vervolgens hun reet af met het rapport. Begin alsjeblieft niet over "leren van fouten". Slaat echt nergens op dat iemand dat nog aan durft te halen nadat er bijvoorbeeld in 2009 al enorme signalen binnenkwamen over de kindertoeslag discriminatie, er 30000 rapporten zijn gemaakt en die gewoon pertinent in de prullenbak zijn gekelderd om vervolgens te horen "oh ja oeps haha" en vervolgens wordt er niemand vervolgd en blijft iedereen op zij plek zitten.

En de toeslagcrisis is slechts een van de bekendste voorbeelden. Ik denk dat je eerder zou moeten zeggen "mensen zien alleen de overheidsfouten die aan het licht komen, en niet de andere duizenden projecten die wat minder aandacht krijgen maar ook compleet de soep in lopen".

Ga eens wat filmpjes van Zembla kijken dan snap je hoe het werkt bij onze overheid. Hier is een militaire topman met een leuk voorbeeld van wat er na 2 jaar met rapporten wordt gedaan https://youtu.be/EzQM3Mz9bCw?t=1293 Man lacht de interviewer gewoon uit en gaat niks veranderen als hij weg is.

[Reactie gewijzigd door Osiummaster op 31 januari 2021 15:40]

Je trekt alles uit verband hier. Ik deel alleen mijn ervaringen als tegengeluid.
Dat is goed. Op papier heeft de overheid het ook allemaal goed in orde. Ook de reflectie rapporten zijn goed. Het probleem is alleen dat er weinig actie wordt ondernomen en het meer op theater begint te lijken dan een organisatie welk iets probeert te bereiken.
Ik welk in een redelijke fabriek, maar als ik naar mijn Amerikaanse werkgever kijk, kan ik wel huilen als ik zie hoeveel geld er letterlijk in de prullenbak word gegooid, en dat is vooral te wijten dat er zoveel regels zijn verzonnen om juist geld te besparen, ook nepveiligheid doet het goed.

Mogelijk in aan het eind zal het wel meer opleveren, maar doordat alles over 15 schijven gaat word er juist weer fouten gemaakt omdat diegene die als laatste beslissingen moet nemen alles ophoud en in de tussentijd draait door achterstallig onderhoud er van alles in de soep en kost het 4 keer zoveel om het dan weer aan de praat te krijgen met noodgrepen, en dat spreek ik maar over een relatief klein bedrijf.

Een project van de overheid lijkt mij daarom soms echt een soap drama, ik zou daar niet graag aan het hoofd staat.
@Bram® toont in zijn reactie wel degelijk aan wat de problemen kunnen zijn bij een toezichthouder voor algoritmes. Ik kan me ook voorstellen dat je dan je bedenkingen hebt, waardoor je een toezichthouder niet echt ziet zitten. Dat je door je eigen kijk in de keuken al een mening kunt vormen, dan heb ik er geen probleem mee dat je die mening (met voorbeelden) ventileert. Dat kan je een vooringenomen mening noemen en je kan de voorbeelden niet valide vinden, maar het vormen wel de feiten uit de reële wereld.

Eerlijk gezegd heb ik ook mijn bedenkingen. Ik ken de algoritmes voornamelijk uit de biologisch-wetenschappelijke hoek. Daar heb je bij voorspellende algoritmes nog de kans om die met extra experimenten te valideren. Het is serieus moeilijk om algoritmes te kunnen beoordelen, zeker als je output of "foutieve voorspellingen" weer als input gaat gebruiken. Voor zelflerende algoritmes is dat wel gebruikelijk. Hier zit wel een enorm sturend effect in, wat voor een toezichthouder eigenlijk nauwelijks te beoordelen is.
Als voorbeeld kan in nu de problematiek rond het corona virus noemen. Met een paar collega's ben ik ook betrokken bij het maken van voorspellingen over het verloop van het aantal besmettingen. Onze berekeningen gaat als onafhankelijke voorspelling naar een aantal OMT-leden en het ministerie. Dat doen we overigens voor meerdere landen. Onze voorspellingen komen totaal niet overeen met die van het RIVM, zeker niet waar het de invloed van nieuwe mutaties betreft. Om te beoordelen wat de juiste voorspelling is, is razend moeilijk. De algoritmes verschillen niet heel veel. Vermoedelijk wordt het verschil voor het grootste deel veroorzaakt doordat het RIVM vooral Europese data als input gebruikt en wij ook data uit Aziatische landen en Australië in ons model hebben meegenomen.
Data van het Amerikaanse continent (Noord en Zuid) is helaas niet bruikbaar omdat de registratie daar ronduit belabberd is (Canada uitgezonderd). Ik kan niet uitsluiten dat het verschil door de verschillen in de algoritmes worden versterkt. Beide modellen hebben in het verleden ook heel dicht bij elkaar gezeten.

Dit voorbeeld uit de praktijk maakt duidelijk dat zelfs groepen van experts niet kunnen beoordelen wat de invloed van een algoritme of de input is. Een toezichthouder komt hier absoluut niet uit.

Als ik echter kijk naar de modellen die de belastingdienst heeft gebruikt om fraude op te sporen zie ik dat algoritmes niet sterk zijn, maar vooral met eenzijdige informatie werd gevoed. Een toezichthouder zou waarschijnlijk geen problemen met het algoritme hebben gehad, toch heeft de rechter uiteindelijk het gebruik van een algoritme verboden. Oorzaak was de manier van gebruik en de eenzijdige input.

Om bovenstaande voorbeelden tonen aan dat het toezicht houden eigenlijk niet te doen is. Toch denk ik wel dat er een registratie zou moeten komen van alle algoritmes die gebruikt worden, met name de algoritmes die in het persoonlijke leven van mensen in kunnen grijpen. In geval van geschil zou er een instantie moeten zijn die het (verkeerd) gebruik van een algoritme moet kunnen beoordelen. Je kan dat een toezichthouder (light) noemen, maar je zou het ook bij de AP onder kunnen brengen. Het optuigen van een nieuwe toezichthouder zie ik eigenlijk niet zitten, net zo min als het registreren van alle algoritmes.
Het lijkt op symptoombestrijding. Ik ben van mening dat de overheid niet voldoende competente mensen op de juiste plekken heeft zitten.
De beste stuurman staan altijd aan wal. In de rest van jouw eerste paragraaf vergeet je ook (wellicht voor het gemak) dat een IT afdeling binnen overheid altijd via twee kanten wordt gestuurd; het management en de politiek. Het management dat zijn/haar werk ook goed wil doen, net zoals de ITers zelf. De politiek die maar wat graag hun zin doordrijven, want zij denken dat dat beter werkt, daar tegenin gaan heeft geen zin; de politiek kan dan beter eerst de vinger branden voor het de les leert. ;)

True, een andere werking zou beter zijn, maar zolang de politiek zich blijft bemoeien met de IT binnen de overheid, kunnen de professionals (die echt niet alleen maar archivaris is geweest of 10 jaar 'goed in Excel is geweest') hun werk alleen binnen de door de politiek gemaakte kaders te werk. En daardoor falen zoveel projecten en gaat het zo vaak fout. Over het algemeen weet een ITer binnen de overheid ook wel of iets handig of goed is om te doen of niet, weet diegene ook wel dat hij liever bezig is met het zo goed beveiligd mogelijk houden van de omgeving (zowel qua infrastructuur als software) maar doordat diegene van bovenaf overruled wordt (want kunnen pochen dat je X voor de bakker hebt gekregen is nu eenmaal veel belangrijker dan een infrastructuur en beveiliging dat staat als een huis).

En dit zeg ik overigens als ex IT-er in de overheid.

[Reactie gewijzigd door CH4OS op 30 januari 2021 19:18]

Geen idee voor Nederland, maar in België zijn de meeste IT'ers binnen de overheid zelfstandige consultants of medewerkers van een bedrijf waaraan een IT contract is uitbesteed. Dit is alvast zo voor de Vlaamse en de Federale overheid, ik heb nog nooit een project voor de Waalse overheid moeten doen. Ik werk zelf als consultant en de ambtenaren binnen de projecten waar ik kom, zijn niet van technische aard.
Leggen de algoritmes niet “gewoon” zaken bloot die de politiek soms niet uitkomt? De data uit het verleden bevat toch gewoon de werkelijkheid uit dat verleden, of is die biased als dat ons/de politiek niet uitkomt?

Stel dat vrachtwagens met Hongaars kenteken in het verleden ver bovengemiddeld mensen smokkelen. En dat deze vooral op zaterdagochtend tussen 6 en 10 ons land binnen komen. Als je dat weet, hoe ga je dan controleren op mensensmokkel?

Gewoon random, of toch vooral op zaterdagochtend als je beperkte middelen hebt om dit soort controles uit te voeren?
Maar hoe zijn ze er achter gekomen dat dit voornamelijk Hongaren zijn? Omdat agenten voornamelijk Hongaren hebben gecontroleerd, of is er echt een random selectie gedaan?

Je moet er met het bepalen van algoritme van uit kunnen gaan dat je data een aselecte steekproef is. Als je bijvoorbeeld alleen Marokkanen gaat fouilleren, of mensen met een Volkswagen Polo staande houdt, dan is het geen wonder dat ze oververtegenwoordigd zijn. En dat is bij deze data een groot probleem.

Daarnaast kan het niet zo zijn dat, stel dat Hongaren echt oververtegenwoordigd zijn, je als Hongaar een grote kans hebt om staande te worden gehouden. Jij bent als Hongaar niet verantwoordelijk voor de daden van andere Hongaren. En jij zou daar dus niet voor moeten worden gestraft.
Dit zal waarschijnlijk een onpopulaire mening zijn, maar ik zie het als volgt. Je wilt dat elke agent zo efficiënt mogelijk te werk gaat, bedoelende dat een agent zoveel mogelijk delicten bestrijd in het gelimiteerd aantal uren dat hij werkt. Het tekort aan agenten maakt dit verlangen alleen maar groter.

In het voorbeeld van Hongaarse vrachtwagens: stel dat 1 op de 750 van deze vrachtwagens mensen smokkelt en van de overige vrachtwagens slechts 1 op de 1000. Dan zou je dus kunnen stellen dat je het beste 4 Hongaarse vrachtwagens controleert voor elke 3 normale vrachtwagens (4/3 = 1000/750).

Een belangrijk punt hierbij is dat je dus cijfers/gegevens van ALLE controles nodig hebt, dus ook van de vrachtwagens die gecontroleerd zijn maar niets hebben misdaan, hiermee voorkom je dat een groep over vertegenwoordig raakt (gegeven dat er statistisch gezien genoeg samples zijn van deze groep, en zolang je alle groepen meeneemt). Zelfs al zit er een bias in je statistieken, als je de gegevens van nieuwe controles meeneemt dan verdwijnt deze bias naarmate de dataset groeit.

Ja, het klopt dat je als Hongaar niet verantwoordelijk bent voor de daden van andere Hongaren. Maar naar mijn mening, weegt het vaker vangen van mensen smokkelaars op tegen het 'iets vaker gecontroleerd worden'.

Edit: zie comment van ChillinR

[Reactie gewijzigd door Vorst op 31 januari 2021 04:01]

Misschien moet je een voorbeeld gebruiken waar je zelf wel in voorkomt, want met deze voorbeelden is het nog al makkelijk om het abstract te houden en er niet echt over na te denken wat de gevolgen zijn van profileren op afkomst of huidskleur of whatever eigenschap waar je mee geboren bent. Bijvoorbeeld: jij wilt naar Kreta gaan maar omdat Nederlanders daar zoveel stennis hebben gemaakt wordt je vanwege je Nederlandse paspoort niet toegelaten op het eiland (de Hongaar natuurlijk wel). Eerlijk? Of je wordt toegelaten maar wordt elke dag op je scooter staande gehouden door de politie om te vragen wat je van plan bent, terwijl die Hongaar vrolijk door mag rijden. Eerlijk?
Maar nu heb je het niet over algoritmes, maar over het beleid dat gevormd wordt mede op basis van de uitkomst van algoritmes. Het algoritme klopt dat de Nederlanders zoveel stennis maken. Dat is niet discriminerend. Dat is gewoon data. Nu volgt de ethische vraag of je actief gebruik wilt maken van deze kennis, en zo ja hoe. Dus er moet geen toezichthouder komen voor algoritmes maar voor beleidsvoering. Je moet de wiskunde zelf niet auditen, maar hoe de resultaten van de wiskunde gebruikt worden.
Mijn voorbeeld gaat niet over algoritmen, maar ik kan je wel een voorbeeld geven met een algoritme als je wil. Jij wilt een ticket naar Kreta boeken en de vliegmaatschappij doet een query bij de Griekse overheid of jij naar dat eiland mag. De Griekse overheid heeft een neuraal netwerk klaarliggen dat relschoppers herkend. Uiteraard geen racistisch neuraal netwerk, het is immers objectieve software! Anyway, je wordt geclassificeerd als relschopper en je komt het eiland weer niet op. Het neurale netwerk geeft overigens geen onderbouwing voor de beslissing, maar baseert zich uiteraard op historische objectieve data.
Nogmaals dat is dus het beleid dat gevormd op data, niet de data of algoritmes daarop. Het euvel hier is het blind vertrouwen op een black-box neuraal netwerk en de resultaten veel te ver extrapoleren en generaliseren, in combinatie met geen mogelijkheid tot beroep en een hele stricte maatregel. Dat zouden ze ook zonder neuraal net kunnen doen, gewoon aan de hand van bijvoorbeeld het hebben van een strafblad (*kuch* amerika)
Mijn punt (in reactie op de thread erboven) ging over het feit dat het voor Nederlanders goed zou zijn om voorbeelden te bedenken van discriminatie waar we zelf in voorkomen om het minder abstract te maken, ipv al die 'Hongaren' en 'Marokkanen' voorbeelden die in deze comments voorbij komen.

Maar goed, om het dan maar over algoritmen te hebben: Die algoritmen zijn striktgenomen het probleem niet, dat begrijpen we allemaal wel. Een sorteeralgoritme sorteert en daar kunnen we moeilijk kritiek op hebben. Het gaat in dit artikel om 'algoritmen' in de brede zin van 'automatisering', het digitaal aan elkaar koppelen van alles en iedereen en het automatisch ondernemen van acties zonder dat daar mensen tussen komen en met weinig kans op beroep. Zie toeslagenaffaire. Dus ja alles is beleid zoals je zegt. De term algoritme in de titel van dit artikel is ongelukkig gekozen, maar ik denk wel dat er daadwerkelijk problemen zijn hier waar over moet worden nagedacht.

[Reactie gewijzigd door z.jeroen op 30 januari 2021 16:34]

Daar heb ik een voorbeeld van:
op wintersport naar Frankrijk werden wij gecontroleerd door de Franse politie omdat we Nederlands waren. Bij de Franse politie was de ervaring namelijk dat onder Nederlandse jongeren het bezit van drugs significant hoger was dan gemiddeld.

Ik vond het eigenlijk volkomen terecht dat ze ons er uit pikten. Vervelend, maar terecht. Als je nou eenmaal tot een verhoogde risico groep behoort is het niet meer dan logisch dat je vaker gecontroleerd wordt.
Zodra je in elk arrondissement tijdens elke vakantie van de weg geplukt wordt waardoor je een vlucht of aansluiting mist, ben je het al snel spuug zat.

Dat je het je nu 15 minuten kost is geen probleem. Als het je iedere keer 500,- euro en een paar uur kost is een heel ander verhaal.

Of een paar honderdduizend euro, je huis, je auto en je de komende 10 jaar naar de voedselbank mag voor eten. Oh, en je kinderen kunnen ook gedag zeggen tegen een HBO opleiding :)

[Reactie gewijzigd door Standeman op 1 februari 2021 09:56]

Tja, als in jouw hypothetische voorbeeld Nederlanders inderdaad de gewoonte hebben om het eiland te slopen, dan hebben de Grieken groot gelijk dat ze ons weigeren. Toch?
Nee vind ik niet. (Ik zei ook niet dat Nederlanders "de gewoonte hebben".)

Nog een voorbeeld: omdat er een groep Nederlanders is geweest dat de visumregels in de VS niet goed heeft nageleefd besluit de Amerikaanse overheid dat Nederlanders geen visum meer krijgen voor werken of studeren in de VS (of met hele lage kans). Terecht? Prettig voor mensen die zich wel aan de regels houden?
In het eerste voorbeeld zit een duidelijk verschil. Als je niet wordt toeglaten tot Kreta dan ben je dus al veroordeeld aan de hand van statistische data, dit is heel iets anders dan een controle. Als je extra in de gaten wordt gehouden vanwege statistische data, dan doe je hiermee (naar mijn mening) niets verkeerd.

In het 2e voorbeeld, dat je dagelijks staande wordt gehouden, is het onevenredig handelen tot de statistische data. Zeg dat 10% van alle Nederlanders bonje maakt in Kreta (wat enorm veel is), door elke Nederlander dagelijks te controleren, ben je aan het handelen alsof 90% van de Nederlanders dit doet. Je acties zijn dus niet representief t.o.v. je data. Desondanks vind ik het extra in de gaten houden van Nederlands in dit voorbeeld (naar mijn mening), geoorloofd. Let wel dat de manier van vragen stellen op een fatsoenlijke manier dient te gebeuren, en niet alsof de Nederlander in kwestie al veroordeeld is.

Ik weet dat dit een onpopulaire mening is, maar ik blijf er toch achter staan dat het handelen naar statistische data (zolang deze juist is!) geen verkeerd iets is.
Wat er mogelijk verkeerd aan is, is dat de statistische data naar de verkeerde eigenschappen kijkt. Stel dat precies alle jongeren die Kreta bezoeken bonje maken. 50% van de Nederlandse bezoekers zijn jongeren. 25% van de Franse bezoekers zijn jongeren. Er gaan evenveel Nederlanders als Fransen naar Kreta. Aan de hand van de statistische data naar nationaliteit zou je dan de Nederlanders in de gaten houden terwijl je de jongeren in de gaten moet houden. Statistische data kan in bovenstaande zin misleidend zijn. Toch weer het correlatie is geen implicatie verhaal.
Een goeie statistische / predictive analyse houdt hier rekening mee lijkt me.
Logisch gevolg is dat smokkelaar heel snel zullen overstappen van Hongaarse op bijvoorbeeld Tsjechische kentekens, maar door je focus op Hongaarse kentekens is het best mogelijk dat men dit geruime tijd mist. Ik kan mij zelfs de krantenkoppen voorstellen waarbij wordt gesteld dat men veel minder smokkelaars pakt en dan de valse conclusie trekt dat smokkel is afgenomen.

Tevens zegt het nummerbord van een vrachtwagen niets over de nationaliteit van de chauffeur.

[Reactie gewijzigd door Groningerkoek op 30 januari 2021 16:33]

Volgens mij drukt je rekenvoorbeeld het omgekeerde uit van wat je bedoelt. 1 op de 1000 is minder dan 1 op de 750. Om de pakkans zo groot mogelijk te maken moet je dan juist zo veel mogelijk focussen op controleren van niet-Hongaarse, en alle Hongaarse juist laten doorrijden (zolang je je tijd kan vullen met niet-Hongaarse controleren)

En in de laatste zin zeg je dat de nadelen opwegen tegen de voordelen. Waarschijnlijk bedoel je dat de voordelen opwegen tegen de nadelen?

[Reactie gewijzigd door ChillinR op 31 januari 2021 00:14]

Woeps, je hebt helemaal gelijk, heb het aangepast.
Ik denk dat je wel een algoritme kunt maken dat geen onderscheid in bijvoorbeeld nationaliteit maakt, maar dan moet hij de input ook altijd nationaliteit meegenomen worden zodat je deze kunt normaliseren. Wat ik hiermee bedoel is dat als je weet dat van de 30.000 autoinbraken, de dader in 95% iemand met in Nederland geboren ouders was, je daarna moet kijken naar hoeveel procent van de bevolking in Nederland geboren ouders heeft en aan de hand daarvan dus een aantal van die 30.000 inbraken weghouden van de input van je verdere algoritme.

Het grote (!!!) probleem daarvan is alleen dat de politie dan opeens privégegevens zoals afkomst, seksuele geaardheid en politieke voorkeur moet gaan registreren.

Weet iemand een eerlijkere manier ook met data om te gaan dan mijn voorstelling hierboven, behalve "geen data gebruiken"?
Data weglaten, als een algoritme geen toegang heeft tot nationaliteit kan het er ook niet op selecteren.
Maar data weglaten is juist wat uiteindelijk selecteren op nationaliteit in de hand werkt. Agenten merken dan dat de statistieken in bepaalde wijken meer criminaliteit laten zien, dus ze gaan meer in die wijken controleren, het cijfer gaat verder omhoog, etc.

Als juist uit statistieken blijkt dat er wijken in Nederland zijn waar voornamelijk "Belgen" wonen en alle "Belgen" samen in Nederland als geheel verantwoordelijk zijn voor 10% van de criminaliteit maar ze 20% van de bevolking uitmaken, dan moet je hen juist niét meer controleren ook al lijkt het in de wijken waar ze wonen de spuigaten uit te lopen. Als je niet die gegevens registreert zou je juist denken dat "Belgen" het grootste probleem zijn en verliest de politie de echte criminelen juist uit het oog.
Probleem is dat het twee kanten opwerkt, je kunt niet zeggen we registreren nationaliteit maar gebruiken dit maar 1 richting op. Daarbij kan het best zijn dat de "Belgen" in bepaalde wijken oververtegenwoordigd zijn aangaande criminaliteit, moet je die dan laten lopen?

We kunnen twee aparte discussies voeren, een discussie over wat jij, ik en anderen wenselijk achten waarbij etnisch profileren voor een aantal van ons ongetwijfeld toelaatbaar is, en een discussie over hoe de algoritmes vorm te geven zodat zij blijven voldoen aan wat de wetgever wenselijk acht waarbij etnisch profileren e.d. dus vermeden moet worden. Aangaande dat laatste is het redelijk simpel: Info waar het algoritme niet bij kan daar kan het ook niet over oordelen. Aangaande dat eerste dat is een lastige juist vanwege de vele verschillende meningen.
Ik ben juist bang dat wanneer je niet die extra gegevens registreert, het onbewust het profileren van bepaalde groepen in de hand werkt.

Misschien zou de overheid helemaal geen algoritmes mogen gebruiken die uiteindelijk leiden tot het straffen van individuen, maar alleen als het doel is om hen te helpen. Het zou goud waard zijn als je met een algoritme kunt voorspellen welke mensen aan de rand van financiële problemen staan zodat je op tijd bij kunt springen, welke ouderen nu alvast een traplift moeten laten installeren omdat wie pas te laat aan de bel trekt maanden op de bank moet slapen omdat ze niet meer naar boven kunnen, etc.
Data weglaten in de zin van informatie afschermen is lastiger dan het lijkt: je naam zegt bijvoorbeeld al veel over je nationaliteit en zelfs over je leeftijd. Een algoritme pikt die informatie er zo uit.
Zolang een systeem geen weet heeft van het begrip nationaliteit kan het er ook geen namen aan koppelen, hooguit kan het stellen dat bepaalde namen of letter combinaties vaker voorkomen dan anderen maar daar is niets mis mee in mijn beleving. Het gaat erom wat wij het systeem toestaan om te doen met de info die wij het voeren. We hebben het hier gelukkig niet over een alwetende AI die zijn eigen gang mag gaan.
Eerst zeg je dat het voldoende is dat het algoritme de nationaliteit data niet krijgt en nu zeg je dat het algoritme geen weet mag hebben van het begrip nationaliteit. (Geen idee wat dat laatste zou betekenen in een neuraal netwerk bijvoorbeeld.) Als iemand Francois heet dan is de kans toch groot dat die persoon Frans is, dus daar kan je zo op selecteren.
Het gaat erom dat het systeem aangeeft wie er wel of niet een verhoogt risico tot iets heeft, een systeem wat niet kan indelen op nationaliteit kan niet aangeven dat een bepaalde nationaliteit een verhoogde kans heeft. Als we nationaliteit zouden koppelen dan is Pierre verdacht omdat Raphael vaker gepakt is. (om even bij Frankrijk te blijven.) Is nationaliteit geen factor dan kan dit dus niet. Zo moeilijk is dat toch niet om te begrijpen?

Als er uiteindelijk een mens besluit om een uitdraai van Pierre te maken omdat ze Raphael hebben gepakt dan heeft dat helemaal niets met de algoritmes te maken.

[Reactie gewijzigd door Groningerkoek op 31 januari 2021 00:23]

Een systeem wat niet kan indelen op nationaliteit kan niet aangeven dat een bepaalde nationaliteit een verhoogde kans heeft.
Je hebt bij een neuraal netwerk (wat tegenwoordig overal wordt toegepast) niet in de hand wat er intern gebeurd, dus je kunt bij dat type algoritmen niet eisen dat er niet wordt ingedeeld op nationaliteit (of een groep nationaliteiten, zeg Europees vs Aziatisch). Er is geen stukje code wat in de hand heeft wat er intern gebeurd. Het algoritme zal de nationaliteit niet als output geven, maar kan daar intern wel naar indelen, zeker als de trainingsdata al een impliciete bias bevat. (Ja zelfs als de trainingsdata geen nationaliteit bevat.) Ik zeg niet dat het algoritme aangeeft dat een bepaalde nationaliteit een verhoogde kans heeft (dit blijft verborgen), maar dat het algoritme mensen met een bepaalde nationaliteit slechter beoordeelt.
Euh nee.

Simpeler voorbeeld: Als de algoritmes geen toegang hebben tot de adressen van daders kan het nooit zeggen dat een bepaalde wijk meer criminelen heeft dan een andere. En dat kun je ook doen met nationaliteit, haarkleur, type auto of schoenvoorkeur etc.. etc..
Simpeler voorbeeld: Als de algoritmes geen toegang hebben tot de adressen van daders kan het nooit zeggen dat een bepaalde wijk meer criminelen heeft dan een andere. En dat kun je ook doen met nationaliteit, haarkleur, type auto of schoenvoorkeur etc.. etc..
Ik heb ook nooit beweerd dat het algoritme aangeeft dat een bepaalde wijk meer criminelen heeft. Idem voor die andere eigenschappen. Dat is mn punt niet.
Wat is je punt dan wel?

Ik stel heel simpel dat een systeem niet kan indelen naar kenmerken die het niet kent. Jij doet het voorkomen alsof het systeem die info er zelf maar bij verzint/bepaalt.
Neurale netwerken hebben als eigenschap dat ze zelf correlaties opsporen die indirect toch leiden tot het terugwinnen van dergelijke informatie. Een oud voorbeeld is Amazon haar CV-screening software, die vrouwen afwees zelfs nadat het geslacht uit de dataset was gehaald: termen als "vrouwentennis" bij hobby's of "president, women's league XXX" bij professionele kwalificaties bleken erg goed te wijzen op vrouw zijn.

Een voorbeeld dat ik ook heb gezien is een AI die triggert op hoge ASCII in achternamen, iets dat Nederlanders weinig en bijvoorbeeld Turken vaker treft (Üzgür, Çelik). Als de AI dan hoge ASCII achternamen terzijde legt, dan raak je dus oneerlijk vaker Turken dan Nederlanders.
Maar het gaat erom wat wettelijk wel of niet mag. Zo mag men rustig sorteren op welke sport, opleiding, type broek e.d. maar niet op nationaliteit. Dat sommige dingen vaker tot de ene nationaliteit behoren dan bij een andere (Hockey zie je vaker bij Nederlanders dan bij Chilenen om maar wat te noemen) daar is wettelijk niets mis mee zolang je maar op die kenmerken sorteert en niet op bijvoorbeeld nationaliteit of huidskleur.
Dat klopt, maar zodra blijkt dat jij hockey gebruikt om bepaalde etnische groepen buiten te houden, dan ben je strafbaar. Bewijslast is pittig natuurlijk.
Maar die Hongaar wordt niet gestraft, hij wordt enkel gecontroleerd.
Wat is het alternatief: voor elke Hongaar die wordt gecontroleerd ook een 85 jarige oma die naar de bakker gaat controleren op mensensmokkel?
Alle personen die de wet overtreden waren mensen op een zaterdagochtend tussen 8 en 12. Vanaf nu worden alle mensen op zaterdagochtend tussen 8 en 12 gecontroleerd.

Om een goed model te maken kunnen we kortaf zijn en gewoon alle hongaren weren. Of alle buitenlanders. Maar dan zijn het vooral de Nederlanders dus die gaan we dan ook maar weren. Je moet dus begrijpen waarom deze groep naar voren komt want dat je in je observatie hebt gevonden wil niet zeggen dat dat ook een oorzaak of voorspeller is. Je hebt observationele data waarmee je verbanden kan vermoeden maar het is ontzettend moeilijk om daar een gedegen oorzaak aan te hangen.

[Reactie gewijzigd door Tadsz op 30 januari 2021 11:36]

Precies, en elke Hongaar die je betrapt zal je zien als bevestiging dat je algoritme werkt. En omdat je steekproef kleiner wordt zal je succes ratio (aantal betrapte/aantal aanhoudingen) in eerste instate omhoog gaan. Nog meer succes! (denk je). Ondertussen rijden kolonnes smokkelende Bularen langs je controlepost zonder aangehouden te worden.
Hopelijk is er iemand zo snugger om op te merken dat het totaal aantal betrapte smokkelaars wel flink gedaald is.
Welk nieuws ga je nu vertellen?
- Succes ratio is gestegen
- Aantal betrapten is gedaaald
Jullie nemen hier allemaal aan dat de uitvoerders dom zijn en niet weten wat bias is of aselecte steekproeven. Het kan ook gewoon "en-en": je controleert meer hongaren omdat de kans op basis van historische data veel groter is, en daarbovenop doe je een volledig willekeurige aselecte steekproef als input om bij te houden of je andere proef nog op peil is. Als die te ver uitelkaar gaan lopen is het tijd voor een alarmsignaal. Of je compenseert voor controle-frequentie in je input data: als je bijna geen bulgaren controleert en daar wordt er toch een gepakt weegt dat zwaarder. Maar goed, dat is dus een taak van een toezichthouder om te kijken of dat goed geregeld is (hoe die hiervoor hoogopgeleide statistici gaan aantrekken die in het bedrijfsleven tonnen verdienen weet ik niet, maar goed. Zal wel niet verder komen dan henk die een cursus heeft gedaan en met Excel kijkt of het normaal-verdeeld is...)

Eigenlijk zeggen jullie nu: je mag nooit data gebruiken want er kan altijd bias zijn. Dus doe dan maar nooit iets. Dat is een houding die je nergens brengt. Een project kan falen, dus doe maar geen projecten meer.

[Reactie gewijzigd door Zoijar op 30 januari 2021 13:15]

Maar we zien toch constant voorbeelden waar uitvoerders te dom zijn, of te weinig geld hebben, of te weinig tijd hebben, of te gemakkelijk denken en dan een shortcut nemen? Toeslagenaffaire, ggd datalek? De overheid is niet bij default een betrouwbare partner.
Maar de middelen zijn altijd beperkt, als we de ene groep meer aandacht geven betekent dit automatisch dat een andere groep minder aandacht krijgt. Meer controle op Hongaren betekent minder controle op Nederlanders, Belgen, Turken en Roemenen hierdoor worden verschuivingen minder snel opgemerkt.

En we willen niet aangeven dat je data niet moet gebruiken, maar dat je niet moet vergeten dat deze data wordt aangeleverd door mensen die allerlei signalen/informatie gebruiken (vaak zelfs onbewust), Misschien controleren die mensen al jarenlang sterker op versleten banden en zijn door de financiële situatie Hongaren daarin veel sterker vertegenwoordigt terwijl Roemenen misschien veel meer op goede banden rijden terwijl zij wel al 2 jaar meer mensen in de bak hebben. Mensen leggen zelf al allerlei verbanden tussen informatie en alsjeblieft die verbanden niet weet of niet meeneemt dan gaat je algoritme de mist in.
Als ik vanwege m'n afkomst/nationaliteit de hele tijd gewantrouwd en gecontroleerd wordt, ervaar ik dat best wel als een straf. Voor iets waar ik zelf niks aan kan doen.

Ik vind 't een lastige kwestie hoor. Ik snap bijvoorbeeld bij de politie wel dat onderbuikgevoelens in de praktijk een rol spelen en denk ook dat ze nuttig kunnen zijn. Tegelijkertijd brengen ze ook schade toe.

[Reactie gewijzigd door ChillinR op 31 januari 2021 00:13]

Dat moet in Nederland random, anders is het niet inclusief genoeg. Deze discussie is er al geweest met andere algoritmes en criminaliteit. Het algoritme werd racistisch.
nieuws: 'Algoritmes bij overheden zijn geen black boxes, maar kennen wel risi...

Lees met name de laatste alinea.
Wat is er racistisch aan het bezitten van de kennis dat mensen uit een bepaald gebied een risicogroep vormen? Dat op zichzelf is nog geen geldig criterium om ze als misdadiger te bestempelen. Het als vlag gebruiken is al een probleem?
Je moet er wel van uit kunnen gaan dat de conclusie 'de kennis dat mensen uit een bepaald gebied een risicogroep vormen' voortkomt uit een dataset die de Nederlandse bevolking goed afbeeld en dat gebied niet artificieel buiten proporties laat lijken d.m.v. voorgaande handelingen die de dataset hebben gevormd (denk bijv. aan het stelselmatig controleren van dat gebied en het bijna niet controleren van andere gebieden).

Ik denk dat we moeten oppassen met 'het als vlag gebruiken', ik vermoed dat dit erg snel richting etnisch profileren gaat wat natuurlijk hardstikke in strijd is met artikel 1 van de grondwet. E.g. een goed gedragend burger van bijv. Marrokaans komaf mag niet worden benadeeld/geprofileerd vanwege een 'dikke rode vlag' die bijv. voort zou kunnen komen uit afkomst.
Het BEZITTEN van kennis, niet het verzinnen van kennis. Er is niks profileren aan het constateren van feiten en die gebruiken bij een 'risico-analyse'. Niet uit het verband trekken graag.
Over iemand waarvan 'Marokkaan' het enige gegeven is dat je hebt valt niks te zeggen. Doe je dat wel, dan kun je het alleen maar daarop baseren. Sja, das racisme.

[Reactie gewijzigd door blorf op 30 januari 2021 12:14]

Je doet 100 controles op smokkelwaar.
Om wat voor reden dan ook, zijn 40 van die controles gedaan bij Marokkanen.
10 bij Engelsen.
10 bij Duisters
10 bij Fransen
10 bij Nederlanders
10 bij Colombianen
10 bij Russen

Bij deze controles, zijn 3 gevallen van smokkelwaar gevonden bij Marokkanen
1 bij Engelsen.
1 bij Duisters
1 bij Fransen
1 bij Nederlanders
2 bij Colombianen
1 bij Russen

Je concludeert: "30% van alle gevallen van smokkelwaar zijn gevonden bij Marokkanen. Die vormen een risico groep, dus gaan we beter controleren"

Echter, minder dan 1 op de 10 marokanen heeft smokkelwaar gehad, in tegen stelling tot alle anderen, die daar op of boven zitten.

Dit is een simpel voorbeeld van sampling bias.
Waar je het meest intens op controleert, krijg je de meeste resultaten.
Als je de AIVD opdracht geeft zich te focussen op russen, is het niet vreemd dat de meeste terroristische dreigingen die ze vinden van russen komen.
Het feit dat je de kennis bezit dat de meeste gevonden risico's zich bij groep X bevinden, betekend nog niet dat deze kennis goed geïnterpreteerd word, dat daar daadwerkelijk de meeste risico zit, en dat jouw acties in het aanwijzen van een risico groep nadien valide zijn.

[Reactie gewijzigd door wild_dog op 30 januari 2021 12:55]

Dit is een simpel voorbeeld van sampling bias.
Precies, en doet dus ook niet zo heel veel ter zake bij de discussie, want elke degelijke studie zal hiervoor compenseren aangezien het statistiek-101 is.
Dit voorbeeld is opzettelijk simpel om het probleem inzichtelijk te maken. In de praktijk zijn de gegevens niet zo duidelijk.

Zie bijvoorbeeld van een oude zondag met Lubach over grens controles. Wat voor een impact heeft de controle gebaseerd op houding of uitstraling op wie er gesampeld word? Gaat de douane van alle controles die ze gedaan hebben, ook waar niets gevonden is, de etniciteit bijhouden? Van iedereen in de auto?

In het voorbeeld weet je het eerste lijstje van wat je gecontroleerd hebt, maar in de praktijk kan het zomaar dat je alleen het tweede lijstje weet, of dat de eerste incompleet is.

[Reactie gewijzigd door wild_dog op 30 januari 2021 13:58]

Je gebruikt eenzijdige statistische informatie. Daar zit de fout. Het "om wat voor reden dan ook" is juist zeer relevant. Het wijst erop dat je de aangeleverde informatie niet kan gebruiken.
Bij een grenscontrole op smokkelwaar op 20000 personen zou de etniciteit redelijk gelijk moeten zijn aan wat er gemiddeld in het algemeen de grens passeert. Weet je dat niet, dan is de info die die controle heeft opgeleverd onbruikbaar. Het is geen op de werkelijkheid gebaseerde informatie.
Je kan een dergelijk algoritme natuurlijk niet baseren op simpelweg te weinig informatie of de selectiviteit van de controleurs. Iemand die zoiets eerlijk ontwikkelt doet dat ook niet, tenzij moedwillig.

[Reactie gewijzigd door blorf op 30 januari 2021 15:26]

Het BEZITTEN van kennis, niet het verzinnen van kennis.
Nouja, dat was dus het eerste puntje. Je moet er van uit kunnen gaan dat het echt 'kennis' is; trash in = trash out, maar dat weet je zelf denk ik ook prima.De data moet wel accuraat zijn.
Er is niks profileren aan het constateren van feiten en die gebruiken bij een 'risico-analyse'.
Dat weet ik zo nog niet eerlijk gezegd. Wanneer bijv. etniciteit als variabele terug komt in een model die wordt gebruikt bij risico-analyses, en daardoor (ik verzin wat ter plekke hè) bijv. Nederlandse burgers met een bepaalde etniciteit 10x vaker worden gecontroleerd op bepaalde zaken dan andere etniciteiten, dan is dat m.i. toch wel redelijk een geval van profileren. Ik maak nu natuurlijk een overdreven en simpel scenario, maar ik denk dat het onderliggende probleem wel duidelijk is. Je had het in je vorige comment namelijk ook niet alleen over het bezitten van deze zgn. kennis, maar ook over het handelen naar. Daar moet je mee oppassen als artikel 1 gewaarborgd dient te worden.
Die feiten zijn alleen gebaseerd op subjectieve controles. Mensen zijn nou eenmaal van nature tot bepaalde hoogte xenofobisch en dat uit zich dus ook in die 'feiten'.
Daarnaast staat simpelweg in de grondwet dat je iemand niet mag beoordelen op basis van zijn etniciteit, dus zelfs als het waar is, ga je 100% tegen de grondwet in.
Dus naast dat het gegeven dat iemand ‘Marrokaans’ of ‘Hongaars’ is, welke informatie wil je nog meer zien voordat je tot actie over gaat?
Inderdaad er wordt wel erg makkelijk naar het algoritme gewezen.

Volledig transparante code lijkt mij wel een goede zaak. Maar wat moet een toezichthouder gaan doen als de regels ontbreken.
Als de politie volledig transparant is over het algoritme dat vertelt waar zij het beste (op) kunnen controleren, dan weten criminelen waar ze niet moeten zijn.
Inderdaad hebben we hier al eerder over gediscussieerd.

Volgens mij zijn de conclusies hier dat je moet oppassen welke data je als input gebruikt. Als in die data qua populatie vooringenomenheid zit dan is het algoritme ook vooringenomen.

Verder is het van belang wat er met de uitkomst van het algoritme wordt gedaan. Wordt deze gebruikt om lijsten te genereren van groepen die extra gecontroleerd moeten worden, maar is die controle wel objectief en zonder vooringenomnheid, dan is er geen probleem. zorgt het algoritme er echter voor dat er direct een vinkje fraudeur achter een naam wordt gezet, dan is het al een stuk gevaarlijker.

Dus nooit blind varen op algoritmes, maar het kan wel goed gebruikt worden om kruisverbanden te leggen/zoeken.
Data uit het verleden bevat dus niet altijd gewoon de werkelijkheid uit dat verleden. Of het bevat een slecht een deel van de werkelijkheid uit dat verleden. En dan moet je bij met maken van beleid op basis van zo'n database goed weten welke deel van de werkelijk die database bevat. Een database met alle hardrijders op de A1 bij Zwolle zegt niets over het aantal hardrijders op de A4 bij Den Haag. En beide zeggen alleen maar iets over hardrijders, niets over b.v. het aantal mensen dat niet te hard rijdt.
Het heeft minder met politiek te maken maar meer met hoe de conclusies uit de data tot stand zijn gekomen, hoe daarmee omgegaan is en of de uitvoering niet onethisch of incorrect is.
Het kabinet is niet gevallen omdat de toeslagenaffaire de politiek niet uitkwam maar omdat er fouten zijn gemaakt bij de handhaving van beleid dat gedeeltelijk gebaseerd was op uitkomsten van algoritmes (waarin een tweede nationaliteit een risico vormt).
Het is ook belangrijk om in ogenschouw te nemen dat als je bijv. onevenredig veel gaat inzetten op het controleren van een groep (of dat nou is op basis van land van herkomst, sterrenbeeld of beginletter van de achternaam) je vanzelf ook veel meer resultaat krijgt uit die groep. In simpele zin kun je dan de resultaten en de relatieve zwaarte van de inzet tegen elkaar wegstrepen, maar dat is in de praktijk vaak makkelijker gezegd dan gedaan. Als je bijvoorbeeld een nieuwe opsporingsmethode inzet tegen een bepaalde vorm van criminaliteit en tegelijkertijd op basis van oude data inzet op een bepaalde groep dan is het niet onredelijk om te verwachten dat je bij deze groep dan een stjiging ziet. Welk deel van de stijging komt dan uit de verbeterde onderzoeksmethode en welke komt uit het feit dat je je op die groep bent gaan focussen? Anderzijds heb je bij van die hippe machine learning algoritmes het probleem dat je eigenlijk niet weet waar precies op geselecteerd is. Dan weet je niet eens dat je relatief wat meer bent gaan inzetten op een bepaalde groep, als je dan de resultaten gaat analyseren zie je dat er steeds meer crimineel gedrag uit die groep komt zelfs als die gelijk blijft.
Wat is er mis met profileren op gedrag (zoals snelheidsovertredingen, rijden zonder rijbewijs).
De afkomst van de overtreder is daarbij niet relevant.
Typisch. De politiek die algoritmes de schuld geeft van beleid wat ze zelf hebben gemaakt en laten uitvoeren met behulp van algoritmes waar ICT instopt waar de politiek erin wil hebben.

De politiek maakt beleid ambtenaren vieren het uit. Algoritmes kunnen, net als overige ICT, burgerparticipatie, handhaving etcetera, ondersteunen. Maar algoritmes maken niet het beleid en ze voeren het ook niet uit (zou vast kunnen maar lijkt me hoogst onwenselijk in dit stadium). De mens is en blijft verantwoordelijk en daar hoort je toezicht op gericht te zijn.

De Belastingdienst is een zooitje en de ICT een ramp. Dus wat doe je? Je maakt een algoritme zodat het net lijkt of het werk gewoon gedaan wordt. Maar daarmee is het probleem niet opgelost maar vergroot en blijkbaar een zondebok gevonden.

[Reactie gewijzigd door gaskabouter op 30 januari 2021 06:59]

Waarom vind jij dit typisch? Ben jij nog nooit van mening verandert of tot inzicht gekomen over je eigen gedrag? Je mening durven veranderen, en jezelf durven veranderen ten behoeve van verbetering is een groot goed naar mijn mening. Een toezichthouder vind ik een paardenmiddel, maar blijkt in de praktijk erg effectief, zeker met het juiste mandaat. Ik zou graag ook een full time toezichthouder in mijn leven hebben om mij te ondersteunen in keuzen ;)
Typisch omdat de politiek naar op zichzelf zou moeten toezien in plaats van de zoveelste, meestal tandeloze, toezichthouder te benoemen die gaat toezien op de politiek haar eigen uitwerking van haar eigen beleid.

Want met aftredende bewindslieden is geen schuldige bestraft en geen dader benoemd.
De journalistiek moet op de politiek toezien.
Met een aftredend bewindslid is een verantwoordelijke gestraft.
Onzin. De journalistiek kan geen toezicht houden want die moet eerst zaken opzoeken ipv met volledige transparantie te kunnen oordelen. (En worden zelfs actief tegengewerkt met trage uitvoering van wob verzoeken, verborgen informatie in naam van “nationaal belang”, “verdwenen” stukken, “ik wist het niet”, of zoals onze premier zo graag zegt “dat kan ik mij niet herinneren” (heel selectief geheugen die man) etc.)

Daarnaast is een verantwoordelijke niet “gestraft”. Deze politici manipuleren er maximaal op los en helaas trapt de meerderheid daar met open ogen in.

Als een politicus aftreed, wat verliezen ze dan? Je hebt het de afgelopen tijd genoeg zien gebeuren, ze krijgen zelfs hoogstwaarschijnlijk een beter betaalde baan met dikke bonussen. Die slinksheid is namelijk zeer gewild in het corporate leven.

Wat krijgen de gedupeerden? Jarenlange durende bureaucratische ongein voordat er compensatie komt.

Nee. De politiek kan alles maken zonder ooit echt “verantwoordelijk” te zijn.

Oh wauw, het hele kabinet treed af, wat een knieval! Super goed dat ze dit durven toegeven! Fout. Dit is juist de toon die ze nu, zo vlak voor de verkiezingen willen zetten. Komt weer goed uit bij de campagne.

[Reactie gewijzigd door Jaatoo op 30 januari 2021 09:20]

Ligt aan je definitie van gestraft. Aftreden is een tijdelijk iets voor de meesten. En ze worden financieel gezien ook niet (echt) geraakt.

Als ik ontslagen wordt of "verplicht" op te stappen heb ik een veel groter probleem.

[Reactie gewijzigd door The Chosen One op 30 januari 2021 15:04]

De journalistiek moet op de politiek toezien? Waar in de Trias Politica komt de journalistiek voor?
Met een aftredend bewindslid is er politieke verantwoording genomen. Dat is heel wat anders dan gestraft.

Het probleem met de huidige politici is dat ze denken dat ze na aftreden gewoon door kunnen gaan. En dan bedoel ik niet demissionair, maar bijvoorbeeld als lijsttrekker voor de volgende verkiezingen. Dat is toch totaal ongeloofwaardig?
Dat is zo’n theoretische term joh. In Nederland is trias politica niet echt helemaal van toepassing en toch is de journalistiek de vierde macht.
Het is ook juist de betrokken- en vastberadenheid van journalisten van RTL en Trouw die hebben geleid tot wat uiteindelijk de toeslagen affaire werd.

[Reactie gewijzigd door dez11de op 30 januari 2021 20:39]

In Nederland is de Trias Politica volledig van toepassing. En waar de journalistiek om de hoek komt kijken is daar waar de uitvoerende macht informatie voor de wetgevende macht achterhoudt. (Waar de regering geen, onvolledig of ronduit valse informatie geeft aan de 2e kamer, zie oa toeslagen affaire)
De journalistiek kan door WOB verzoeken en diep graven erachter komen wat er door de huidige politici in achterkamertjes bekonkeld wordt. Daar is de journalistiek zeker van nut. Maar heeft daarin geen officiele functie.
De regering kiest er de laatste, pak-hem-beet, 40 jaar voor, sinds het neo-liberalisme de politiek in een wurggreep heeft, om niet meer transparant te zijn en dubbele agenda's er op na te houden.
Kijk voor de grap eens naar Wikipedia pagina over trias politica in Nederland en pas aan waar nodig.
Mooi gezegd,
En als de mensen binnen het vakgebied (IT) al lastig vinden dan vind ik ook dat we mogen snappen dat politici er over het algemeen zelf niet uitkomen en dan is het goed om hulp te vragen.
Hopelijk word het een onafhankelijk (wetenschappelijk onderbouwd) instituut

Praktisch kan het nog moeilijk zijn om experts te vinden (Ik ben er zelf geen).
"Algoritmes" is zo'n breed gebied, van brakke excel sheets tot neurale netwerken (ook wel AI genoemd al is het toch vooral alleen maar patroon herkenning en geen creativiteit. Maar dat is een topic op zich waard).

Vooral bij AI is het moeilijk om te bepalen of zo'n algoritme bijv. etnisch profileert omdat je per definitie niet precies weet hoe het neurale netwerk beslissingen weet (vind ik op zich niet zo erg weet je van mensen uiteindelijk ook niet). Maar ik zit te denken aan experts die niet meegeholpen hebben aan het trainen van een netwerk maar wel met test-sets komen en verwachte uitkomsten.

En voor iedereen buiten het vakgebied van AI is het volgende makkelijk weg te lezen boek de moeite waard: Hello World!
Of Nederlandse versie: Algoritmes aan de macht
@gaskabouter je slaat de spijker op z'n kop! Er is bij de overheid nog nooit een programmeur geweest die zomaar een algoritme voor b.v. fraudedetectie schrijft. Hiervoor zijn gegevens uit bestanden van meerdere ministeries nodig.De klant bepaalt wat hij wil hebben, de architect maakt het ontwerp en de bouwer bouwt het huis. De klant (politiek/top ministeries) is bij elke stap betrokken.
Eens! Met uitzondering van de zogenaamde blackbox algoritmes, bijv. zelflerende algoritmes obv een neuraal netwerk. Maar de Algemene Rekenkamer heeft recentelijk vastgesteld dat die nu niet in gebruik zijn.

Echter wanneer deze algoritmes wel in gebruik komen is het belangrijk dat de data die hierin gaat om het model te trainen van een voldoende kwaliteit is. Mensen die in beroep gaan bij (bijv.) de belastingdienst moeten dan niet opnieuw door dat zelfde algoritme beoordeeld worden. En wanneer er iemand inderdaad onterecht een boete krijgt, moet het getrainde model hierop bijgewerkt worden.

Ik kan me voorstellen dat de rol van een dergelijke toezichthouder hier komt te liggen.
Hiervoor zijn gegevens uit bestanden van meerdere ministeries nodig.
Hier zit een deel van de essentie.

Algoritmes zelf zijn maar een deel van het probleem, en de data die eruit komt ook. De problemen zitten met name in de gegevens die je erin stopt (of het wel mag, de kwaliteit, de totstandkoming, ...), en de conclusies die gemaakt worden en processen die uitgevoerd worden, gebaseerd op de gegevens die eruit komenkomen.

Men vergeet bijvoorbeeld vaak dat gebaseerd op incomplete of biased invoer de uitvoer ook incompleet of biased is. Gebaseerd enkel op die uitvoer kan je dan geen conclusies trekken. Zie de toeslagenaffaire, waarbij enkel op bepaalde karakteristieken bepaald is dat iemand zonder twijfel een fraudeur is, en hoeveel schade die conclusie gedaan heeft.

Net als met Public Money, Public Code en het recht om op te treden als getuige over het gehele stemproces, ben ik ook voorstander van volledige transparantie van overheidsalgoritmes als ze gebruikt worden om beslissingen te maken voor/over burgers. Als de beslisboom niet op een A4'tje past in gewone mensentaal, dan is het algoritme te complex omdat men zich niet tegen de beslissingen die eruit komen kan verdedigen. Een dergelijke regel maakt het voor een toezichthouder en degenen die het algoritme ontwerpen en invoeren ook overzichtelijker.

Op de achterkant van het A4'tje kan dan een lijst staan met gebruikte gegevens, met per gegeven de bron en de wettelijke basis voor gebruik omschreven.

Als een steekproef wordt gehouden, moet het proces omschreven worden over het steekproefproces (gegevens over de populatie, het keuzeproces, etc.). Zo kan men zich niet verbergen achter 'u bent willekeurig gekozen' als het niet willekeurig was.

[Reactie gewijzigd door The Zep Man op 30 januari 2021 08:26]

Ik moet nog een persoon zien die de volledige consequenties van z'n ideeën vooraf begrijpt. Zelfs als de developers van de algoritmes 100% de specificatie van een beleid uitwerkt zullen er verborgen features naar boven komen. Onder andere doordat de specificaties nooit volledig zijn, en de specificaties zelden rekening houden met alle mogelijke variaties, en interacties met andere zaken in het volledige systeem.
Een computer doet wat hem opgedragen is, en heeft geen common sense. Een mens zal herkennen dat iets misschien niet klopt, een computer heeft die inzichten niet. Een stuk software gebaseerd op ML zal deze fout misschien zelfs vergroten.
Een implementatie van een beleid kan dus fouten in het beleid aantonen. Daarom heb je een 3e partij nodig om te controleren of de intentie van het beleid gewaarborgd wordt.
Grotendeels mee eens maar een 3e partij moet concrete eisen hebben waarop gecontroleerd kan worden.
De proces controles moeten in eerste instantie goed functioneren.
Ik denk niet dat het hier zo zeer om "de schuld geven" gaat. Het is meer dat er een ontwikkeling gaande is (het gebruik van algorithmes) die op zichzelf goed is, maar wel gecontroleerd moet worden om het fair te houden. Net als dat er een authoriteit financiële markten is.
En er is nog een sloot toezichthouders. Maar de AFM gaat wel over autonome financiële instellingen die eigen beleid maken en uitvoeren. Nu gaan we toezicht houden op onderdelen van ICT oplossingen die helemaal niet bedoeld zijn beleid te maken of uit te voeren maar enkel ondersteunend zijn.
Het parlement als wetgever maakt er zelf een zooitje van.
Het blind onderschrijven van internationale verdragen of verplichtingen zonder de gevolgen er van te overzien zorgt voor ellende.

Daartoe zou AI een rol kunnen spelen om de tegenstrijdigheden met de huidige wet- en regelgeving bloot te leggen.
Liefst in combinatie met het oprichten van een Constitutioneel Hof waar wet- en regelgeving wordt getoetst aan de Grondwet.
(De uitzonderingspositie van religeuse groeperingen mag ook wel eens tegen het daglicht worden gehouden)

Voorts zou aan het "eeuwige leven" van politici een einde moeten worden gemaakt.
Door de kiezer afgeserveerde of teleurgestelde politici duiken op in Brussel of worden ergens burgemeester.
Daar hebben we geen AI voor nodig maar rechtsgeleerden. En die wetten zijn niet tegenstrijdig maar hiërarchisch. Iedereen heeft het recht op een mening maar je mag niet discrimineren. Dat is niet tegenstrijdig, de ene wet gaat gewoon boven de andere in zo'n geval. In Nederland, en de rest van Europa, wordt er heel vreemd gekeken naar rechters die iets vinden van wetten, het hof spreekt recht en toetst geen wetgeving. Ze zijn namelijk niet democratisch gekozen. En het parlement wel. Dus ze zijn niet eeuwig houdbaar maar een termijn. Als je stemt en genoeg anderen het met je eens zijn.
Open sollicitatie
  • Ik bied me aan voor 2 ton per jaar.
  • Als kabinet aan mij vraagt weg te kijken, zal ik dat doen.
  • Indien het bewijs te confronterend is, zal ik mij beroepen dat ik me niks zal herinneren
  • Indien mij gevraagd wordt een werkgroep op te zetten om vrinden uit uw caroesel te faciliteren zal ik daar aan mee werken
  • Als ik grote mistanden vind, zal ik deze niet aan de grote klok hangen
  • Heb er geen bezwaar tegen dat al mijn bevindingen door uw PR medewerkers worden getoetst
Nouja goed. Dat is dus een stukje "tegen macht" wat op dit vlak echt wel noodzakelijk is. Want het gebruik van algorithmes gaat alleen maar toenemen en dat lijkt me (met de nodige zorgen) wel een goed iets.

Het jammere is alleen dat een toezichthouder er vaak pas op een laat moment bij komt. Tenzij wettelijk wordt vastgelegd dat een algorithme alleen in gebruik genomen kan worden na goedkeuring van de instantie. De budgetten en wettelijke kaders van deze authoriteit zijn dus wel alles bepalend.
Elke toezichthouder op dit moment faalt, ziet het te laat of signaleert en de politiek doet er niets mee. Laten we in godsnaam gebruik maken van de mogelijkheden die er al zijn en deze serieus nemen.

Een verbod op discriminerende algoritmes is ook een loze term, aangezien discriminatie onderscheid maken inhoud en dat doe je per definitie bij selectie. Als het gaat om de term zoals nu meer maatschappelijk / juridisch wordt gebruikt (onrechtmatige selectie) dan kan daar aan de voorkant prima iets aan gedaan worden ipv het algoritme bloot te leggen (wie gaat dit sowieso begrijpen?). Statische selecties liggen heel dichtbij discriminatie.
Statische selecties liggen heel dichtbij discriminatie.
Anders geformuleerd: "Lies, damned lies, and statistics" (Er is nog geen nederlandse versie van dit lemma?)
Dit betekent mijn inziens ook dat je als wetgever en handhaver nooit automatisch acties moet ondernemen gebaseerd op statistiek. Elke interpretatie van deze gegevens vereist menselijke beoordeling van die gegevens.

[Reactie gewijzigd door scholtnp op 30 januari 2021 08:45]

Anders geformuleerd: "Lies, damned lies, and statistics" (Er is nog geen nederlandse versie van dit lemma?)

‘Je hebt een leugen, een grote leugen en statistieken....’

‘Je hebt de directies, het management en dan nog eens de statistiek’ Het laatste wordt dan weer zo omgebogen door het management om de directies ten gunste te zijn.
Doelde er ook op dat het benoemen van cijfers in de politiek over bijv misdaad ook meteen gezien word als discriminatie terwijl dat wel is wat het is. Echter moet wel zorgvuldig om gegaan worden wat met de cijfers te doen. Hetzelfde geld voor vluchtelingen, laat ik duidelijk zijn ik ben centrum links en niet tegen vluchtelingen, maar het benoemen van de problematiek hierbij word door vele als discriminatie gezien. Ik zie echt wel dat we daar gewoon een probleem hebben met de aantallen, snelheid etc. Dat zijn gewoon cijfers maar snel al discriminatie volgens velen.
Het probleem is dat men vaak observaties over een groep vertaald naar verantwoordelijkheid en aansprakelijkheid van het individu. Stel, mijn achternaam is Dalton, moet ik dan ook naar de gevangenis omdat mijn (verre) familieleden criminele dingen doen? Nee, zegt iedereen dan, maar het automatisme om er snel een label op te plakken maakt korrekt onderzoek wel lastig.

Pak de reden aan dat mensen vluchten: armoede en repressie. Volgens UNHCR vluchten mensen zodra ze tussen $10000 en $20000/jaar verdienen. Daaronder kunnen ze hun vlucht niet betalen, daarboven blijven ze liever in eigen land/regio. Als consument kies ik daarom een Fairphone en andere eerlijke produkten. Als kiezer zou ik graag zien dat Nederland en EU handel met vrije democratie geen belemmeringen oplegt, en handel met dictatoriale regeringen flinke invoerrechten laat betalen (helemaal geen handel is ook geen optie, je wilt die landen ook kunnen straffen en belonen met hogere of lagere invoerrechten).

[Reactie gewijzigd door scholtnp op 30 januari 2021 10:08]

"Pak de reden aan dat mensen vluchten: armoede en repressie."

Toch echt een taak van de VN; verworden van een club georganiseerd rond de Universele Verklaring van de Rechten van de Mens tot een lamgelegd praatgroepje.
En voor de brandjes zijn gigantische aantallen ambtelijke brandjesblussers aangetrokken (UNHCR bijvoorbeeld).
De primaire taak (vrede en veiligheid) wordt verwaarloosd en
Wapenembargo's, confiskeren van buitenlandse tegoeden van machthebbers, handelsverbod excl.voedsel, uitreisverbod en diplomatieke isolatie werken binnen een week.

Moet je wel lef en de bereidheid hebben om oorzaken aan te pakken i.p.v. de gevolgen te bestrijden.
Een algoritme is toch niet iets waar je toezicht op houdt. Je moet toezicht houden op bedrijfsvoering en strategie van bedrijven, waar misschien wel een algoritme gebruikt wordt.
Het probleem wat er nu gepoogd opgelost te worden is toch vooral het probleem dat een google en facebook ten koste van alles zichzelf proberen te verreiken
Het lijkt onmogelijk om op iedere toepassing toezicht te houden. Een algoritme kan door de tijd heen in miljarden toepassingen bestaan. En dat heeft niet alleen plaats via bedrijven maar ook in producten van consumenten. Dan lijkt het practischer om toezicht op algoritmes te houden, net zoals er toezicht hoort te zijn op producten en diensten die aan eisen voor veiligheid enz moeten voldoen.
Zo een toezichthouder heeft alleen kans van slagen wanneer het ook de juiste slagkracht kan krijgen en daadwerkelijk ook kan straffen. Er zijn diverse toezichthouders die mooie rapporten schrijven, maar waar vervolgens amper iets mee wordt gedaan. De duurzame informatiehuishouding van de Rijksoverheid is hier een exemplarisch voorbeeld van. Het verantwoorden vanuit de primaire / secundaire processen wordt veelal als bureaucratisch handelingen/ last gezien. Dit geldt met name wanneer je gaat vragen naar het ontwikkelproces van een applicatie, waarbij oa algoritmes worden gebruikt.
Het grote probleem van algoritmes zijn dat ze door een mens gemaakt zijn. Vanuit een bepaald perspectief.

Stel de maatschappij discrimineert en een Turks iemand heeft minder kans op werk en meer Turkse werklozen. Dan zullen er dus meer uitkeringen richting Turken gaan. Dan is de kans dat er meer Turken frauderen dus ook groter want die groep is groter. Gewoon pure logica dus.

Probleem met toeslagen affaire is ook helemaal niet dat er fouten zijn gemaakt! Dat zegt iedereen wel. Werkelijke probleem is en dat zegt Omtzigt ook: er is geen verantwoordelijkheid genomen!
Want die Sandra Palmen (memo Palmen) waarschuwde al dat het fout zat. En toen ze erachter kwamen dat het fout ging. Toen gingen ze die memo achterhouden/vertragen. Zeggen dat hij niet bestond enz. De Dood knalde mensen het bestuursrecht in waar je geen advocaat hebt, terwijl echte fraudeurs het strafrecht in gingen waar je wel recht op een advocaat hebt. En de RVS die had moeten toetsen vertrouwde blind de overheid en de bewijslast die de aanklager(overheid) aandroeg.(terwijl die weer bewijs achterhield)
Het was dat de 2de kamer doorvroeg en bij caf11 vroeg hoeveel zaken zijn er eigenlijk (tuurlijk gaat het wel eens fout en 11 zaken is niet eens super veel) maar toen bleek het om meer dan 100 zaken te zijn en ging het alarm af.
Discriminerende algoritmes :?

Deze algoritmes zijn gebaseerd op statistiek. Deze statistieken wil de overheid nu eenmaal niet accepteren. Waarom de onderliggende oorzaak aanpakken als je ook het algoritme de schuld kan geven?
Dat is inderdaad zo'n beetje de definitie van machine learning algoritmes. Die stoppen data in hokjes en voorspellen vervolgens welk hokje nieuwe data in gaat. Ook wel classifiers. Mensen zijn gewoon vaak niet zo blij met de brute eerlijkheid van uitkomsten van zulke classificaties... dat past niet bij het wereldbeeld. (nou heb je ook wel problemen als bias enzo, maar dat is allemaal erg lastig... kortom zo'n toezichthouder gaat een groot drama worden van onkunde en drogredenen: er gaat namelijk niemand met een machine-learning Ph.D. bij een toezichthoudend overheidsorgaan werken voor iets meer dan minimumloon als je zo aan de slag kan bij Facebook voor minimaal 250k)

[Reactie gewijzigd door Zoijar op 30 januari 2021 13:01]

Toezicht op algoritmes en ongewenste gevolgen gaat over veel meer. Bijvoorbeeld ook dat een auto die zelfbesturing heeft niet remt omdat het iets niet kan herkennen, dat sollicitanten geselecteerd worden op ongewenste keuzes, medische hulp een bepaalde ongewenste wijziging krijgt door fouten in een algoritme enz.
Is het niet beter op de AP fors uit te breiden en deze taak er bij te geven? Anders hebben we straks weer een onderbezette toezichthouder die z'n taak eigenlijk niet uit kan voeren.
... Anders hebben we straks weer een onderbezette toezichthouder die z'n taak eigenlijk niet uit kan voeren.
En dat is 'niet geheel toevallig', politiek wenselijk is; niemand verantwoordelijk.

We zijn al vele onderbezette, slecht gefinancierde en met een zeer beperkt mandaat opgezadelde 'papieren (tandeloze) tijgers' verder, en wat is het resultaat? Nog meer van dit soort toezichthouders enkel om de schijn van 'correct gecontroleerde politiek' hoog te kunnen houden.

Op dit item kan niet meer gereageerd worden.


Apple iPhone 12 Microsoft Xbox Series X LG CX Google Pixel 5 Sony XH90 / XH92 Samsung Galaxy S21 5G Sony PlayStation 5 Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2021 Hosting door True