D66 en CDA willen voorlopige stop op gezichtsherkenning

D66 en het CDA willen dat er voorlopig een stop komt op het inzetten van gezichtsherkenning. De regeringspartijen willen dat er eerst meer debat wordt gevoerd en dat er duidelijkere kaders voor gezichtsherkenning worden opgesteld.

Dat staat onder andere in een digitaal pamflet dat D66 naar buiten heeft gebracht. De partij wil dat er een 'maatschappelijk debat' komt over nieuwe technologieën bij de overheid. Kamerlid Kees Verhoeven zegt tegen de NOS dat de overheid nu alvast moet 'nadenken over de grenzen die we willen stellen'. In het pamflet pleit hij voor een verbod op gezichtsherkenningssoftware bij bijvoorbeeld de politie, totdat dat debat is gevoerd. Gezichtsherkenning wordt de laatste jaren vaker ingezet bij opsporingsdiensten. Maandag werd bijvoorbeeld bekend dat de politie in 2018 961 keer gebruikmaakte van gezichtsherkenning. In de database van de politie staan inmiddels 1,3 miljoen personen.

Niet alleen D66 is kritisch op dergelijke ontwikkelingen. Ook het CDA wil meer regels instellen om gezichtsherkenning te reguleren. Kamerlid Chris van Dam zegt tegen de Volkskrant dat 'gezichtsherkenning een volgende stap in indringendheid is' waarbij mensen 'als een verzameling data worden gezien'.

Verhoeven pleit er ook opnieuw voor dat niet alleen gezichtsherkenning, maar ook de inzet van algoritmes wordt aangepakt. Hij wijst daarbij naar een eerder onderzoek van de NOS. Daaruit bleek dat steeds meer overheden hun eigen vormen van algoritmes inzetten om bijvoorbeeld fraude op te sporen. Dat kan in veel gevallen leiden tot discriminatie. D66 pleitte destijds al voor de oprichting van een 'algoritmewaakhond' en een richtlijn voor de inzet van dergelijke algoritmes. Met name het koppelen van verschillende databestanden zit de partij dwars. Dat gebeurt bijvoorbeeld bij het het omstreden antifraudeproject SyRI.

Het CDA was eerder ook al een van de partijen die de inzet van algoritmes hekelden. Naast het CDA en D66 zijn ook oppositiepartijen zoals de SP en GroenLinks al lang kritisch op dergelijke ontwikkelingen. D66 wil dinsdag een initiatief voorleggen aan de Tweede Kamer.

Reacties (100)

[Ivolve]

De partij wil dat er een 'maatschappelijk debat' komt over nieuwe technologieën bij de overheid.

Dus in plaats van dat 'maatschappelijk debat' dan gaan voeren gaan we de innovatie in de weg zitten totdat dit eindelijk eens geregeld is. Zou je niet verwachten van D66... Kun je niet beter ergens maar beginnen en dan kijken waar je bij moet sturen?

Het debat over algoritmes moet volgens mij ook nog (op de juiste wijze) gevoerd worden.

Daaruit bleek dat steeds meer overheden hun eigen vormen van algoritmes inzetten om bijvoorbeeld fraude op te sporen. Dat kan in veel gevallen leiden tot discriminatie.

Het kan inderdaad zo zijn dat deze algoritmes discriminerend werken, echter het is niet zo dat er zonder algoritmes niet gediscrimineerd wordt. Het enige verschil is dat het met een algoritme inzichtelijk is en bij mensenwerk niet...

[Relief2009]

Algoritmes discrimineren niet uit zichzelf. Ze discrimineren omdat ambtenaren bepaalde bevolkingsgroepen als high risk neerzetten waardoor onschuldigen onnodig geflagged worden.

[Blorgg]

Algoritmes discrimineren niet uit zichzelf. Ze discrimineren omdat ambtenaren bepaalde bevolkingsgroepen als high risk neerzetten waardoor onschuldigen onnodig geflagged worden.

Daarnaast is het schijnbaar ook heel moeilijk om goede algoritmes te maken die doen wat je wil. Denk maar eens aan reuzen als YouTube en Netflix die het maar niet voor elkaar krijgen met algoritmes om mij content voor te schotelen die ik op dat moment wil zien. Of die goede verbanden leggen tussen verschillende videos. Er zit altijd een berg meuk tussen die je niet wilt kijken. Je moet dan toch vaak echt zelf nog zoeken en aangeven wat je wil.

En dat gaat dan alleen maar om redelijk onschuldige video content. De algoritmes waar het hier over gaat kunnen potentieel mensenlevens verwoesten. Het is daarom denk ik aangebracht om terughoudend om te gaan met dit soort zaken waarbij 'de computer' aan hele groepen mensen een vlaggetje hangt.

[JAHRASTAFARI]

Is het niet eerder doordat bepaalde bevolkingsgroepen objectief gemeten meer crimineel gedrag vertonen dan anderen? En dat er daardoor in de aangeboden data iets zit dat aantoont dat sommige bevolkingsgroepen meer crimineel gedrag vertonen? En het algoritme dat dan logischerwijs daarop getriggerd wordt?

Als het om bevolkingsgroepen of huidskleur gaat, slaat de politiek correcte paniek toe? Stel dat oude blanke mannen significant vaker met teveel alcohol op achter het stuur zitten. Mag je dan daar ook niets mee doen?

Laatst had ik het met een docent AI hierover en zijn stelling was dat (mbt een voorbeeld uit de VS) donkere mensen onterecht vaker veroordeeld waren. Dus dat donkere mensen vaker veroordeeld waren door een rechter vanwege racistische motieven en daardoor ongunstig in de statistieken uitkomen. Tja.

Ik ben er voor mezelf nog niet uit hoe dit zit.

[Ivolve]

Is het niet eerder doordat bepaalde bevolkingsgroepen objectief gemeten meer crimineel gedrag vertonen dan anderen?

Nee, zoals hierboven aangegeven: Je kunt niet objectief meten of bepaalde bevolkingsgroepen vaker crimineel verdrag vertonen (Een enquete houden werkt hier namelijk niet zo goed...). Er is WEL data over hoe veel arrestaties er plaats vinden. Als agenten racistisch zijn, dan zullen ze zwarte mensen eerder arresteren voor hetzelfde vergrijp dan blanken. Gevolg is dus dat de discriminatie in je data terecht komt.

[Anoniem: 457607]

Zo simpel ligt dat niet, oorzaak en gevolg lopen door elkaar heen, wat het complex maakt. Tel daarbij op een eventueel politiek gemotiveerde interpretatie van data en het circus is compleet.

Allereerst, ja, het is inderdaad mogelijk om via een discriminerende meet methode een biased resultaat te krijgen. Als de verkeerspolitie donkere mannen 10 keer vaker controleerd dan blanke mannen en dan tot de conclusie komt dat donkere mannen vaker onverzekerd rondrijden, dan is dat geen zuivere conclusie.

Maar dat wil niet zeggen dat er geen enkele objectieve data over bevolkingsgroepen te bemachtigen is die wel zuiver is. Zo is het vrij voor de hand liggend dat bepaalde immigranten groepen vaker crimineel actief zijn. Volgens mij is dat tot in den treure reeds aangetoond.

Dat is geen discriminerende conclusie. Zeer waarschijnlijk is de oorzaak dat deze immigranten oververtegenwoordigd zijn in de lagere sociale klasse. Wat logisch is, zo gaat dat overal in de wereld met migranten. De conclusie is dus niet dat iemand meer crimineel is vanwege een tintje, de conclusie is dat een groep meer crimineel is omdat deze in vergelijking oververtegenwoordigd is in lagere sociale klassen.

Een redelijk neutrale aanpak in deze zou dus kunnen zijn om extra te controleren op lagere sociale klasses, en niet te kijken naar afkomst. Echter op dat moment kan dit weer worden ervaren als klasse discriminatie. Zo blijf je bezig.

Soms moet je gewoon het beestje bij de naam durven noemen. Zo is er in mijn omgeving een kleine plaag gaande. Bedrijfsdiefstal in de nacht. Hele inboedels, hekken, vanalles wordt meegenomen. Vele particuliere cameras tonen keer op keer aan dat dit groepjes Roemen en Bulgaren zijn. Iedereen weet ook precies waar ze vandaan komen: een bepaalde camping in de buurt.

Als je dit allemaal weet en het er zo dik bovenop ligt, moet je gewoon handhaven ongeacht algoritmes en politieke interpretaties. Met een paar dagen gerichte akties los je 90% van de inbraken in de omgeving op.

[TheDutchChief]

Er is behoorlijk wat onderzoek dat juist er op wijst dat dat verband tussen criminaliteit en afkomst er niet is. Bijv. het onderzoek dat een wijk in Rotterdam meer criminelen huisvest. Dat was in de jaren 60 al zo toen dit nog een witte wijk was, inmiddels is die wijk verkleurt. Het gegeven of iemand in die wijk geboren is is van grotere voorspellende waarde dan afkomst. Om op afkomst te opereren is dan problematisch voor mensen met dezelfde afkomst uit andere wijken of zelfs gemeenten.

Ook omgekeerd naar de statistiek kijken kunnen de meesten niet. Als bepaalde bevolkingsgroepen dubbel zoveel in de statistiek voorkomen, bijv. twee keer zo vaak, betekent dat bijv. het verschil tussen 1 of 2 procent. Omgekeerd betekent dat dat 98 of 99 procent niet in de statistiek voorkomt. Gericht op die 2 procent acteren levert dus onnodige aandacht op voor de groep 98 procent op een verschil van 1 procent. In de meerjarige cijfers over criminaliteit blijkt dat ook autochtonen ongeveer 1,6%, Marokkaanse afkomst 3,6%, Turken Antillianen er ertussen in.

[Anoniem: 457607]

Volgens mij zeg ik precies hetzelfde: sociale klasse is bepalender dan afkomst.

[Ivolve]

Ja aanvullend daaraan is het probleem dat mensen uit deze groepen ook vaak crimineel gedrag vertonen omdat zij zich geen onderdeel voelen van de maatschappij. Als je ze sterker gaat controleren geef je ze alleen maar meer het gevoel gediscrimineerd te worden. Gevolg is dus dat je ze onbedoeld alleen maar verder buiten de maatschappij plaatst en daarmee dus je eigen self-fulfilling prophecy creëert.

[WhatsappHack]

Maar als je ze niet extra controleert kunnen ze het gevoel krijgen dat ze toch niet gepakt worden en gaat ‘t van kwaad naar erger. End of the day is extra controleren gewoon beter. Ook voor de onschuldigen, dat is even vervelend, maar als die dieven er tussenuit geplukt zijn zal er sneller een positief beeld ontstaan over hen die helemaal niets ernstig fout doen. win-win.

[JAHRASTAFARI]

OK, maar dan is dus je aanname dat het altijd aan racistische agenten ligt en niet aan (de individuen binnen) de bevolkingsgroep zelf? Bijzonder.

[Reactie gewijzigd door JAHRASTAFARI op 23 juli 2024 10:47]

[dabronsg]

Nee.

Wat opviel laatst op tv in de programma's die gingen over de regelrechte fouten die de Belastingdienst heeft gemaakt ten aanzien van fraude met toeslagen is dat er heel veel mensen met buitenlandse roots ten onrechte als fraudeur aangemerkt werden.

Voer deze data aan AI en de aandacht zal vanzelf uitgaan naar mensen met een niet Nederlandse achtergrond.

Het zou mij niet verbazen dat de Belastingdienst de fraudebeschuldigingen gebaseerd heeft op Syri.

[Reactie gewijzigd door dabronsg op 23 juli 2024 10:47]

[CivLord]

Deze affaire begon voordat Syri bestond.

Het heeft kunnen ontstaan door politieke druk.
In het begin van de toeslagen verliep alles niet zo soepel. Toeslagen werden ingevoerd voordat er een goed computersysteem was om alles in te voeren en te controleren. De politiek vond dat het project bij voorbaat geslaagd moest zijn en bepaalde dat elke aanvraag uitgekeerd moest worden. Controle zou achteraf plaats vinden en teveel uitbetaalde toeslagen zouden teruggevorderd moeten worden. Iedereen onder de bovenste managementlagen schreeuwde moord en brand, omdat dat vragen was om moeilijkheden, maar er werd niet geluisterd.
Gevolg was de Bulgaren fraude. Een paar handige jongens hadden op naam van een groep Bulgaren allerlei toeslagen aangevraagd en toen uit de controle achteraf bleek dat dat onterecht was waren die handige jongens verdwenen en zaten die Bulgaren zonder geld weer in Bulgarije. Miljoenen aan toeslagen konden niet meer teruggevorderd worden.
De politiek in rep en roer. Dat was natuurlijk niet de bedoeling, er moest beter gecontroleerd worden. Het vóórdeel van de twijfel werd het nádeel van de twijfel. Toen bij een organisatie een paar gevallen van fraude werden ontdekt gingen alle alarmbellen af en werd aan de noodrem getrokken. Niet weer zo'n Bulgaren-fraude toestand, dus extra maatregelen om te zorgen dat er geen buitenlanders met een onterecht ontvangen toeslag naar het buitenland kunnen vluchten. Opnieuw schreeuwde iedereen onder de bovenste managementlagen moord en brand, omdat dat dat veel te kort door de bocht was, maar er werd weer niet geluisterd.
Gevolg is de huidige CAF-11 affaire.

[IThom]

Als je statistisch kunt aangeven dat blanke mannen van ouder dan 60 vaker met drank op achter het stuur zitten, dan betekend dat nog niet dat dat relevante informatie voor AI is, maar het wordt wel verwerkt.

Op die manier kan AI dingen leren uit ingevoerde data, terwijl dat niet relevant hoeft te zijn, en voor zover ik weet kan AI zelf nog niet kijken of de geleerde factoren wel relevant zijn.

[Ubartu]

Op die manier kan AI dingen leren uit ingevoerde data, terwijl dat niet relevant hoeft te zijn, en voor zover ik weet kan AI zelf nog niet kijken of de geleerde factoren wel relevant zijn.

Is dat niet juist hoe je middels machine learning een kunstmatige intelligentie traint? Je voert het een massa data en deze trekt zelf conclusies over welke data relevant is om tot een uitkomst te komen.

[bbob]

Probleem is de conclusies en wat doe je er mee.

Als blijkt dat groep x met achtergrond y met geslacht man in de leeftijd van zeg 18-24 vaker bepaald gedrag vertoont dan is dat een gegeven.

Je kan dan als er voldoende data is over een langere periode stellen dat die groep een verhoogde kans heeft op bepaald gedrag. Echter waar het om gaat is dat het over een individu in die groep niets hoeft te zeggen als daar geen data over is maar deze wal tot de selectie hoort. Het kan goed zijn dat dit individu helemaal niet dat gedrag vertoont maar wel wordt aangemerkt als verdacht alleen omdat hij binnen die groep valt.

Zet je daar andere selectiecriteria bij dan ga je dus heel snel over op het plaatsen van een stempel omdat een bovengemiddeld aantal uit die groep bepaald gedrag vertoont.

Het betekend uiteindelijk dat je mensen met data nog meer in een hokje gaat stoppen terwijl ze daar misschien helemaal niet thuis horen.

Het probleem is dus het trekken van conclusies en dat is voor de mensen als moeilijk, laat staan dat een ai systeem dat zelfstandig gaat beslissen. Het kan best zo zijn dat ook een systeem tot bepaalde conclusies komt die dan weer discriminerend zijn puur omdat een bovengemiddeld aantal in een groep iets doet.

[WhatsappHack]

Anderzijds, als je dan hebt opgeruimd wordt het ook voor de onschuldigen weer normaal. Kijk naar het gedoe met bepaald straattuig. Het was een duidelijk gegeven dat hier een groep voornamelijk jongeren met een bepaalde afkomst erg vaak voor verantwoordelijk was. Dan ga je die groep vaker controleren om de pakkans te verhogen. Ja, onschuldigen die ook tot die groep behoren worden dan wat vaker voor niets gecontroleerd - maar als je het tuig er tussenuit hebt gehaald (al gaat dat lastig met de soms wat bizar lage straffen), dan hebben die er geen last meer van én raken dan een algemeen negatief beeld over die groep kwijt. Dat lijkt me wel fijn, dus een win-win. En ja dan wordt je af en toe gecontroleerd, big deal.

Profileren op basis van statistische feiten heb ik me altijd over verbaasd dat er moeilijk over gedaan wordt. Als blijkt dat men op de blablastraat in blablaveen consistent veel te hard scheurt, dan gaan ze er ook controleren. Als blijkt dat groep A met hele dure auto’s in grensgebieden vaak drugs vervoeren: dam controleer je die wat vaker, hoe vervelend het ook is voor de onschuldige eigenaren: het vergroot de pakkans, tot ze op andere auto’s overgaan. Maar als ‘t om een bepaalde groep mensen gaat, dan is ‘t opeens een probleem terwijl iedereen er uiteindelijk baat bij heeft dat de rotte appels binnen die groep in de cel belanden.

[Reactie gewijzigd door WhatsappHack op 23 juli 2024 10:47]

[bbob]

Het verhaal klinkt leuk alleen de praktijk is helaas anders. Het gaat en dat lees je dan vooral om de manier waarop je gecontroleerd word.
Als je tot een groep hoort betekend dat dus vaak dat diegene die jou controleert er al op basis van data van uitgaat dat je schuldig ben, iets te verbergen hebt en zo wordt je dan ook benaderd.
Als dat keer op keer gebeurt kan ik me voorstellen dat je daar niet blij van gaat worden.
Ik doel nu niet specifiek op straattuig maar er zijn ook andere voorbeelden waar overheden, gemeentes hetzelfde doen.
Big Deal komt niet bij iedereen zo over. sommig straattuig zal het niet uitmaken maar niet iedereen is blij, neem dit voorbeeld: https://www.autoblog.nl/n...schap-voor-politie-121686

In het geval van dat voorbeeld 186 keer aangehouden in 1.5 jaar tijd. no big deal ?

[RoamingZombie]

Alleen als de data een bias heeft dan komt deze bias ook in het algoritme / AI terecht. Als consequentie kan hier uitkomen dat zo'n AI dan concludeert, zwart is slecht en wit is goed want de data ondersteunt dit. Echter hypothetisch, als wit in de zelfde omstandigheden had gezeten als zwart, zou in die bevolkingsgroep ook meer criminaliteit plaats vinden.

Je creeert dus op die manier een bevooroordeeld systeem wat we niet moeten willen.

[dabronsg]

helemaal gelijk, maar sterker nog; je houdt de verschillen in stand en maakt ze waarschijnlijk zelfs groter want de AI focust ook op zwart waardoor er meer biased data beschikbaar komt.

[CivLord]

Is dat niet juist hoe je middels machine learning een kunstmatige intelligentie traint? Je voert het een massa data en deze trekt zelf conclusies over welke data relevant is om tot een uitkomst te komen.

Maar dan moet wel de dataset unbiased zijn.

Stel je houdt bij de oprit van een Opel garage een verkeerscontrole Dan zou uit de verzamelde data zomaar kunnen blijken dat bijna alle auto's waarvan blijkt dat de verlichting stuk is een Opel is. Wanneer je deze data gebruikt om een AI te trainen, kan die zomaar concluderen dat wanneer je wilt controleren op veiligheid, je vooral Opels moet controleren.

[Andros]

Ligt eraan wat je zoekt. Als de politie een alcoholcontrole houdt op een woensdagmorgen in een woonwijk zal het aantal delinquenten laag liggen. Gaat diezelfde politie op zaterdagavond laat voor de uitrit van een discotheek staan dan hebben ze meer kans. Tip voor de politie, ga daar eens staan zodat mensen niet rond de controles rijden

[WhatsappHack]

Doen ze ook hoor Heb al een paar keer gezien na feesten dat ze nog op de parkeerplaats stonden te controleren. Prima! In Zoetermeer mocht je zelfs als je auto moest rijden preventief vrijwillig blazen om gezeik te voorkomen. Kreeg je een rijverbod, maar geen boete. Daar was ik het niet helemaal mee eens want als ze anders wel waren gaan rijden was een boete volkomen terecht, maar afijn - afschrikken kan ook werken en zo kweek je goodwill.

Was een erg gemoedelijke sfeer ook. Heel relaxt. Ik hoefde niet te rijden, hadden een bus afgehuurd, maar wilde wel weten wat ‘t was na zo’n avondje feest en ik mocht best ff blazen van ze. Nou die F wil je dus niet zien als je wél zou moeten rijden.

[Reactie gewijzigd door WhatsappHack op 23 juli 2024 10:47]

[Brousant]

Nee, zoals hierboven aangegeven: Je kunt niet objectief meten of bepaalde bevolkingsgroepen vaker crimineel verdrag vertonen

Hoezo kan dat niet?

Je had in je eerdere post aangegeven dat historische data over hoe vaak bepaalde bevolkingsgroepen frauderen niet beschikbaar is. Daaruit is hoogstens op te maken dat een objectieve meting tot nu toe nooit is gedaan, niet dat zo'n objectieve meting onmogelijk is.

[CivLord]

Je kunt niet random 1000 huizen langs gaan, kijken tot wat voor bevolkingsgroep de inwoners behoren en kijken of er gefraudeerd wordt.

Je kunt bij de geconstateerde fraudegevallen kijken door welke bevolkingsgroepen deze fraude gepleegd is. maar je hebt nooit alle fraudegevallen te pakken. Je ziet alleen de fraude die je ontdekt hebt. Wanneer je je bij het opsporen van fraude al focust op bepaalde bevolkingsgroepen, kan het niet anders dan dat je bij die bevolkingsgroepen ook de meeste fraude aan zult treffen.

[Blokker_1999]

En wat is de oorzaak dat sommige groepen meer crimineel gedrag vertonen? Denk je dat dat puur door hun afkomst is? Of zouden er mogelijks andere oorzaken zijn?

[TheGiantPotato]

Dat is natuurlijk weer een heel andere vraag, maar voordat je naar oorzaken en oplossingen kan kijken moet je eerst accepteren dat het verschil er vaak wel is. Dit zegt niet altijd wat over de groep zelf, alleen dat het probleem er is. Het probleem met de samenleving tegenwoordig is dat vaak statistieken al als "discriminerend" weggezet worden, terwijl die statistieken juist kunnen helpen met kijken bij welke groepen er nog problemen zijn, waardoor het zoeken naar een oplossing voor die problemen een stuk makkelijker is.

[dabronsg]

Als je als overheid een individu ergens van gaat beschuldigen moet je kunnen aantonen dat het individu iets verkeerd heeft gedaan. Ik zie het OM niet zo snel bij de rechter betogen dat Britten nu eenmaal veel drinken en dat Charles daarom wel schuldig zou zijn. Hij was immers in de buurt.

[TheGiantPotato]

Echt actie ondernemen moet natuurlijk nooit gebeuren als het niet zeker is of iemand wel schuldig is, maar het gaat meer om het zien van een probleem in een bepaalde groep (waar een algoritme misschien juist net goed kan zijn, omdat dat zo objectief mogelijk risicofactoren aan bepaalde groepen legt, en als je die kan bekijken kan je misschien ook wel zien waarom dat algoritme dat heeft gedaan), en dan nog niet eens alleen in het onderwerp van gezichtsherkenning, maar criminaliteit in het algemeen.

[dabronsg]

Het vervelende is dat het heel lastig is om data zo compleet te maken dat er juiste conclusies aan verbonden kunnen worden. Ga je bijvoorbeeld kijken naar alleen criminaliteitscijfers afgezet tegen etnische herkomst dan kan je "goede" conclusies trekken op basis van verkeerde of incomplete data/informatie. Daarmee zijn de conclusies dus niet relevant in de echte wereld.

Ik heb bij een dataclub gewerkt en dit gebeurd te vaak.

[Rabelais]

Het probleem met de samenleving tegenwoordig is dat vaak statistieken al als "discriminerend" weggezet worden,

Een van de problemen is dat de politieke tendensen van de afgelopen decennia zich richten op mensen met een migratieachtergrond. Wanneer je oppervlakkig naar de beschikbare cijfers kijkt, dan zijn migranten inderdaad oververtegenwoordigd in de statistieken. Helaas kijken veel politici (met name aan de rechterzijde) niet verder dan hun neus lang is. Kijk je namelijk naar de sociaal-economische omstandigheden waaronder mensen leven/opgroeien, dan is er eigenlijk geen significant verschil tussen de diverse culturele achtergronden.

[TheGiantPotato]

Dat is exact wat ik bedoel. Zodra je ziet dat sommige groepen oververtegenwoordigd zijn, kan je gaan kijken wat dat veroorzaakt. Op deze manier kan je de problemen die de oververtegenwoordiging veroorzaken makkelijker oplossen, maar dan moet je dus wel eerst accepteren dat het probleem bestaat. Ik zeg niet of er op dit moment een kant is die dat goed doet, alleen hoe je bij de juiste groepen kan zoeken naar oorzaken en oplossingen voor problemen.

[TheDutchChief]

Maar je moet dan kijken naar wat een groep definieert. Soms lijkt er overlap te zijn waarbij een gemeenschappelijk kenmerk van individuen een indicatie lijkt te zijn maar dat eigenlijk niet is omdat de echte indicatie moeilijker te ontdekken valt. Als in een bepaalde wijk meer criminaliteit voorkomt en daar meer mensen van allochtone origine leven kun je daar snel verkeerde conclusies uit trekken. Wat is de oorzaak? Afkomst? Sociale status? Cultuur in de wijk? Opleidingsniveau? Het gaat mis als je er één kiest en die bijv. algemeen gaat toepassen ook op personen buiten die wijk. Het best iedereen maar als individu benaderen denk ik zo.

[JAHRASTAFARI]

Maar gaat het hier om de oorzaken?

Stel dat vrachtwagen uit Bulgarije die hier de grens over komen significant vaker mensen smokkelen. Wat doe je dan bij een controle?

[Eymir]

Ik denk dat het boek Weapons of Math Destruction van Cathy o'Neil interessant is om te lezen voor jou.
Volgens mij kaart je docent het probleem wat wordt beschreven in dit boek ook aan.
Het is een paar jaar geleden dat ik dit boek heb gelezen dus ik durf het niet met zekerheid te zeggen.
Maar op Bol.com is dit boek een tientje, en zeker dat geld waard om te lezen .

[Ivolve]

Goede toevoeging. Sterker nog, vaak is het zo dat algoritmes gebaseerd worden op big data. Historische data over hoe vaak bepaalde bevolkingsgroepen frauderen is niet beschikbaar. The next best thing is historische data over hoe vaak bevolkingsgroepen worden gepakt voor uitkeringsfraude.

Als er dus in het verleden (discriminerende) ambtenaren de opsporing hebben gefocussed op bevolkingsgroepen dan komt deze discriminatie in de data terecht. Het algorimte pikt dit op en zet daar vervolgens een hefboomwerking op.

[CivLord]

Je vergeet dat er een verschil is tussen verdachte en dader.
Wanneer personen met een Marokkaanse achtergrond zes keer vaker verdacht is dan iemand met een Nederlandse achtergrond, betekent dat ook dat het aantal Marokkaanse daders ook zes keer zo hoog is als het aantal Nederlandse daders? Het kan net zo goed beteken dan voor misdrijven door Marokkanen zes keer zoveel verdachten in beeld zijn, waaruit uiteindelijk één dader naar voren komt, dan bij misdrijven door Nederlanders.

De waarheid zal waarschijnlijk ergens in het midden liggen. Wat ik wil zeggen is dat je heel goed moet kijken naar wat er exact gezegd wordt.

Wat ook van belang is, zoals @Fledder2000 hierboven al geschreven heeft, is dat personen met een migratieachtergrond oververtegenwoordigd zijn in de lagere sociale klassen en personen met een Nederlandse oververtegenwoordigd zijn in hogere sociale klassen. Criminaliteit komt vaker voor in lagere sociale klassen, dus is het alleen daardoor al logisch dat personen met een migratieachtergrond oververtegenwoordigd zijn in de criminaliteitsstatistieken.

[Merik]

Het zou wel goed zijn als er regels komen voor b.v. algoritmes, het is een nieuwe technologie die steeds breder toegepast wordt, b.v. een instantie die dit bewaakt. Er zijn voorbeelden van algoritmes die discrimineren, recent bij Apple Card waarbij er sprake lijkt van sexisme, hierover loopt al een onderzoek.

https://arstechnica.com/t...iral-complaint-of-sexism/

[Ivolve]

Eens, het is inderdaad goed om hier de discussie over te openen. Er zijn inderdaad voldoende voorbeelden van algoritmes die discrimineren. Echter die algoritmes die doen dat niet uit zichzelf. Dat komt omdat ze of geschreven zijn door een persoon die discrimineert of gebaseerd zijn op data die discrimineert.

Alleen volgens mij is het te makkelijk om dan maar geen algoritmes te gebruiken en verwachtten dat er niet meer gediscrimineerd wordt. Volgens mij dan juist alleen is het niet inzichtelijk waarom mensen bepaalde keuzen maken. Daarnaast lijkt het me ook niet verstandig om dat de innovatie maar helemaal stop te zetten totdat we ontdekt hebben hoe we met de algoritmes om moeten gaan.

[WillySis]

Een groot deel van de algoritmes vormen helemaal geen probleem.
Allereerst zou men een onderscheid moeten maken in de algoritmes die werken op een bepaalde hoeveelheid privacy gevoelige data wordt gebruikt en de mogelijke persoonlijke gevolgen. Alle overige algoritmes zouden buiten de discussie gehouden kunnen blijven.

De term discriminatie is in de statistiek nu juist het doel van de algoritmes, maar het is nadrukkelijk niet de bedoeling dat algoritmes gaan discrimineren op bevolkings- of inkomens groepen. De kwaliteit van algoritmes, zeker als er een aantal zelf lerende (AI) elementen in zitten, is sterk afhankelijk van de data die aan het algoritmes worden gevoerd. AI gebruiken om fraude op te sporen en daar alleen wijken waar een groot aantal fraudeurs worden verwacht (herkenbaar aan een groot aantal uitkeringen en lage inkomens) gaat bijvoorbeeld niet werken.

De discussie moet dus niet alleen over de algoritmes zelf, maar ook hoe het onderhouden gaat worden door middel van diverse input en hoe het algoritme van tijd tot tijd gevalideerd wordt.

[Ivolve]

Goede samenvatting!

[sjoerdvdvis]

Algoritmes zijn geen nieuwe technologie. Of wou je zeggen dat receptenboeken met kook-recepten ook nieuwe technologie zijn? De manier waarin algoritmiek wordt toegepast is wel degelijk aan het veranderen, maar ik word persoonlijk heel moe van de 'algoritme is slecht' hype die er momenteel gaande is. https://nl.wikipedia.org/wiki/Algoritme

[Merik]

Misschien wat onhandig geformuleerd, Ik bedoelde inderdaad de manier waarop algoritmes zoals in dit geval ingezet worden.

Als er steeds meer algoritmes als deze worden ingezet, is het wel goed om te zorgen dat deze werken zoals gewenst en er geen onbedoelde bijeffecten zijn. Er zijn gevallen waarbij dit niet zo is, bovengenoemd voorbeeld maar ook bij hypotheekaanvragen waar gediscrimineerd wordt op huidskleur (in de VS, kan de link niet meteen vinden). In principe vind ik de inzet van deze algoritmes ook een goede ontwikkeling (b.v. in Estland wordt dit succesvol toegepast), maar dan wel als de kwaliteit hiervan gewaarborgd kan worden. Vooral vanwege de schaal waarop het ingezet wordt/gaat worden en de reële mogelijkheid dat algoritmes vanwege hun complexiteit eindigen als een zwarte doos, waarvan de werking niet bekend is.

[koelpasta]

Kun je niet beter ergens maar beginnen en dan kijken waar je bij moet sturen?

Eeh, nee. Dan gaat het geheid een kant op die de maatschapij niet wil. Er zijn de laatste twee decenia veel voorbeelden te vinden van technologieen die dingen doen die mensen niet willen.

[Ivolve]

Het is ook niet zo dat we ineens compleet afhankelijk zijn van het algoritme en dat zijn wil wet is. Het algoritme spoort bijvoorbeeld verdachte personen op en markeert deze. Het blijft mensenwerk om te bepalen om een verder onderzoek in te stellen.

[cdwave]

Een algoritme op basis van machine-learning of op grond van risico kenmerken zou inderdaad elke discriminatie van zijn bronnen (data en programmeurs) overnemen.

Ik zou me ook kunnen voorstellen dat een fraude algoritme kijkt naar bijvoorbeeld inkomsten en uitgaven en op grond daarvan conclusies trekt. Dat zou etnische discriminatie juist tegengaan.

Een algoritme op grond van berekeningen is ook inzichtelijk en begrijpelijk. Wie een uitkering ontvangt en jaarlijks een ton uitgeeft is verdacht. Wie kinderbijslag voor vier kinderen ontvangt, maar nog nooit een kind in een school heeft ingeschreven is ook wel enigszins verdacht.

Een model op grond van "big data" zou de conclusie kunnen trekken dat een 35-jarige man met een groene auto die een huis huurt in een straat met lindebomen en een dochter heeft die op paardrijles zit met een waarschijnlijkheid van 94,7 procent een fraudeur is.

[CivLord]

Een algoritme die is gevoed met zuivere data, zonder bias, kan inderdaad met resultaten komen die intuïtief onverklaarbaar lijken.

[svenslootweg]

Kun je niet beter ergens maar beginnen en dan kijken waar je bij moet sturen?

Nee, dat kun je beter niet. Het moet eens afgelopen zijn met dat gezever over "innovatie" ten koste van alles. We hebben het hier over systemen die geen simulaties zijn, maar consequenties hebben voor echte mensen - en dan vooral de mensen aan de onderkant van de maatschappij qua socioeconomische status.

Bij dit soort ingrijpende systemen moet je gewoon vooraf je zaakjes op orde hebben, een zorgvuldige belangenafweging gemaakt hebben, en onder toeziend oog van een waakhond met tanden pilots draaien en op basis daarvan bepalen of de realiteit inderdaad matcht met de verwachtingen.

Op het moment dat je een database met 1,3 miljoen mensen erin hebt, en er dan pas vragen gesteld (mogen) gaan worden over de implicaties van een dergelijk systeem, dan zit je als overheid/organisatie gewoon fout. Dan heb je duidelijk niet zorgvuldig gehandeld, en maar gewoon wat gedaan.

[lordawesome]

Tja, wat is discriminatie. Volgens CBS is 2/3* van de gevangenen allochtoon. En Nederland bestaat voor 25%** uit allochtonen. Dat wil zeggen dat allochtonen 6x vaker in de gevangenis belanden dan autochtonen. Een algoritme zou dan bij steekcontroles een allochtoon er 6x vaker uit moeten halen. Is dat dan discriminatie?

* https://opendata.cbs.nl/s...2321NED/table?fromstatweb
** https://opendata.cbs.nl/s...t/37296ned/table?dl=107C4

[CivLord]

Ik weet niet waar je hebt leren rekenen, maar volgens jouw cijfers is de kans dat een allochtoon tot een gevangenisstraf veroordeeld wordt iets meer dan 2,5 maal zo groot. Nog steeds groter dan je zou verwachten, maar niet zo groot als dat jij zegt.
Allochtonen zijn ook oververtegenwoordigd in lagere klassen, waar criminaliteit vaker voorkomt onder alle bevolkingsgroepen.

[lordawesome]

Nee, het is ongeveer 6x zo groot. Ik zal het even met echte cijfers bereken. Er zitten nu 35.000 mensen in de gevangenis van de 17.000.000 mensen waarvan 13.200.000 autochtoon is en 3.900.000 allochtoon. Van die 35.000 gevangen is 66% allochtoon en 33% autochtoon. Dat geeft de volgende cijfers:

3.900.000 allochtonen waarvan 23.331 gevangen = 0,6%
13.200.000 autochtonen waarvan 11.665 gevangen = 0,09%

0,6% is 6,7x zo hoog als 0,09%. Of, iets anders gezegd, 1 op de 167 allochtonen zit in de gevangenis en 1 op 1131 autochtonen moet brommen.

[Reactie gewijzigd door lordawesome op 23 juli 2024 10:47]

[Jefrey Lijffijt]

Het is in ieder geval discriminatie als je alleen nog maar de high-risk groepen gaat onderzoeken 'zodat je het budget efficient gebruikt'. Vervolgens raken de statistieken wat betreft daders nog schever en daardoor wordt het een self-fulfilling prophecy dat de betreffende groepen high-risk zijn.

Dit klinkt belachelijk maar is een zeer realistisch scenario wanneer je een AI bouwt met een verkeerde optimalisatiefunctie.

Het is dus zeker noodzakelijk om vooraf goed na te denken en ook op te volgen (je kunt het verkeerd hebben bedacht) wanneer je dergelijke systemen gaat gebruiken.

[AceAceAce]

Wat een politieke onzin, hier is toch allang over gedebatteerd en zijn er wetten goedgekeurd voordat gezichtsherkenning ingezet ging worden?

Klinkt als verkiezingstijd dit

[Relief2009]

Het zal je verbazen dat dit soort zaken helemaal niet uitgedacht en gedebatteerd was. Technologie gaat vaak 100x zo snel als de politiek.

[WeeDzi]

en vaak ook nog voorgezeten door ministers die echt 0,0 verstand hebben van het onderwerp en dus beslissingen maken op het hun voorgeschotelde uittreksels van verslagen... kijk naar een Ivo Opstelten

[Anoniem: 181786]

Nav de implementatie in China zal men het wel willen heroverwegen. En dat lijkt me een heel goed plan van D66 en CDA. Ongeacht wat er in het verleden al over gedebatteerd is.

[ajolla]

Ja. Dit gaat allemaal veel te snel.
Natuurlijk willen ze hier ook naartoe, maar wat langzamer en zonder ophef.

[altijdcynisch]

Voordat we kenteken herkenning op openbare weg gebruiken, moeten we eerst duidelijke kaders opstellen.
Voordat we medische dossiers digitaliseren en inzichtelijk maken voor meerdere partijen, moeten we eerst duidelijke kaders opstellen.
Voordat we banktransactie gegevens gebruiken voor commercieel gebruik, moeten we eerst duidelijke kaders opstellen.
Voordat we vingerafdrukken op ID bewijzen verplichten, moeten we duidelijke kaders opstellen.
Voordat we DNA profilering gebruiken, moeten we eerst duidelijke kaders opstellen.
Voordat we gezichtsherkenning gebruiken, moeten we eerst duidelijke kaders opstellen.
Voordat we chip implantaten gebruiken, moeten we eerst duidelijke kaders opstellen.

Gelukkig hebben we kaders

[Peekster]

I hear you.

Ik vind het ook een beetje voor de buhne dit statement van deze partijen. Alles waar met "discussie over wil voeren" of "kaders voor moet opstellen" is uiteindelijk doorgevoerd waarbij overtredingen eerder regel dan uitzondering zijn. Met als laatste voorbeeld de sleepwet. Waarbij het controlemechanisme pas achteraf werd opgezet. Met daarbij ontbrekende mandaten en kennis van zaken. Wederom een stapje dichter naar die politiestaat.
In China doen ze het gewoon. Daar zijn ze tenminste eerlijk over de hoeveelheid "democratie" in de maatschappij.

[corset]

Slippery slope argumenten werken niet altijd

[SpAsMic]

Leuk dat D66 iets wil. Jammer dat het D66 is, want die nemen zonder enige moeite afstand van hun standpunten, achterban en ziel.

Dan komen we uit bij CDA waarvoor eigenlijk sinds het koolstof fiasco bij de boeren hetzelfde geldt.

Prut partijen met een prut artikel in de volkskrant. Aankomende verkiezingsretoriek. "Wij komen nu op voor jullie rechten (die we eerder in de verkoop hebben gedaan door de WIV)".

[Anoniem: 181786]

Dan komen we uit bij CDA waarvoor eigenlijk sinds het koolstof fiasco bij de boeren hetzelfde geldt.

Kan je dat toelichten?

[SpAsMic]

Hi Thorgrem,

Onder andere leesbaar in https://www.gelderlander....r=https://www.google.com/

[Anoniem: 181786]

Vrij eenzijdig. Helemaal niets doen kan niet. Het CDA is (muv een misser in Brabant waarvoor 2 gedeputeerden zijn afgetreden) opgekomen voor haar achterban en heeft het voorlopig maximale eruit gesleept.

[Anoniem: 1277072]

Lastig verhaal:

Handig om wat te doen aan de misdaad.

Lastig voor gewone burgers, want de overheid is zo met cijfertjes aan het goochelen dat je je ondertussen afvraagt hoe ver de misdaad er tussen zit - en ze dus beter niet deze macht zouden moeten krijgen.

Biomassascam (al dat hout uit Texas is schadelijker dan kolen), Schipholscam, Gasscam (Groningen), Floriadescam (weer en groter), voetbalscam (NAZIs houden van voetbal), baggerscam (overheid doet gewoon bagger in meren en rivieren storten uit o.a. Belgie - o.a. met zware metalen), stikstofgriesusscam (Rutte was aan de macht dat dit allemaal bedacht is - dus hoe kan het 't zwaarste dossier OOIT zijn uit z'n loopbaan (zijn woorden)), etc, etc, etc, etc...

Ergste van dit alles: het is allemaal waar.

Dus doe zolang ik Wim Lex niet onjuist mag bejegenen zonder potentieel gedoe maar geen gezichtsherkenning (niet bij de overheid en niet privaat, privaat ook verbieden: daar hoor ik weer niemand over, Tjerrie onze pianoligger, iets voor jou?).

[M.M]

Schitterend. Weer een kader waar de MIVD, AIVD, Politie, FIOD en de belastingdienst hun derrière aan af kunnen vegen. Stap 1 moet zijn: afdwingen dat overheidsdiensten zich aan kaders houden!

[CivLord]

Zolang politici op basis van de waan van de dag diezelfde overheidsinstanties onder druk zetten om de kaders iets opzij te drukken of te herinterpreteren en ze er later op af te rekenen dat ze niet ruimer binnen de kaders zijn gebleven, heeft dat allemaal weinig zin.
De grote bazen van MIVD, AIVD, Politie, FIOD en de belastingdienst halen het echt niet in hun hoofd om buiten hun boekje te gaan wanneer hun politieke bazen daar niet vanaf weten. Want wanneer die organisaties iets fout doen, krijgen die organisaties er van langs, maar top van die organisaties blijft meestal buiten schot. Terwijl het politiek juist zo'n logisch gebaar zou zijn om die top weg te sturen, want dat is de makkelijkste manier om aan de bevolking duidelijk te maken dat er iets aan gedaan wordt.

[Indoubt]

(d5stick: even geplussed door mij. Ik weet niet waarom je werd geminned want je post is we degelijk on topic)

De discussie is al eerder gevoerd in de kamer. Of dat zorgvuldig genoeg en compleet genoeg is geweest is een ander verhaal.

Of het nu voor de buhne is of "echt" is tegenwoordig moeilijk vooraf te zeggen. Ik vindt het wel goed dat er opnieuw over wordt gedebatteerd. Je moet soms ook bepaalde maatregelen tegen het licht willen houden om te kijken wat er in de praktijk gebeurd en wat de impact is.

Onder het mom van criminaliteitsbestrijding lijkt er tegenwoordig van alles te kunnen en nog verder te worden opgerekt.

Ik vindt criminaliteitsbestrijding belangrijk maar vindt tevens dat privacy van burgers zo goed mogelijk moet worden bewaard (en bewaakt) Paal en perk stellen aan bepaalde opsporingsmethoden lijkt me dan ook evident.

[pejoar]

Nederland heeft t.o.v. van vele andere Europese landen en zeer laag oplossingspercentage als het om diefstal en geweldsdelicten gaat.
De overheid zou dus kunnen besluiten om meer camera's in te zetten maar daar willen veel politieke partijen (Ook D66 en CDA) niet aan beginnen,vanwege privacy.
De burgers echter,met name in veel volkswijken,willen meer bescherming.
Waarom zou de overheid niet dienstbaar aan het volk willen zijn door wat te doen aan die criminele en gewelddadige zaken die zich voordoen.
Zet de tools in die het minste kosten en zorg voor meer veiligheid.We hebben al te weinig politie dus waarom hier nu tegen zijn?

[bvdbos]

Omdat https://www.nrc.nl/nieuws...en-u-in-de-gaten-a3963755

[CivLord]

De vraag is of meer cameratoezich het probleem ook echt oplost.

Er zijn al plaatsen in Nederland waar cameratoezicht is. Is het daar zo veel veiliger als vergelijkbare plaatsen zonder cameratoezicht?

[Anoniem: 933945]

Ik zou haast gaan denken dat D66 en CDA het beste met ons voorhebben.
Haast.
Het gaat deze clubs er niet om alles in zo mensvriendlijk mogelijke banen te leiden.
Het gaat ze om MACHT. Al hun openbare beweringen hebben als doel zoveel mogelijk mensen achter zich te krijgen, dus zeggen ze voornamelijk dingen die potentiële kiezers willen horen. Democratie is een populariteitswedstrijd, en als je die hebt gewonnen dán kan je doen waar je zin in hebt.

Begrijp me goed ik weet ook geen zinnig alternatief hoor, maar ik denk dat blind vertrouwen in politieke partijen misplaatst is.