VN-commissaris roept op tot stopzetting van biometrische herkenning via AI

De commissaris voor mensenrechten bij de VN pleit voor een stopzetting op het gebruik van biometrische herkenning in de publieke ruimte. Overheden zouden eerst moeten kunnen aantonen of er voldaan wordt aan de privacywetgeving en of er niet gediscrimineerd kan worden.

Michelle Bachelet doet deze uitspraak in een rapport van de Verenigde Naties waarin de effecten van artificiële intelligentie op mensenrechten wordt besproken. Daarin stelt de VN dat ontransparante dataverzameling een wijdverspreid fenomeen is en dat artificiële intelligentie ondertussen in alle aspecten van de samenleving terug te vinden is.

"AI wordt ingezet om patronen te onderzoeken in het menselijke gedrag. Als men toegang heeft tot de juiste datasets is het bijvoorbeeld mogelijk om na te gaan hoeveel mensen een bepaalde gebedsplaats bezoeken, welke televisieprogramma’s ze verkiezen of hoe hun dag- en nachtritme eruitziet. Ook hun politieke voorkeur kan worden afgeleid", stellen de auteurs van het rapport. "AI kan een enorme invloed uitoefenen op het leven van individuen en wordt gebruikt om toekomstig gedrag of gebeurtenissen te voorspellen." Heel wat van deze voorspellingen schenden volgens de VN het recht op privacy.

Het recht op privacy komt volgens de VN ook steeds meer in het gedrang door het gebruik van biometrische herkenning van individuen in de publieke ruimte. "Biometrische herkenning zorgt ervoor dat overheden individuen kunnen identificeren en traceren in de publieke ruimte. Daarmee wordt de mogelijkheid ondermijnd om niet geobserveerd door het leven te gaan", klinkt het.

De VN laakt in het rapport ook de fouten die artificiële intelligentie bevat en het gebrek aan transparantie over de technologie. "Ondanks de ogenschijnlijke kleine foutenmarge kunnen er, door de schaal waarop AI wordt ingezet, heel wat negatieve gevolgen ontstaan. De complexiteit van de technologie en de geheimzinnige houding van overheden en private bedrijven zorgen er bovendien voor dat burgers niet begrijpen welke effecten artificiële intelligentie heeft op de mensenrechten en de maatschappij in het geheel", klinkt het.

Toch kan de technologie volgens de commissaris voor heel wat goeds zorgen, maar daarvoor moet er op systematische wijze nagegaan worden welke effecten artificiële intelligentie heeft op de mensenrechten en of die door de technologie al dan niet in het gedrang komen.

Update, 23u20: het begrip ‘moratorium’ werd vervangen door ‘stopzetting’ in titel en inleiding.

Reacties (73)

[rob12424]

Was de datasets waar de toeslagen affaire deels door veroorzaakt werd ook niet zo iets en de discriminatie die hieruit voortvloeide?

[Wouter0805]

Tja, waar dan precies dat 'discriminerende' zit is nog niet zo makkelijk te zeggen.

Je dataset zelf kan een bepaalde bias hebben en daarmee 'discriminerend' zijn. Dit zijn vaak datasets die opgebouwd zijn uit deels subjectieve metingen. Bekend voorbeeld hiervan is een AI die sollicitanten beoordeeld op geschiktheid om bij een bepaald bedrijf te komen werken. De gebruikte dataset zijn dan gegevens van sollicitanten uit het verleden die nog door een menselijke manager aangenomen of afgewezen zijn. De vooroordelen van deze manager komen dan rechtstreeks in de dataset terecht en daarmee ook in de uitkomsten van je AI.

Daar tegenover kan de dataset wel geheel objectief zijn (voor zover mogelijk), maar kan de AI een 'discriminerende' werking hebben door de keuze van wat er allemaal onderdeel is van de dataset. Stel even dat fraudeurs uit het verleden geheel objectief en volledig terecht bepaald zijn, en deze data is samen met nationaliteit in een dataset gezet. De dataset is dan puur objectief, namelijk fraudeur: ja/nee en nationaliteit van fraudeur/niet-fraudeur. Vervolgens krijgt de AI deze dataset binnen om mee getraind te worden en vindt een correlatie tussen fraude plegen en nationaliteit.

Daar kan een AI verder ook niet zoveel aan doen, die is gewoon op zoek naar correlaties. In dat geval is er met de dataset zelf feitelijk niet zoveel mis (de informatie die erin staat is in principe correct), behalve dat je nationaliteit gewoon niet had willen meegeven aan de AI. Dit is vergelijkbaar met de AI die een correlatie vindt tussen het aantal verkochte ijsjes en het aantal verdrinkingen, en er vervolgens incorrect vanuit gaat dat het aantal verdrinkingen verminderd kan worden door minder ijsjes te verkopen. Naast het voorkomen van bias in je dataset zelf is het dus ook van cruciaal belang om na te gaan welke data je je AI meegeeft om tot een correcte voorspelling te komen.

[A64_Luuk]

Het is een hele dunne lijn tussen discriminatie en eenvoudige patroonherkenning/profilering. Je wil ook niet 90% van je resources verkwanselen omdat je beste discriminant (in de basis een heel onschuldig en nuttig woord in de wetenschap) wat gevoelig ligt. Als iets gewoon zo is, is het zo. En de AI windt daar geen doekjes om…

Als er maatschappelijk iets moet veranderen zodat bepaalde factoren géén rol meer spelen, dan is dat iets anders dan de AI nuttige data ontnemen om een gevoelige kwestie te ontlopen. Desnoods leert de AI maar iedere maand opnieuw in zodat het geen self-fulfilling prophecy wordt, maar als op dit moment 40% van de misdrijven wordt gepleegd door een paar konijnen, en honderden hamsters het nakijken hebben, moet er meer op konijnen worden gelet.

[Reactie gewijzigd door A64_Luuk op 22 juli 2024 14:35]

[Verwijderd]

Dat is te kort door de bocht. Exclusion bias is een probleem.

Om te herkennen dat iemand fraudeert moet je ook data hebben van niet fraudeurs. Een meerderheid in de populatie zal in absolute aantallen nou eenmaal vaker in een dataset staan als zijnde "niet fraudeur". Dus in jouw voorbeeld, 90 niet frauderende hamsters and 9 niet frauderende konijnen. Het algoritme komt dan al een heel eind door hamsters als niet frauderend aan te schrijven, en all konijnen als frauderend. Dan hebt je een true negative rate van bijna 90%. Top algoritme!

Gooi er nog een portie sampling bias bovenop, we controleren konijnen immers vaker dan hamsters, en het kan zowaar zijn dat er alleen nog maar konijnen voor fraude worden opgepakt, terwijl de hamsters er mee weg komen.

[A64_Luuk]

Ik zeg niet dat er data weggelaten moet worden, juist niet. Maar wanneer 2% van de hamsters misdrijven begaat en 60% van de konijnen, kunnen je resources veel efficienter ingezet worden door criminaliteit onder de konijnen terug te dringen, omdat voor elk beestje dat je aanspreekt de kans veel groter is dat je dat niet voor niets doet.

Dan kun je zeggen dat de hamsters daarmee overal mee wegkomen, maar het probleem onder hamsters is gewoon veel kleiner, en dat is wat de AI je probeert te vertellen. Je kunt (waarschijnlijk) nooit iedereen pakken, en ook onder de konijnen gaan er beestjes met wangedrag wegkomen. Als wij onze resources zo indelen dat we uit politieke correctheid hamsters en konijnen evenveel aanspreken op hun gedrag, verspillen wij heel veel middelen aan een populatie waarvan we weten dat er vrijwel geen problemen zijn, terwijl we capaciteit tekort komen in een populatie waarvan we weten dat de problemen de pan uit rijzen.

Of, om het wat tastbaarder te maken, het heeft meer zin om straatcultuur in Amsterdam-West in de gaten te houden dan in Nootdorp.

[Reactie gewijzigd door A64_Luuk op 22 juli 2024 14:35]

[Arnoud Engelfriet]

Een maatschappij gaat niet alleen over zo efficiënt mogelijk misdaad bestrijden. Het gaat ook om een gevoel van rechtvaardigheid onder alle mensen zo groot maken. Als je zegt "we gaan alleen achter misdrijven onder konijnen aan en de hamsters laten we gaan", dan stuit dat tegen dat gevoel. Zeg maar "we pakken alle bijstandsfraudeurs maar btw-fraudeurs laten we gaan want dat zijn er minder en het is zo veel werk". Negerend dat btw-fraude 50x de omvang van bijstandsfraude is, dat is toch gewoon niet eerlijk om te zeggen?

Het grootste probleem is dat je dan gaat van "60% van de fraudeurs is konijn" naar "alle konijnen onderzoeken we extra op fraude". Waar hebben die onschuldige konijnen dat aan verdiend? Kun je het maken om te zeggen "je bent een konijn, dan mogen we je extra onderzoeken"? Het idee van onze wetgeving is dat je dat niet mag zeggen als het om een persoonskenmerk gaat zoals etnische afkomst.

En nog een stapje verder terug: de conclusie "60% van de fraudeurs is konijn" suggereert dat er iets in het konijn-zijn zit dat maakt dat ze frauderen. Er is nog nooit zo'n genetische of biologische oorzaak aangetoond. En ik wil graag een voorbeeld typen met etnische kenmerken of iets dergelijks maar merk dat ik dan alleen maar Godwins kan typen.

[Sando]

... suggereert dat er iets in het konijn-zijn zit dat maakt dat ze frauderen. Er is nog nooit zo'n genetische of biologische oorzaak aangetoond.

Je kadert je zoektocht met "genetische of biologische oorzaak" ook behoorlijk af, alsof je al aan het voorsorteren bent op de Godwin. Een AI zou dat nooit doen. Daarom is het belangrijk dat wij mensen juist niet met een emotionele insteek en goedbedoelde vooroordelen gaan filteren in een dataset.

Zo zitten in het konijn-zijn bijvoorbeeld ook culturele en economische realiteiten. Een AI zou bijvoorbeeld in het CBS kunnen zien dat konijnen vaker een elementair of lager beroep hebben. Dat de grootste correlatie daarmee een lager opleidingsniveau is. Om vervolgens uit te rekenen dat het aanbieden van gratis onderwijs de efficiëntste manier is om een fraude-budget te besteden. Ik zeg maar wat.

Een correlatie is simpelweg het eerste wat te observeren is. Overmatig gebruik van "correlatie is geen causatie (dus halen we de data weg om te voorkomen dat de AI een patroon gaat zien)" is niet per se een verbetering, want elke causatie is uiteindelijk ook een correlatie. Daarom is de discussie niet zwart-wit en is het geen eenvoudige taak om te beslissen hoe ver we willen gaan om spreekwoordelijk gezegd AI af te straffen voor onze (menselijke) fouten.

Ik denk dat AI best op de hoede mag zijn bij correlaties. Dat de AI-hulpdokter bij buikpijn bij konijnen bijvoorbeeld sneller denkt aan lactose-intolerantie, maar bij hamsters vaker aan een maagzweer. Ik zeg maar wat. Het wordt problematisch als mensen - met de uitkomsten van AI - konijnen het leven zuur gaan maken door ze bijvoorbeeld preventief geen melkproducten te verschaffen als ze daar om vragen.

[Reactie gewijzigd door Sando op 22 juli 2024 14:35]

[Alxndr]

Het grootste probleem is dat je dan gaat van "60% van de fraudeurs is konijn" naar "alle konijnen onderzoeken we extra op fraude"

Maar waar ligt de grens tussen willen deugen en efficiënt zijn? Als je ook alle hamsters gaat onderzoeken is er een nog veel groter deel dat, terecht, kan zeggen "waar heb ik dit aan verdiend"? - je tast dan nog meer onschuldigen in hun privacy aan lijkt mij.

We moeten volgens mij echt zo snel mogelijk af van het taboe op discriminatie in de wetenschappelijke zin van het woord, wetenschap is namelijk discrimineren = onderscheid maken.

Ik durfde bijvoorbeeld na het olympisch goud van Hassan al bijna niet te meer Googlen op mijn zeer oprechte vraag waarom zo vaak mensen uit de Hoorn van Afrika marathons en lange afstanden winnen. Puur omdat het onderwerp nzo gevoelig ligt.

Terug naar de konijnen en hamsters, het begint natuurlijk al met de stelling dat de ene voor 60% verantwoordelijk zijn, is dat wel zo? Of worden de hamsters niet gepakt? Omdat ze minder verdacht zijn? Of omdat papa hamster de gegevens invoert? Of gaat het om worteltjes fraude en eten hamsters geen worteltjes...

Lastig lastig, maar ik denk dat juist objectieve hulpmiddelen juist de uitkomst kunnen bieden, mits correct toegepast

[Arnoud Engelfriet]

Waar het om gaat, is dat je een rechtvaardige samenleving bent. Een oud motto uit het strafrecht is bijvoorbeeld dat je liever tien boeven laat gaan dan één onschuldige de cel in zet. Dat is verre van efficiënt, maar wel rechtvaardig.

Verder gaat het er natuurlijk om of het een kenmerk is dat werkelijk een voorspeller kán zijn. Etnische afkomst kan zeker dingen zeggen: men is gevoelig voor koemelk, het haar zal lastiger te scheren zijn, deze dame verbrandt extra snel in de zon, ga zo maar door. Maar in de context van recht hebben we het over zaken als "is waarschijnlijk een dief" of "risicofactor fraude". En er is werkelijk geen énkel onderzoek dat enig oorzakelijk verband tussen hamster (huidskleur) en dergelijke kwesties aantoont.

Vind jij het niet raar dat je een systeem bouwt dat uitspraken doet op basis van kenmerken die nooit bewezen zijn iets te voorspellen?

[Alxndr]

een systeem bouwt dat uitspraken doet op basis van kenmerken die nooit bewezen zijn

Dat is wat ik bedoel, we moeten onze menselijke (on)bewuste vooroordelen uit het systeem halen, of voorkomen dat het er überhaupt in komt, maar volgens mij is AI al zo ver dat het ons daarbij kan helpen -ons op onze blinde vlekken wijzen.

Maar nog meer wil ik voorkomen dat wij een dermate potentieel superkrachtig hulpmiddel vleugellam maken of uitsluiten puur uit angst om aan de schandpaal genageld te worden. De Woke/deug/gentrificatie cultuur is in mijn ogen door aan het schieten, tot het punt dat ik het gevoel krijg zelfs dat niet meer te mogen zeggen.

Misschien is er wel iets wat gedrag beïnvloed in genetica, kijk naar het (vermoedelijke) effect van darmflora op gedrag wat de laatste jaren een enorm Interessant onderzoeksgebied is geworden.

Net zoals niet iedereen die geen vaccin wil niet een virus wappie is, maar wel snel zo weggezet wordt.

[Reactie gewijzigd door Alxndr op 22 juli 2024 14:35]

[Cronax]

Per definitie is dit niet correct, zolang een AI nog data nodig heeft om van te leren is het altijd mogelijk, zelfs waarschijnlijk, dat daar enige bias in sluipt, omdat de data per definitie niet volledig kan zijn. Om het fraudevoorbeeld te volgen, tenzij je vantevoren al met 100% zekerheid weet wie de fraudeurs zijn kan je een AI niet met met zekerheid correct trainen. De vraag die we ons moeten stellen is denk ik vooral of deze bias groter of kleiner is dan die van de mensen die vervangen worden in de processen waar de AI voor ingezet wordt.

Als je je als mens 100% bewust bent van al je vooroordelen en aannames dan kan je waarschijnlijk best een end komen maar in de praktijk ben je je juist bijna nooit bewust van die dingen. Het menselijk brein zoekt nu eenmaal naar patronen, ook als je eigenlijk onvoldoende data hebt.

In die zin vind ik dit verhaal van de VN commisasaris nogal ingewikkeld, ik zie niet helemaal in waarom een AI inzetten slechter is dan het inzetten van mensen die vrijwel *zeker* een bias hebben.

[laptopleon]

Er zijn allerlei vooroordelen over allerlei groepen. Juist een ai heeft de potentie om niet vooringenomen naar de beschikbare gegevens te kijken.

De discussie gaat nu over uiterlijkheden maar we kunnen een ai uiteraard simpelweg verbieden lichamelijke kenmerken mee de nemen in de vergelijking.

Een rechtvaardige samenleving is het doel, maar rechtvaardigheid gaat niet alleen maar over de kans dat je gecontroleerd wordt door een ai of de politie.

In de praktijk is de kans dat je ooit gecontroleerd wordt door de politie nihil, op een paar wijken na, waar het al te ver uit de hand is gelopen.

Dat komt ook doordat er zo weinig politie is, dat een gestolen fiets maar ook gestolen auto, inbraak, etc vaak nooit onderzocht wordt.

Het interesseert me niets welke uiterlijke kenmerken de dief van mijn auto of motorfiets heeft, maar ik vind het onrechtvaardig dat hij nooit gepakt is of in ieder geval mijn bezit nooit teruggevonden is. Uiteindelijk ben ik verhuisd naar een andere gemeente vanwege hangjeugd, lawaai ‘s nachts, vernielingen, diefstal en dat soort ellende.

Als een ai daar wat aan kan helpen doen is dat uiteindelijk goed voor iedereen. Want de hangjongeren en boefjes van nu zijn de ouders en slachtoffers van morgen.

[halofreak1990]

Een oud motto uit het strafrecht is bijvoorbeeld dat je liever tien boeven laat gaan dan één onschuldige de cel in zet. Dat is verre van efficiënt, maar wel rechtvaardig.

Ik denk hier héél anders over; ik zie liever 11 mensen (tien boeven en één onschuldige) in de gevangenis dan geen. We zijn naar mijn mening hier in Nederland véél te soft (aan het worden). Criminelen en ook snelheidsovertreders moeten in mijn optiek véél harder worden aangepakt, en vrijwel alle verzachtende omstandigheden geschrapt. Ook moet het na een correcte veroordeling ook niet meer mogelijk worden gemaakt om zoals onze vrolijke vriend Volkert van der Graaf de overheid keer op keer aan te klagen voor vermindering van omgangsrestricties e.d. en steeds weer laten zien wat voor lachertje ons justitiële systeem wel niet is.

Zou het ook helemaal niet erg vinden als tuig zoals hij een 'ongelukje' krijgt onderweg naar het vakantie adres.

[Moogles]

Ik wilde iets vergelijkbaars typen, maar je bent me voor. Het is storend dat er in dit voorbeeld geheel voorbij wordt gegaan aan aan de negatieve consequenties voor de onschuldige 'konijnen' en we voor lief nemen dat de schuldige 'hamsters' gemakkelijker de dans ontspringen.

Als het algoritme aanwijst dat jij op basis van een persoonskenmerk meer of minder geneigd bent tot crimineel gedrag, dan rechtvaardigt dit een andere aanpak met meer of minder aandacht? Variabiliteit is nog altijd groter tussen individuen onderling dan tussen verschillende groepen.

Bovendien kun je arbitraire kenmerken selecteren om extra aandacht aan eender welke doelgroep te rechtvaardigen. Dit soort algoritmes zijn simpelweg onverenigbaar met een rechtstaat.

[threebees]

Dit is natuurlijk niet wat een AI of zelflerend algoritme doet. Het zal nog steeds 100% van de data bekijken. Het enige wat het zal doen is de konijnen een hogere prioriteit geven.

[Arnoud Engelfriet]

Als je de konijnen prioriteit geeft, dan zul je meer positieven vinden bij de konijnen. Wie zoekt, zal vinden. Dat gaat terug de AI in en bevestigt dat die prioriteitsstelling correct was. Daarna zal de AI nog meer konijnen aandragen (en dus minder hamsters) en dan vinden we weer meer, enzovoorts. Dit is een bekend probleem, de self-fulfilling prophecy.

[threebees]

Maar het zal nog steeds de hamsters niet overslaan, die komen er wat later, gewoon uitrollen.

[Arnoud Engelfriet]

Natuurlijk, maar je moet dit bekijken in een systeem met beperkte opsporingscapaciteit. Dat is namelijk hoe onze maatschappij werkt. Dat effect kun je niet negeren. En zie https://www.ionica.nl/510...rsterkende-feedback-loop/ voor wat er dan gebeurt.

De groep die bij invoering van het nieuwe systeem ietsje crimineler is, heeft net ietsje meer kans om gecontroleerd te worden. Waardoor ze ietsje vaker in de statistieken opduiken, waardoor ze iets vaker worden staande gehouden. Enzovoort: dit is een zelfversterkende feedback-loop. Terwijl het werkelijke verschil in criminaliteit tussen de twee groepen al die tijd een schamele twee procentpunt blijft: 51 versus 49

[threebees]

In je artikel komt een AI/algoritme met een uitslag en daar wordt door mensen een beleid op gemaakt.
Dus de fout wordt door mensen gemaakt niet door de AI.
De AI doet gewoon zijn taak en doet deze goed.
Dus je zou dan beter kunnen stellen dat je een goed beleid moet hebben om met resultaten van de AI om te gaan ipv de AI de schuld te geven en deze te verbieden.

[laptopleon]

Dit klopt niet. Verhoudingsgewijs meer positieven vinden bij de ene groep, kan alleen als er relatief gezien ook daadwerkelijk meer positieven zijn.

In het dorp waar ik woon rijden minder Rolls Royces en Bentleys rond dan in Londen. Ook al bekijk je tien keer zoveel geparkeerde auto’s.

[dasiro]

het probleem met deze maatschappij is dat die 90 niet frauderende hamsters dan weer gaan zagen dat ze onterecht onderzocht worden en dat dat een inbreuk is op hun privacy, ...

AI zal snel genoeg zelf kunnen bepalen welke dataset biased is of welke subset verder onderzocht moet worden. Patroonherkenning zal mits voldoende datapoints zonder menselijke interventie resultaten genereren en dan heb je tegen geen van beiden meer iets in te brengen

[albatross]

"Daar kan een AI verder ook niet zoveel aan doen, die is gewoon op zoek naar correlaties. In dat geval is er met de dataset zelf feitelijk niet zoveel mis (de informatie die erin staat is in principe correct), behalve dat je nationaliteit gewoon niet had willen meegeven aan de AI."

Zoals je zelf al zegt, de Ai. vindt gewoon een correlatie. De uitkomst mag jou onwelgevallig wezen, maar, ook in je eigen woorden, 'met de dataset zelf feitelijk niet zoveel mis.' Wat jij voorstelt is feitelijk het vervalsen van wetenschappelijke data: "De uitkomst bevalt me niet, dus haal ik nattionaliteit maar uit de dataset." De Ai. legt gewoon een onverbiddelijke correlatie bloot tussen fraude en nationaliteit. Daar zul jij, al dan niet tandenknarsend, mee moeten leven. Wanneer we de uitkomst onpretting vinden, dan moet er wellicht maatschappelijk gekeken worden waarom bepaalde verbanden zo zijn, en hoe we eventuele scheefheden recht kunnen gaan zetten. Maar nooit door te knoeien met de data! Waarom doe je anders nog onderzoek?

'Dit is vergelijkbaar met de AI die een correlatie vindt tussen het aantal verkochte ijsjes en het aantal verdrinkingen, en er vervolgens incorrect vanuit gaat dat het aantal verdrinkingen verminderd kan worden door minder ijsjes te verkopen."

Leuk geprobeerd, maar je haalt nou van alles door elkaar. Er zal overigens zeker een correlatie te vinden tussen het aantal verkochte ijsjes en het aantal verdrinkingen. En zelfs het aantal verdrinkingen zou inderdaad verminderd kunnwn worden wanneer er minder ijsjes verkocht zouden worden... maar dan wel niet door gewoon minder ijsjes te verkopen, maar wanneer de redenen voor het verkopen van ijsjes op een natuurlijke manier af zou nemen (bijv. omdat het kouder wordt, mensen minder naar een zwembad gaan, etc).

'Naast het voorkomen van bias in je dataset zelf is het dus ook van cruciaal belang om na te gaan welke data je je AI meegeeft om tot een correcte voorspelling te komen."

Zeer beslist niet. Wat jij, ironisch gezien door je eigen bias, 'bias' noemt, is vaak niets anders dan patronen die gewoon al in de dataset zitten. De Ai. haalt die patronen er alleen maar uit. Zoals ik eerder al vroeg, wat heeft het voor zin om onderzoek te doen, als je vantevoren al bepaald hebt dat je alleen maar jouw welgevallige uitkomsten wenst te zien? Zeg dan gewoon "Die domme Wilders mensen willen alleen maar zien dat Polen frauderen, en daar doe ik niet aan mee." Prima, maar ga niet aan de dataset knoeien om glasharde uitkomsten te verdoezelen/veranderen. Accepteer gewoon de correlaties die de Ai. gevonden heeft. En als je dan van mening bent dat die uitkomsten onwenselijk zijn, probeer dat dan te veranderen via de maatschappij, en niet door - ironisch genoeg - zelf met de dataset te frauderen. (En ja, nationaliteit uit de dataset verwijderen, omdat je de bui al ziet hangen, is in dit geval gewoon fraude).

[Jeanpaul145]

De Ai. legt gewoon een onverbiddelijke correlatie bloot tussen fraude en nationaliteit.

Een probleem hiermee is regel 0 van de statistiek: corratie is geen causatie.

En toch vatten heel veel mensen een sterke correlatie op als een causatie. Dat is een heel oud fenomeen, het is oa de oorsprong van bijgeloof (en mss ook wel van religie zelf). Het is ook terug te vinden in de Salem Witch Trials en t reilen en zeilen van de Inquisitie destijds.

Wat ik ermee wil zeggen is dat corratie en causatie gelijk stellen enorm gevaarlijk is. De AI's van 2021 zijn niet in staat om over causatie te redeneren, en het is belangrijk dat dat bekend is bij oa beleidsmakers. Om even het voorbeeld van fraudeurs en nationaliteit te pakken: zelfs al stelt de AI na training op die dataset dat bv Britten het meest frauderen, is daarmee niet gezegd dat ze dat doen omdat ze Brits zijn. Overigens zegt 't ook niet dat ze Brits zijn omdat ze frauderen.

[albatross]

"Een probleem hiermee is regel 0 van de statistiek: corratie is geen causatie."

En dit noemen we een strawman; ook een heel oud fenomeen. Niemand heeft namelijk beweerd dat er een oorzakelijk verband is tussen nationaliteit en fraude. (En hoe je er bij komt is mij een raadsel)

"AI na training op die dataset dat bv Britten het meest frauderen, is daarmee niet gezegd dat ze dat doen omdat ze Brits zijn"

Nou doe je weer precies hetzelfde: niemand zou namelijk beweren dat Britten frauderen OMDAT ze Brits zijn; maar well gewoon dat er een correlatie is tussen Britten en fraude.

[Jeanpaul145]

Niemand heeft namelijk beweerd dat er een oorzakelijk verband is tussen nationaliteit en fraude. (En hoe je er bij komt is mij een raadsel)

Het is geen strawman argument, zoals dat voluit heet.

En hoe ik erbij kom is doodsimpel: er worden inmiddels leven-en-dood beslissingen genomen op basis van de AI's die we nu hebben, al dan niet met een mens ertussen.

Maar wie dat doet op basis van enkel correlaties ipv causaties is niet alleen moreel onzuiver bezig, maar maakt ook feitelijk verkeerde beslissingen. En dat is dan ook wat veelvuldig voorkomt. Het aantal mislukte AI projecten ontstijgt inmiddels denk ik makkelijk het aantal succesvolle AI projecten.

Dat is de relevantie van correlatie vs causatie hier. M.a.w. het hangt niet alleen af van hoe de dataset en het neuraal netwerk in elkaar steken. Gegeven de stochastische aard van de huidige neurale netwerken moet er scherp gelet worden op de statistische regels, waaronder de les dat enkel en alleen dat 't neuraal netwerk zegt dat iets zo is, dat 't nog niet meteen zo maakt. En dat is nog los van zaken als errors (wat tijdens het trainen te corrigeren is).

[laptopleon]

Om even het voorbeeld van fraudeurs en nationaliteit te pakken: zelfs al stelt de AI na training op die dataset dat bv Britten het meest frauderen, is daarmee niet gezegd dat ze dat doen omdat ze Brits zijn. Overigens zegt 't ook niet dat ze Brits zijn omdat ze frauderen.

Maar het zou in principe zo kunnen zijn dat Britten meer frauderen, omdat ze met andere normen en waarden zijn opgegroeid. Dat komt dan ook bovendrijven. Maar het lijkt wel of dat bij voorbaat al niet gezegd mag worden, of het een taboe is om ongemakkelijke uitkomsten te kunnen vinden.

[Wouter0805]

'Dit is vergelijkbaar met de AI die een correlatie vindt tussen het aantal verkochte ijsjes en het aantal verdrinkingen, en er vervolgens incorrect vanuit gaat dat het aantal verdrinkingen verminderd kan worden door minder ijsjes te verkopen."

Leuk geprobeerd, maar je haalt nou van alles door elkaar. Er zal overigens zeker een correlatie te vinden tussen het aantal verkochte ijsjes en het aantal verdrinkingen. En zelfs het aantal verdrinkingen zou inderdaad verminderd kunnwn worden wanneer er minder ijsjes verkocht zouden worden... maar dan wel niet door gewoon minder ijsjes te verkopen, maar wanneer de redenen voor het verkopen van ijsjes op een natuurlijke manier af zou nemen (bijv. omdat het kouder wordt, mensen minder naar een zwembad gaan, etc).

Precies hier sla je de spijker op de kop. Nationaliteit is geen peiler voor fraude, net als ijsjes verkopen geen peiler zijn voor verdrinkingen. Het gaat om de achterliggende redenen. Temperatuur en zon zijn achterliggende redenen voor verdrinkingen en ijsjes verkopen. Opleidingsniveau/inkomen/taalkennis zijn voorbeelden van achterliggende redenen voor toeslagenfraude. Door de manier waarop wij laag opgeleide arbeidsmigranten hebben binnengehaald, vallen relatief gezien meer mensen met bepaalde nationaliteiten in de categorie laagopgeleid/laag inkomen/slechte taalkennis, maar desondanks wil je absoluut nationaliteit niet aan het fraudeur zijn koppelen. Die twee groepen hebben hooguit vergelijkbare achterliggende eigenschappen, net als ijsjes en verdrinkingen allebei aan zon/hoge temperatuur gekoppeld zijn. Als er meer Denen frauderen omdat ze gemiddeld genomen lager opgeleid zijn en een lager inkomen hebben, wil je nog niet dat alle Denen als 'waarschijnlijker fraudeur' uit de AI rollen.

Dat gegeven negeren omdat je anders vindt dat je met de dataset aan het sjoemelen bent is exact waar de wetenschap zijn verbinding met de werkelijke maatschappij verliest. En als dat gebeurd moet je je afvragen of je dat soort technieken dus wel wilt implementeren, of in ieder geval in welke vorm. Hoe dan ook is dit een zeer interessante discussie die in het publieke debat veel vaker gevoerd mag/moet worden zodat ook voor buitenstaanders/leken de implicaties duidelijk zijn.

[PomPomPom]

Het is alleen geen academisch vraagstuk.
Wat er gebeurt, gebeurd is bij de belastingdienst, is een kansberekening maken van welke groepen vaker frauderen om vervolgens individuen uit die groep zonder enig bewijs aanvinken als fraudeur.
Daarna werden op basis van dat vinkje grote bedragen gevorderd zodat mensen hun huis kwijtraakten, hun kinderen....
(En daarna de werkwijze verdoezelen door te liegen tegen 2e kamer en rechtbank)

Hetzelfde bij predictive policing systemen: onschuldige individuele mensen krijgen op basis van een correlatie een tag 'crimineel', en worden behandeld als criminelen.

[albatross]

Het is altijd aan de mens om te bepalen wat er met uitkomsten van onderzoek gedaan moet worden. Dat luie ambtenaren bij de belastingdienst de beslissing over hebben gelaten aan hun algoritme, is zeker zeer laakbaar.

[Frame164]

Luie werknemers in bedrijven doen hetzelfde. Daar hoef je geen ambtenaar voor te zijn.

[albatross]

Absoluut waar. Maar in dit geval betrof het ambtenaren.

[Jonathan-458]

Het niet willen delen van het algoritme zou voldoende moeten zeggen.

[Frame164]

Het is niet echt discriminatie maar het op de lijst zetten van de verkeerde mensen. Interpreteren van resultaten is niet altijd even eenvoudig voor iedereen. Zo zag ik vandeweek iemand beweren dat de covidvaccinatie niet werkt omdat in Israel heel veel gevaccineerden in het ziekenhuis liggen met covid. Maar als iedereen gevaccineerd is, is het logisch dat iedereen die nog in het ziekenhuis komt gevaccineerd is. Een conclusie trekken uit data is vaak lastig als je niet even doordenkt en de data in de juiste context zet.

[GewoonWatSpulle]

Ik las dus tot 2x toe mortuarium ipv. moratorium.

In het recht is een moratorium (afkomstig van het Latijnse morari, uitstellen) een rechtsmiddel, waarbij het crediteuren voor een bepaalde tijd onmogelijk wordt gemaakt om, ten behoeve van de betaling van schulden, zich te verhalen op het vermogen van de debiteur. Dit kan betrekking hebben op natuurlijke personen[1] en rechtspersonen, maar ook op landen.

Bron: Wikipedia: Moratorium

Maar zelfs na deze wikipedia pagina begrijp ik het gebruik van het woord niet helemaal. Wil de commisaris dat het gebruik van dergelijk AI tijdelijk niet langer toegestaan is?

[Vinny_93]

Ik denk dat het woord 'schorsing' wellicht duidelijker en meer op zijn plaats is hier. Het is eigenlijk wat Hawking en Musk en dergelijke hebben gepoogd te zeggen omtrent AI in een petitie, maar dan met de insteek op privacy.

Ik vind het persoonlijk een goede zaak. Men kiest tegenwoordig snel voor technologische vernieuwing, omdat het het leven toch wel makkelijk maakt, of entertainment de verantwoording is. De implicaties van het installeren van die ene leuke app of het eenvoud van alles van die ene aanbieder nemen maakt het toch wel erg gemakkelijk, zijn niet transparant en het boeit men ook gewoon niet. Men installeert vrolijk spyware en vertrouwt op bedrijven die keer op keer bewijzen dat ze dat niet verdienen, zonder zich enigszins te realiseren dat ze een kapot systeem in leven houden door simpelweg onwetend te zijn.

AI is de overtreffende trap van deze denkwijze (bij gebrek aan een beter woord). Wanneer niet wordt nagedacht over implicaties, ontstaat ooit de vraag naar verregaande kracht van AI. Dat is alsof je als systeembeheerder admin-rechten geeft aan een IT-stagiair, op den duur ben je alle controle kwijt.

[Daoka]

De implicaties van het installeren van die ene leuke app of het eenvoud van alles van die ene aanbieder nemen maakt het toch wel erg gemakkelijk, zijn niet transparant en het boeit men ook gewoon niet. Men installeert vrolijk spyware en vertrouwt op bedrijven die keer op keer bewijzen dat ze dat niet verdienen, zonder zich enigszins te realiseren dat ze een kapot systeem in leven houden door simpelweg onwetend te zijn.

Het is niet alleen onwetendheid maar ook valse informatie van de bedrijven. Installeer de app want die is sneller, beter, makkelijker, meer mogelijkheden. Accepteer alle cookies voor een best werkende site.

Maar het grootste probleem is gewoon dat je niet kan zien wat er gebeurt. Zelfs al zeggen ze niets te uploaden behalve game data heb je gewoon geen garantie dat dit echt zo is. Dan blijven dus alleen maar apps over die niet online hoeven. Alleen dan vallen de meeste apps af. Doei browsen op je telefoon, doei chat programmas, doei email op je telefoon, doei online backup, doei spellen die je tegen elkaar kan doen of spellen die alleen maar gratis zijn door advertenties. En vast nog wel meer dingen. Dus kritisch kijken helpt ook niet omdat we niet mee kunnen kijken op de achtergrond of we verliezen te veel functionaliteit.

[Verwijderd]

zolang AI nog slechts een door mensen geschreven reeks IF THEN ELSE statements zijn en er nog niet voldoende is nagedacht hoe Asimov's wetten goed te implementeren en toch automatisch te laten verlopen is en blijft AI een gevaarlijk iets om volledig op te vertrouwen inderdaad.

Je raakt vooralsnog niet de controle kwijt maar wel als je het koppelt aan andere AI's die andere belangrijke zaken regelen.
Het gevaar van automatisering is dat je alles aan elkaar koppelt (want dat is handig) maar daarna ben je wel degelijk de controle kwijt met als enige failsafe letterlijk de stekkers eruit.
Puinruimen is dan erg pijnlijk.

[JayStout]

Artikel aangepast om het leesbaarder te maken

[_Pussycat_]

Eigenlijk een beetje jammer. Opdie manier leren de lezers het woord nooit. Is de volgende keer zo een mouseover als bij Engelse afkortingen ook een optie?

[Remzi1993]

Het is geen Engelse maar een Latijns begrip! Wat vaak in het recht gebruikt wordt.

[_Pussycat_]

Dat snap ik . Ik bedoelde de mouseovers die hier bv. gebruikt worden in zinnen als "Microsoft gebruikte vroeger vaak fud", en als je de muis boven "fud" hangt komt een tekst met fear-uncertainty-doubt.

[Remzi1993]

Ooh, oké 👍

[Polydeukes]

In juridische context uitstellen, opschorten, bevriezen.

[Blinkin]

Je bent niet de enige haha. Las heel vreemd. Stuk duidelijker nu.

[hooibergje]

Te laat. De Jack is nu uit de box.
Beter zou zijn om het te beheersen.

Het is een middel om kennis en macht te verwerven, en met die reden zal het steeds vaker gebruikt gaan worden, hoe hard de VN commissie ook piept dat het een slecht idee is.

[neowulf]

Zolang het verbod uitvoerbaar (= gecontroleerd en overtredingen zwaar bestrafbaar) is, is het niet te laat.

[Bozariusz]

Goed initiatief, echter is het totaal niet in de interesses van overheden om privacy bewust te zijn....

[Some12]

AI zou wat mij betreft voor nooit meer dan herkenning mogen zorgen en al helemaal niet voor aansturing van wat dan ook.

Neurale netwerken voor de aansturing van zaken, zoals feeds, kunnen gruwelijke gevolgen hebben. (Ik kijk naar jou, Facebook)

[Indoubt]

Het gaat natuurlijk niet alleen om facebook en dergelijke frima's.

Van belang is wie de AI aanstuurt en wat diegene beogen. Voorlopig dan, als de AI aangestuurd word dooe de AI zelf zijn wij mensen niet meer nodig en belanden we in de matrix

[_Pussycat_]

Neuronale netwerken verbieden is ook onzin, AlphaGo doet niemand pijn en in alfabetisch gesorteerde Google-resultaten heb ik echt geen zin. Regulering bij bepaalde thema's (gekkies-videos aan gekkies aanraden zodat ze nog gekker worden) lijkt me dan wel weer wat.

[Verwijderd]

het grootste gevaar op dit moment zijn de fouten die AI maakt in combinatie met geautomatiseerde processen.

Zo weet ik nog de anekdote over die Predator drone in Afghanistan die een konvooi identificeerde als terroristen.
Er was een kolonne vrachtwagens vol met mensen, inclusief mensen die Kalashnikovs bij zich droegen.
Voor een computer was het klip en klaar, maar er was gelukkig nog menselijke controle: 'wat zijn die rode stipjes in en om de auto's?
Het waren rozenblaadjes ofzo.
Het bleek een trouwstoet.

Vele andere fouten zijn mogelijk. Ten onrechte bestempeld als fraudeur vanwege AI en wegens automatisering voorgoed het leven verwoest. En corrigeer dat dan maar eens.
Mensen die wegens identiteitsfraude 15 jaar lang van het bed worden gelicht, van de snelweg worden gehaald... ondanks alle pogingen om de fout te corrigeren in alle systemen...

Ik vind het privacy-argument in dit geval dan nog niet eens het grootste probleem. Eerder een middel om je op te beroepen om grotere problemen te voorkomen.

[Jop]

Het klinkt meer alsof de intransparantie rond het gebruikt van AI en het opslaan van de data de problemen zijn. En niet de werking van de AI modellen zelf.

[buzzin]

Als we nou ook meteen even alle andere manieren aanpakken waarop de regering je onnodig kan volgen zou het misschien nog iets uithalen, maar daar is het al te laat voor denk ik.
Goed voorbeeld: De OV chip. Het hele verplicht met traceerbare middelen moeten betalen voor een 'anonieme' kaart geeft al aan hoe graag de regering alles wil volgen. (Ja ik weet het, er zijn een paar plekken over waar je cash kan opladen)
En dan natuurlijk de trajectcontrole waarvan de beelden te lang worden opgeslagen.

Er is volgens mij nagenoeg geen staat meer op de wereld die niet angstvallig zijn burgers in de gaten wil houden. Dit onder het mom van veiligheid, maar eigenlijk is het angst om de macht kwijt te raken.
Voor die regeringen is het erg makkelijk om AI in te zetten in combinatie met biometrische gegevens.....die kun je namelijk niet even aanpassen.
Het probleem met dit soort surveillance technologieën is dat de enige mensen die ze kunnen tegenhouden, de mensen zijn die ze graag willen inzetten...

[napel25]

Het stopzetten van deze ontwikkeling geeft organisaties met minder nobele doelen een voorsprong. Met het risico dat dat voorlopig "buiten het zicht" gebeurd.
Ik had liever gezien dat ze er mee door gaan en daarna uitzoeken hoe ze het negatieve effect van deze systemen kunnen verminderen.

[unfold]

Fantastisch om te zien dat deze grote instituten deze problemen echt beginnen te doorzien en voorzien. Grote dank aan activisten die dit al jaren op de agenda proberen te zetten, zoals bijvoorbeeld Wolfie Christl.

Op dit moment draait EDRI (het samenwerkingsverband van Europese burgerrechtenorganisaties waar ook Bits of Freedom deel van uitmaakt) ook een goeie campaigne: ReclaimYourFace.

Dit is nu heel belangrijk, want er komt nieuwe Europese regelgeving aan die de problemen rondom AI moet inperken. In die nieuwe wetgeving staat onder andere een verbod op "large scale urban biometric systems" - zoals gezichtsherkenning. Echter, het voorstel bevat nu nog wat loopholes. Zo mag het leger bijvoorbeeld wel helemaal los gaan. Full disclosure: ik ben onderdeel van het SHERPA consortium dat betere bescherming van mensenrechten in AI systemen onderzoekt voor de Europese Commissie.

Deze week heb ik ook een kunstproject gelanceerd dat dit onderwerp aansnijdt: AreYouYou.eu

In deze 'game' is het de uitdaging om een gezichtsherkennings AI voor de gek te houden door gekke bekken te trekken. Meer discussie in deze Reddit thread.