'Algoritme dat Catalaanse gevangenen beoordeelt werkt deels willekeurig'

Een algoritme dat gebruikt wordt om vergunningsaanvragen van gevangenen in Catalonië te beoordelen, werkt naar verluidt gedeeltelijk willekeurig. Een ontwikkelaar van het algoritme claimt dat de conclusie van het algoritme niet bindend is en dat een rechter uiteindelijk beslist.

Volgens een organisatie die algoritmes audit, Eticas Foundation, levert het beoordelingsalgoritme RisCanvi mogelijk 'willekeurige' conclusies over gevangenen, zo schrijft de Spaanse krant El País, die het onderzoek heeft kunnen inzien. Voor dat onderzoek werd het betreffende algoritme door middel van reverse engineering getest. In vergelijkbare casussen zou het systeem om onbekende redenen soms zeer uiteenlopende risicoanalyses produceren, zo concludeert de stichting.

Volgens de directeur van de onderzoeksgroep die het algoritme ontwikkelde, beoordeelt een rechter uiteindelijk of een gevangene bijvoorbeeld vervroegd voorwaardelijk vrijgelaten mag worden. Het rapport waarop een rechter de beslissing baseert is voor een deel door de gevangenis samengesteld en voor een deel door het algoritme. Het is niet duidelijk wat de verhoudingen hiervan zijn.

Het algoritme overweegt in eerste instantie tien factoren van een individuele gevangene. Als de risicoscore op basis hiervan hoog is, bijvoorbeeld als de persoon eerder gewelddadige misdaden pleegde, wordt er een uitgebreide analyse uitgevoerd op basis van 43 factoren. Hieronder vallen onder meer opleidingsniveau, het criminele verleden van naasten, IQ, eventuele persoonlijkheidsstoornissen en elementen die uit een gesprek met een psycholoog worden opgemaakt.

Hoe het algoritme deze factoren tegen elkaar afweegt, is niet openbaar. Het is niet duidelijk in hoeverre Eticas zijn conclusie heeft kunnen baseren op een accurate afspiegeling van het systeem. Tot dusver hebben instanties in het betreffende deel van Spanje die RisCanvi daadwerkelijk gebruiken geen reactie gegeven tegenover de krant of de organisatie.

Het gebruik van kunstmatige intelligentie om dergelijke oordelen te maken is onder Europese wetgeving sinds kort verboden. Volgens Eticas maakt het algoritme in kwestie technisch gezien geen direct gebruik van kunstmatige intelligentie, maar zou het systeem onder de 'brede definitie van AI' vallen. De organisatie verzoekt het Spaanse ministerie van Justitie om RisCanvi zelf te beoordelen. Dit had al gebeurd moeten zijn, maar volgens de organisatie is dat tot dusver niet het geval. Het Catalaanse gevangenissysteem gebruikt al vijftien jaar het algoritme.

Reacties (73)

[Scriptkid]

Dit is toch gewoon een ja nee boom diagam.

Dat kun je toch seriues geen AI noemen.

Of is mijn excel sheet nu ook AI

[Dudwich]

Volgens Eticas maakt het algoritme in kwestie technisch gezien geen direct gebruik van kunstmatige intelligentie, maar zou het systeem onder de 'brede definitie van AI' vallen.

Laatste alinea.

[Kevinp]

Ja, maar als je zo kijkt is navigatie een van de eerst AI modellen.

[Anoniem: 718943]

Nou ja, ik heb zelf ook wel de nodige software grschreven die beslisingen neemt op basis van statistische data.
Ik had dit ook met een tensorflow model oid kunnen doen, maar heb ervoor gekozen volledige controle over de algoritmes te houden.

De vraag is alleen; als ik een tensorflow model had gebruikt, dan was het duidelijk AI, maar zonder zo'n model, als het mog steeds software is wat bedlissingen kan nemen, maar zonder training en zonder neural net, is het dam geen AI meer? (In beide gevallen moet de software dezelfde taak uitvoeren).

[Arnoud Engelfriet]

Vanuit de AI Act bekeken is het criterium of de software zelfstandig beslissingen neem ("invloed op de omgeving uitoefenen") en of de software daarbij zelf afleidt wat de beslisregels moeten zijn. Hardcoded beslisbomen zijn dus geen AI, een ML model dat zelf een lijntje trekt tussen fraudeur/eerlijk is dat wel.

Dus ja, ook jouw klassiek geprogrammeerde software die "alleen maar" zelf een statistiekgedreven conclusie trekt is een AI systeem.

[CAPSLOCK2000]

Vanuit de AI Act bekeken is het criterium of de software zelfstandig beslissingen neem ("invloed op de omgeving uitoefenen") en of de software daarbij zelf afleidt wat de beslisregels moeten zijn. Hardcoded beslisbomen zijn dus geen AI, een ML model dat zelf een lijntje trekt tussen fraudeur/eerlijk is dat wel.

Gevoelsmatig klinkt het goed maar technisch gezien kan ik er niks mee.
Of ik zelf een lijn trek of de computer dat laat doen is niet wezenlijk anders.

Ik bepaal op grond van welke criteria de computer die lijn trekt. Of ik dat doe op grond van simpele deterministisch ja-nee regels of op grond van ingewikkelde statistiek maakt in mijn ogen niet uit.

Sterker nog, binnen de AI beschouwen we hardcoded beslisbomen ook als AI: Wikipedia: Expert system . Wel een ouderwetse vorm maar het hoort gewoon bij het vakgebied.

Daar zal ik dan maar direct bij aantekenen dat het hele begrip AI in mijn ogen beter vermeden kan worden. De term betekent veel dingen en is door de jaren heen flink veranderd (en we hebben niet eens een sluitende definitie voor "intelligentie").

Het vakgebied AI bestaat al een halve eeuw waardoor we de AI van toen tegenwoordig niet meer intelligent of kunstmatig vinden. Dat zit allemaal bij ons tussen de oren. Het woord "AI" zegt ongeveer even veel over de achterliggende software als "nu nog witter" over een wasmiddel zegt. Er is ieder jaar een nieuwe generatie die dat zegt.

Het is prachtig vakgebied met een hoop leuke en spannende techniek, maar de naam is verre van ideaal, voor mij is het gewoon Informatica. Als dat niet specifiek genoeg is heb ik het liever over de techniek waar het over gaat, bv een LLM, of het effect dat bereikt wordt, bv beeldherkenning.

Dat het begrip nu ook in wetten word gebruikt is dus een beetje jammer. Het is geen enorm probleem zolang we allemaal snappen waar het om draait maar in de toekomst zal dat vroeg of laat wel weer veranderen.

[Reactie gewijzigd door CAPSLOCK2000 op 22 juli 2024 13:28]

[Arnoud Engelfriet]

Ik zie je punt. Ik denk dat de achtergrond risicobeperking is, en dat je bij regel-inferentie door ML systemen grotere risico's ziet. Een mens die beslisbomen bedenkt, is naar zijn aard beperkt in de complexiteit die zhij kan aanbrengen. Plus, daar zit een soort van menselijk overwegen in, een redenering startend van zekere aannames en principes. Een ML systeem gevoed met een 2TB dataset maakt daar in een uurtje een hele leuke set beslisbomen van, maar niemand die daar nog een redenering uit kan halen. Laat staan dat er ook maar enige aanname of principe in terug te vinden is.

[latka]

Maar geef dan eens een sluitende definitie van ai? Ik had al problemen met het algoritme register (1+2=1+1+1=3 is ook een algoritme)

[Arnoud Engelfriet]

Een sluitende definitie is helemaal niet nodig. Juridisch is van belang dat je een definitie hebt die de probleemgevallen adequaat omvat zodat je daar regels op kunt stellen. Een keer een vals positief is niet erg.

De AI Act definieert een AI systeem als
- iets dat zelfstandig de omgeving beïnvloedt (bv. met een beslissing)
- daarbij zelf de regels afleidt (bv. met een ML algoritme patronen in een dataset)
- enigszins autonoom mag opereren

Zeker is dat fuzzy en ik kan ook zo een stapel randgevallen bedenken. Maar daar zit het probleem niet. Dit vangt de 90%, en de rest patchen we in productie.

[latka]

Oei, testen in productie is iets wat IT'ers niet erg graag horen (maar wel vaak doen ;-) Dank voor de juridische insteek voor dit soort zaken.

[mjtdevries]

Dat is een verkeerde uitleg van wat Arnoud zegt.

Elke goede tester weet dat je niet alles kunt testen. Er zullen altijd zaken zijn die je niet kunt vangen in je tests en die in productie naar boven komen.
Wat je met je tests wilt bereiken is dat het aantal zaken dat in productie naar boven komt heel klein is, en dat ook duidelijk is dat je die niet makkelijk had kunnen ondervangen met betere tests.
(heel simpel gesteld, maar hier komt het wel op neer)

[Keypunchie]

Nee, dat is een sommetje.

Een algoritme is dan eerder “x+y=z”

Waarbij x en y een input vertegenwoordigen die een output z genereert.

[latka]

"Een algoritme is een set van regels en instructies die een computer uitvoert." dus het herschrijven van een 'moeilijke' som met grote getallen naar eentje die alleen maar 1+1 doet is een algoritme. Dat het simpel is maakt niet uit.

[Keypunchie]

Ah, het was van je voorbeeld niet duidelijk dat dat de functie was. Het leek erop dat je gewoon een sommetje maakt (dus met vaste waardes ipv. variabelen)

[dengregg]

het is niet omdat je met constanten werkt dat het geen logaritme meer is. Zoals gezegd is het een zeer moeilijk vast te leggen grens

[aadje93]

x = 1
Y = 1
Z = 2

hoe is dat anders?

[Keypunchie]

De linkerkant is een variabele, de rechterkant is een constante.

Als je iets met constanten uitlegt, is het mij niet duidelijk dat het een functie is (met variabelen)

[Znorkus]

Dat was twintig jaar geleden nog zo, maar wetgevers zijn al tijden niet meer digibeet. Dat is echt ten goede veranderd.

[cariolive23]

Een beslisboom valt ook in de categorie AI. Dat kan heel simpel zijn en voor je gevoel té simpel, maar het blijft AI.

Die term is breed, bijzonder breed.

[Accretion]

Een algoritme wellicht, maar 'Artificieele Intelligentie' zou ik het niet noemen.

[mjtdevries]

Het boeit niet wat je het noemt.

Kijk naar de toeslagenaffaire. Boeit het of het een algoritme was of een 'Artificeele intelligentie' die biased beslissingen nam?
Nee, dat is uiteraard totaal niet van belang.
En daarom is het heel fijn dat de AI Act een heel brede defintie van AI gebruikt.

[kftnl]

Expert Systemen worden (vanuit de wetenschap die Kunstmatige Intelligentie heet) doorgaans AI genoemd. Dat zit hier waarschijnlijk dicht op. AI is breder dan neurale netwerken e.d.

[djwice]

elementen die uit een gesprek met een psycholoog worden opgemaakt.

Is best lastig in een standaard beslisboom. Maar wie weet gewoon een filter die zoekt op woorden. Hopelijk worden negaties goed geïnterpreteerd.

[Twanne]

Opleidingsniveau als parameter of iemand vroeger vrij mag komen of niet. Daar stel ik mij toch heel sterk vragen bij.

[indigo79]

Mee eens, maar "het criminele verleden van naasten" vind ik nog een stapje erger.

[sdziscool]

Wacht ze gebruiken een black box algoritme voor een indicatie???
Daar moet toch juist duidelijkheid en proof van zijn dat het de factoren correct beoordeeld?

begrijp echt niet wie dit soort aanschaffingen doet bij overheden. Vragen ze gewoon iets simpels bij een consultbedrijf en vervolgens geloven ze heilig in wat er wordt afgeleverd zonder in depth testing?

Ik zou het nog half vertrouwen als de vraag iets technisch betrof zoals Excel bestanden omzetten ofzo, maar voor rechtsspraak?

[Djerro123]

Staat toch nergens dat dit blackbox algoritme is? Het is alleen niet openbaar.

Ik zie nergens iets over (1) hoe Eticas tot deze conclusie komt en (2) wie heb daartoe opdracht heeft gegeven om te onderzoeken.

Quotes als

Volgens Eticas maakt het algoritme in kwestie technisch gezien geen direct gebruik van kunstmatige intelligentie, maar zou het systeem onder de 'brede definitie van AI' vallen.

doen mij vooralsnog vermoeden dat dit veel poeha is met weinig inhoud.

Een rekenmachine is in die definitie ook AI, evenals een excelsheet.


Edit: weet je wat? Als ze hun reverse engineering moeten goedpraten met dat er willekeur in hetgeen zit wat ze hebben geprobeerd te reverse engineeren, dan zou mijn eerste neiging zijn te denken dat ze gewoon niet goed hebben weten te achterhalen hoe het algoritme werkt.

[Reactie gewijzigd door Djerro123 op 22 juli 2024 13:28]

[StackMySwitchUp]

Staat toch nergens dat dit blackbox algoritme is? Het is alleen niet openbaar.

Is dat niet de definitie van black box?

Een systeem dat mensen beoordeelt om ze wel of niet hun vrijheid en leven terug te geven zou 100% transparant moeten zijn. Alles minder is schending van mensenrechten en valt onder oneerlijk proces. De mening van de behandelend rechter wordt direct beïnvloed door dit systeem.

wie heb daartoe opdracht heeft gegeven om te onderzoeken.

Zou mooi zijn als een organisatie die opkomt voor mensenrechten eerst moet wachten op een opdracht. Lijkt mij dat ze die opdracht zelf geven.

[jeroen79]

Is dat niet de definitie van black box?

Voor de maatschappij zou het een black box zijn

Maar niet openbaar kan best betekenen dat de instantie die het gebruikt wel inzicht heeft in hoe het werkt.
Of dat de rechter die het eindoordeel velt ook een duidelijk rapport krijgt.

[supersnathan94]

Is dat niet de definitie van black box?

Nee het ding van black box is dat niemand het weet.

Bij een proprietary ontwikkeld algoritme kan het zijn dat de ontwikkelaars het wel weten en het oom allemaal uit kunnen leggen en dan is het niet meer black box.

Als een ontwikkelaar het algoritme op papier uit zou kunnen werken en tot dezelfde conclusies komt (ook al duurt het een jaar ipv drie seconden) dan is het geen black box.

[StackMySwitchUp]

Fair enough. Wat niet te zeggen is over dit systeem

[jerisson]

Het hangt af van de context. In de meeste gevallen in wetenschappen refereert Black Box naar een systeem dat te moeilijk te begrijpen is voor de mens (op dit moment). Een voorbeeld is de werking van hersenen, of wat ieder deel van een artificieel neuraal netwerk exact doet. Dit laatste ligt denk ik in lijn met wat @supersnathan94 bedoelt, want ook de ontwikkelaar weet vaak niet exact hoe het werkt.

Maar bij o.a. computerwetenschappen kan het ook refereren naar een systeem waarbij de gebruiker invoer geeft en uitvoer terugkrijgt zonder te weten hoe de onderliggende procedure werkt. Dat kan gaan over een programma, of over een library die een algoritme ter beschikking stelt zonder meer documentatie dan de verwachte in- en uitvoer. Maar in zo een geval weet de ontwikkelaar veelal wel hoe het werkt.

[supersnathan94]

Dat kan gaan over een programma, of over een library die een algoritme ter beschikking stelt zonder meer documentatie dan de verwachte in- en uitvoer. Maar in zo een geval weet de ontwikkelaar veelal wel hoe het werkt.

Dit. En het kan dan super proprietary zijn, maar dat maakt het nog geen black box.

[jerisson]

Proprietary zijn van software slaat op het bezit- of gebruiksrecht van software, niet op het al dan niet gesloten zijn van de code. Je kan software hebben waarvan je niet weet hoe die werkt, maar die toch vrij te gebruiken en verdelen is: dan is je software niet proprietary, maar wel een black box. Als er documentatie is van de interne werking, dan is de software enkel closed-source.

Zie kopje Applications voor de verschillende gebruiken van black box: Wikipedia: Black box

Algemeen komt het er ook op neer dat een black box een systeem is dat enkel geanalyseerd wordt op basis van zijn invoer en uitvoer, zonder dat de observeerder weet wat de interne processen zijn.

Voor software is de observeerder logischerwijs de gebruiker. Of de ontwikkelaar het weet of niet maakt volgens de definitie zelf niks uit.

[supersnathan94]

Algemeen komt het er ook op neer dat een black box een systeem is dat enkel geanalyseerd wordt op basis van zijn invoer en uitvoer, zonder dat de observeerder weet wat de interne processen zijn.

En dat is dus exact wat ik bedoel ja. Goed verwoord.

[YGDRASSIL]

Als je een ontwikkelaar genoeg tijd geeft kan hij ook alle formules van een neuraal netwerk met de hand doen. Blijft een black box. Alle beslissingen van mensen zijn feitelijk black box beslissingen 😉

[supersnathan94]

Nee dat kan niet want het algoritme is niet bekend. Dat is het hele punt van black box.

Bijvoorbeeld Een aes encryptie algoritme is niet black box. Het algoritme is bekend en je kunt zelf vanaf een bepaalde input rekenen naar een output.

Bij een neuraal netwerk kun je niet vanaf de input werken naar de output zonder dat je de output van tevoren weet.

Het neurale netwerk maakt namelijk zelf bepaalde keuzes in wat het als beslissingsmomenten neemt. Die zijn niet bekend. Het algoritme wat het netwerk gebruikt is geen bekend gegeven en daarmee blackbox.

Een proprietary algoritme hoeft niet black box te zijn. Kan namelijk ook een normaal algoritme zijn wat gewoon niet openbaar beschikbaar is. Daarmee is het geen black box algoritme.

Daar zit dus een nuance verschil in.

[YGDRASSIL]

Een neuraal netwerk met een set weights in een computer is gewoon deterministisch en geeft voor dezelfde input dezelfde output.

[supersnathan94]

Ik zeg ook niet dat het wijzigt at random, ik zeg dat je niet weet welke dingen er exact worden gedaan. Welke berekening om van input naar output te gaan. Dus met de hand narekenen (ook al duurt het een eeuw) kan gewoon niet.

[YGDRASSIL]

Natuurljik weet je wel wat er exact gedaan wordt. Een neuraal netwerk is gewoon een stuk code die volgens vaste regels afgewerkt worden. Dus met de hand narekenen kan wel, maar kan idd best een eeuw duren.

[sympa]

Beslissingen "op gevoel" van mensen zijn black box. Maar van een rechter eisen we meer dan dat gevoel, dan verlangen we dat er een uitleg komt over de gekozen straf.

[BadRespawn]

[...]


Nee het ding van black box is dat niemand het weet.

Dat *niemand* weet hoe het werkt is niet onderdeel vd definitie

"In science, computing, and engineering, a black box is a system which can be viewed in terms of its inputs and outputs (or transfer characteristics), without any knowledge of its internal workings. Its implementation is "opaque" (black). The term can be used to refer to many inner workings, such as those of a transistor, an engine, an algorithm, the human brain, or an institution or government." Wikipedia: Black box

"a transistor, an engine, an algorithm, the human brain, or an institution or government" zijn allemaal zaken waarbij er mensen zijn die wel iets weten over de werking ervan.

[aldieaccounts]

> Als ze hun reverse engineering moeten goedpraten met dat er willekeur in hetgeen zit wat ze hebben geprobeerd te reverse engineeren,

Hoezo goedpraten? Ik zie ze dat nergens doen. En dat hoeft ook niet, het is al idioot dat code die zoiets doet niet openbaar is, dus alleen maar prima als iemand de moeite neemt het te reverse engineeren.

> dan zou mijn eerste neiging zijn te denken dat ze gewoon niet goed hebben weten te achterhalen hoe het algoritme werkt.

Als bij reverse engineeren de functie srand(time()) of iets dergelijks wordt gevonden dan heb je perfect uitgevonden hoe het werkt.

[Djerro123]

Hoe kan je nou iets “reverse engineeren” als je zowel geen toegang hebt tot het algo, alsmede geen toegang hebt tot welke inputs er precies ingaan?

Er is een reden dat ze zeggen “vergelijkbare casussen” en niet “dezelfde casussen”. Begrijp me niet verkeerd; ik ben hier niet het algoritme of het gebruik ervan aan het verdedigen. Mijn enige punt is dat we echt niks weten en er wordt geïmpliceerd dat er willekeur is in de rechtspraak. Maar feit is dat we zowel geen toegang hebben tot het algoritme zelf, noch het onderzoek ernaar(!!). De krant die het artikel heeft geschreven (of eigenlijk, de reporter die blijkbaar vaak over het juridische systeem publiceert aldaar, kijkende naar de eerste paar links in het originele Spaanse artikel naar zijn eigen artikelen) suggereert zonder weerwoord maar bovenal zonder enige onderbouwing.

Hoe is dit überhaupt een artikel waard op tweakers?

[Zoop]

Ik zie ook niet echt waarom reverse engineering iets zou bewijzen. Dat er willekeur in lijkt te zitten, als je een srand(time()) (zoals @aldieaccounts voorbeeld) vind, dan heb je die toch echt zelf erin gezet tijdens het reverse engineeren en zegt dus niks of de originele applicatie dat ook doet.

Een hoop onbekende factoren en een hoop aannames, inderdaad, wat een waardeloos artikel.

Even voor de duidelijkheid, want ik denk dat men valt over de term Reverse Engineering, dat is dus geen Decompiling ofzo he. Reverse engineering in deze context is zonder de originele code te weten, deze proberen na te maken en daar kunnen dus zeker ook fouten in gemaakt worden dat niks over het origineel zegt.

[aldieaccounts]

In het artikel staat 'het algoritme werd door middel van reverse engineering getest. ' Ik ga er dan van uit de degene die de reverse engineering deed toegang had tot de gebruikte executable, op zijn minst om heel veel verschillende inputs en outputs te proberen. Dat is toch de algemeen gebruikte betekenis van 'reverse engineering'.

[kodak]

Ik ben het met je eens als je stelt dat reverse engineering ook onzekerheid geeft. Maar de code en het algoritme zijn daarbij niet zomaar te ingewikkeld om dus maar geen uitspraken te kunnen doen wat men er in kan herkennen of uitsluiten. Ze schrijven ook niet zomaar dat het niet een heel ingewikkeld AI is. En het hoor en wederhoor toepassen waaruit vervolgens geen ontkenning komt en de verantwoordelijken voor de werking kennelijk slechts een verdediging van zwijgen en afschuiven heeft kan ook niet zomaar opgevat worden als tegenspreken of een neutrale opvatting over de conclusies. Eerder dat men kennelijk nog minder een inhoudelijke verklaring geeft dan de onderzoekers en het nieuwsbericht. En dat lijkt nu precies het probleem te zijn waar de conclussie om gaat: het is belangrijk dat de verantwoordelijken inhoudelijk verantwoording af leggen hoe het algoritme wel of niet willekeurig resultaat geeft. En dat het zeer zorgelijk is dat men kennelijk de houding heeft daar liever geen verantwoording over af te leggen, terwijl er een wettelijke plicht is.

[tunnelforce1]

De ontwikkelaar zegt dat je zijn product niet moet vertrouwen en dat de rechter moet beslissen...

[kodak]

Alleen spreekt de ontwikkelaar het verwijt ook niet tegen dat er willekeur kan zijn. Net zo min dat de werking niet openbaar is.

[tw_gotcha]

een AI is altijd tot op zekere hoogte black box. Je weet wat je erin stopt maar je kunt niet traceren hoe een zelflerend algorithme tot een antwoord komt. Het is niet deterministisch. Je kunt hoogstens de uitkomst correlren aan de input en kijken welke input zwaarder weegt. Het zou mij helemaal niks verbazen als de indicaties van eenzelfde persoon verschilen naarmate een AI meer geleerd heeft, een paarmaanden later.

Ik denk dat dit een gewoon neural network systeem is. Dat is verder geen poeha maar gewoon een zelflerend algorithme dat formeel onder AI valt. Het is geen generative AI of LLM, dat zou hier ook onzinnig zijn.

Het laat zien dat de overheid geen enkel idee heeft hoe dit werkt, en dat de mensen die dit maken de hele tijd aan overselling doen en niet goed uitleggen wat de consequenties zijn.

[downtime]

begrijp echt niet wie dit soort aanschaffingen doet bij overheden. Vragen ze gewoon iets simpels bij een consultbedrijf en vervolgens geloven ze heilig in wat er wordt afgeleverd zonder in depth testing?

Juristen en inkopers. Die zetten gewoon in het contract wat ze willen en vervolgens geloven ze er heilig in dat ze dat ook echt krijgen omdat het nu eenmaal zo in het contract staat. Zo schuiven ze verantwoordelijkheid af. Het is nu de verantwoordelijkheid van de consultancy.

[Reactie gewijzigd door downtime op 22 juli 2024 13:28]

[magnifor]

De SSSS vermelding op je ticket krijg je toch ook deels op basis van een willekeurige steekproef? Niks nieuws onder de zon…

[Keypunchie]

Maar dat is toch zonder impact op je rechtspositie. Hooguit doe je wat minuutjes langer over de security. Is wel wat anders dan je verlofregeling afgekeurd krijgen.

Bij een controle is onvoorspelbaarheid een feature, om te voorkomen dat kwaadwillenden het systeem kunnen omzeilen.

Bij een rechtssysteem is voorspelbaarheid juist van belang, en gelijke behandeling van gelijke gevallen een groot goed!

[Accretion]

Racisme voorkomen door alles met dobbelstenen te beslissen, is ook een strategie.

Wellicht niet de beste, maar een strategie desalniettemin.

[MonkeeMKII]

Een irrelevante reactie met een valse tegenstelling tussen racisme en willekeur. Zo zie ik ze graag.

[Accretion]

Algoritmen zijn de afgelopen tijd vaak in het nieuws met betrekking tot racisme/bias.

Door willekeurige output te geven kun je dat wegnemen.
Klinkt toch als het ideale algoritme, iedereen dezelfde kansen?

Maar fair, een beetje een 'long shot'.

[Madshark]

Algoritmen zijn de afgelopen tijd vaak in het nieuws met betrekking tot racisme/bias.

Door willekeurige output te geven kun je dat wegnemen.

Of je zorgt ervoor dat ras/huidkleur geen variable kan zijn in ieder algoritme/AI code. Is er ook geen discussie, want de output is dan gebaseerd op andere variabelen.

[MarkHart]

Dat is helaas niet hoe het werkt. Belastingdienst die “dubbele paspoorten” gebruikte als metric om precies die reden is denk ik het meest duidelijke tegenvoorbeeld.

[Bertje3000]

Die discussie is er dan zéker wel, werkte het maar zo. Aan tal van andere factoren valt ook een grote waarschijnlijkheid af te lezen van iemands afkomst. Denk aan (combinaties van) postcode, opleiding, soort boodschappen, soort kerk, hoogte van inkomen, beroep, lidmaatschap van organisaties, noem maar op. Bekritiseerde algoritmes zullen zelden "huidskleur" als variabele hebben opgenomen; het probleem zit 'm juist in de ondoorzichtigheid van profileren door tal van andere variabelen.

[jeroen79]

Als selecteert op lange namen dan zou Jan-Willem er ook uitvallen en Ali niet.

[tch]

El Confidencial heeft een interessant stukje dat redelijk naar het engels vertaalt: https://www.elconfidencia...encia-artificial_3871170/

Het heeft weinig technische inhoud, maar geeft vooral sociale context.

Edit:
Overigens staat er nog wel een m.i. belangrijk stuk in https://elpais.com/tecnol...ona-de-forma-azarosa.html dat niet in de tekst hierboven staat:

Dat voorstanders van het algoritme zeggen dat de onbekendheid van hoe variabelen meetellen in de beoordeling een goed iets is, zodat gevangenen geen veranderingen in hun uitslag kunnen uitlokken d.m.v. kleine acties. Wat nogal een opmerkelijke opvatting is, en er daarna ook correct wordt bekritiseerd dat juist het exact weten op wat je als gevangene beoordeelt bent een fundamenteel aspect van het recht is.

[Reactie gewijzigd door tch op 22 juli 2024 13:28]

[nestview]

Och, alsof criminelen altijd maar goed doordachte redenen hebben om hun slachtoffers uit te kiezen.

Wie zegt dat je daar zit omdat je een slachtoffer hebt gemaakt, wie weet zit je wel onterecht in die gevangenis? En dan moet je daarna maar hopen dat een computer algoritme je een kans geeft. Het moet niet gekker worden.

Dit soort kortzichtige comments geven maar weer aan waarom we blij moeten zijn dat er nog enkele mensen in deze wereld rondlopen die zich nog wel druk maken om dit soort zaken. De rest loopt als een zombie achter de menigte aan zonder zelf fatsoenlijk na te kunnen denken.

[GabberKooij]

"Deels willekeurig" << klinkt als een goede conversie van mensenlijke beslissing naar computer

[Heaget]

Het eerste wat bij me opkomt is dat dit helemaal niets met Ai te maken heeft, maar simpelweg een programma is dat verschillende factoren beoordeeld op vooraf ingestelde waarde, en hier een risicoprofiel uit laat komen. Dit is niet veel ingewikkelder dan aan de 43 vooraf ingestelde factoren een waarde hangen en deze uiteindelijk bij elkaar optellen om te zien welke score er uit komt..

[Yodocus]

Minority Report had nog een beter beoordelingssysteem.