D66 pleit voor oprichting waakhond om werking algoritmes te controleren

D66 pleit voor de oprichting van een algoritme-waakhond die elk algoritmesysteem moet kunnen controleren. Volgens de partij is dit onder meer nodig, omdat steeds vaker besluiten worden genomen op basis van algoritmes die in de praktijk discriminerend kunnen uitpakken.

Regeringspartij D66 heeft een kort actieplan opgesteld met als doel om te komen tot nieuwe investeringen in kunstmatige intelligentie. Een onderdeel daarvan is het plan om een algoritme-waakhond op te richten. Kamerlid Kees Verhoeven vindt dat zo'n waakhond ook echt bevoegdheden moet krijgen, ook al ziet hij niet zoveel in bijvoorbeeld het opleggen van boetes. Het idee is dat een burger zijn recht kan halen en ergens kan aankloppen als er wellicht sprake is van discriminatie of een privacyschending. Dat hiervoor een geheel nieuwe toezichthouder komt ligt niet voor de hand: "Het valt in Nederland niet mee om een nieuwe toezichthouder op te richten, dus het kan ook onderdeel van de ACM of de Autoriteit Persoonsgegevens worden", aldus Verhoeven.

Een algoritmewaakhond vindt hij belangrijk, omdat er volgens Verhoeven discriminerende aannames in de rekenformules kunnen zitten. Hij stelt dat algoritmes steeds vaker onderdeel van besluitvormingssystemen zijn, maar dat het nu te abstract is en er ten aanzien van de algoritmes te weinig transparantie is. Zo moet een burger bijvoorbeeld inzage kunnen krijgen als algoritmes zijn gebruikt bij een eventueel onterecht oordeel dat er geen ziektekostenvergoeding meer wordt uitgekeerd. Verhoeven wil dat burgers dan in kunnen zien hoe de desbetreffende overheidsinstantie tot dat besluit is gekomen en hoe algoritmes daarbij op basis van welke informatie aan het besluit hebben bijgedragen. "Het mag geen black box zijn", aldus het Kamerlid. Het gaat daarbij niet alleen over transparantie bij de overheid; ook algoritmes van bedrijven moeten controleerbaar zijn.

Volgens het actieplan wordt er structureel 25 miljoen euro extra geïnvesteerd in kunstmatige intelligentie. "Er staat al structureel 400 miljoen euro extra op de begroting voor onderzoek en innovatie. Maar op dit moment is daarvan nog nagenoeg geen onderzoeksgeld bestemd voor artifical intelligence, terwijl bijvoorbeeld wel geld is vrijgemaakt voor internetveiligheid en de beveiliging van iot-apparaten. Het zou heel goed zijn als er meer geld voor ai beschikbaar komt. Die 25 miljoen euro is een eerste stap, maar er is meer nodig om Amerikaanse en Chinese dominantie het hoofd te kunnen bieden." Volgens Verhoeven is er brede steun voor het investeringsplan. Zo heeft de staatssecretaris aangegeven dit onderwerp belangrijk te vinden en krijgt het een plek in de digitale strategie van het kabinet.

Verhoeven kon niet zeggen of er wellicht ook extra geld komt om in te spelen op de steeds grotere instroom van studenten bij ai-studies van universiteiten. De Cyber Security Raad pleitte in juli voor meer geld om te voorkomen dat studentenstops bij aan kunstmatige intelligentie gerelateerde studies worden ingevoerd. Vier Nederlandse universiteiten waarschuwden eind augustus ook dat Nederland te veel ai-onderzoekers kwijtraakt aan techbedrijven. Dat hangt onder meer samen met het verschil in de hoogtes van salarissen.

Reacties (97)

[herofruit]

"Ik word liever beoordeeld door een machine, dan door een mens. Een machine is objectief."
Nee, een machine oordeelt op basis van de door de mens ingevoerde parameters. Dit blijft een aanzienlijk risico van het werken met algoritmen, los van het feit dat er in algoritme onbewuste fouten kunnen zitten.

Er moet meer geld en meer controle komen op het werken met algoritmen (en AI, machine learning etc.)

[PeterBennink]

Dit blijft een aanzienlijk risico van het werken met algoritmen

Niet meer dan het werken met mensen. Bij algoritmes kan je een veel betere inzage krijgen in welke factoren hebben geleid tot een besluit. Een machine is objectief in de zin van dat het geen eigen subjectiviteit zal toevoegen aan zijn instructies om tot een besluit te komen. Je weet dus zeker dat er voor elk besluit dezelfde regels worden gebruikt. Dat het dan alsnog mogelijk is dat die regels van oorsprong al fouten bevatten, dat is natuurlijk volledig correct, maar daar zal je bij een mens niet minder last van hebben.

[Jeanpaul145]

Bij algoritmes kan je een veel betere inzage krijgen in welke factoren hebben geleid tot een besluit.

Bij non-heuristische algoritmen wel ja.
Het probleem is dat de meeste "algoritmen" die icm AI cq data science genoemd worden eerder Frankenstein-achtige samengooisels zijn van non-heuristische algoritmen met heuristische algoritmen en dingen die de naam algoritmen niet eens moeten dragen, zoals (deep) neural networks.
Facebook en Google zijn hier goede voorbeelden van: de algoritmen die de echte beslissingen nemen zijn zo enorm complex dat niemand echt weet hoe ze werken, althans niet in detail; De enige uitspraken die de medewerkers van die bedrijven kunnen doen over zulke algoritmen zijn statistisch van aard.

Hierbovenop komt dat de data die gebruikt wordt om mee te trainen ongetwijfeld biased is omdat elke realistische dataset dat wel is. Het probleem hiermee is dat de "algoritmen" (eigenlijk veredelde neural networks) daardoor ook biased worden, op exact dezelfde manier dat een kind van openlijk racistische ouders een hele goede kans heeft dat ook te worden.

En dan is er nog probleem, en dat is de schaal van zowel de datasets zelf als het aantal beslissingsfactoren die een neural network aanleert door die dataset. De schaal is zo enorm dat wij mensen geen hoop hebben handmatig door zulke factoren heen te werken om een begrip te vormen van wat ze nou eigenlijk voorstellen (we hebben daar overigens ook nog geen methodiek voor).
In principe is dit op te lossen met automatisering, maar zover zijn we nog niet. Dit betekent dat neural networks in feite black boxes zijn, net als mensen: Ze werken overduidelijk, maar je weet nooit echt zeker waarom beslissing X is genomen, althans niet tot in elk detail en elke factor.

Door bovenstaande kunnen zowel het argument "algoritmen zijn beter want ze zijn objectief" als het argument "algoritmen zijn beter want we kunnen inzicht verkrijgen in welke factoren hebben geleid tot een besluit" het raam uit.

[wimjongil]

Bijzonder dat je +2 voor deze reactie krijgt, je slaat namelijk een aantal keer de plank mis.

Bij non-heuristische algoritmen wel ja.

Volgens mij haal je stochastische en heuristische algoritmen door elkaar (overigens kan een heuristisch algoritme ook stochastisch zijn). Een deterministisch heuristisch algoritme zal namelijk elke keer dezelfde uitkomst geven voor dezelfde argumenten.

eigenlijk veredelde neural networks

Eigenlijk is een neuraal netwerk een veredelde lineaire regressie, zo ken ik er nog wel een paar...

Enige waar je gelijk in hebt is dat een vooroordeel in de invoerdata een groot probleem oplevert. Mijns inziens ligt hier ook grootste kans voor een dergelijke waakhond, om een manier te vinden om vooroordelen in data te herkennen.

[Morrar]

Voor een deel heb je gelijk, maar er is wel wat nuance. Ten eerste vragen veel problemen helemaal niet om een (deep) neural network om goede voorspellingen mee te kunnen doen. Neurale netwerken worden vooral ingezet voor ongestructureerde data zoals plaatjes, video en tekst.

Veel bedrijfsmatige processen zijn juist vaak beter op te lossen met "eenvoudigere" modellen, zoals regressie modellen of tree ensembles (zoals random forest). Voor regressie modellen geldt dat ze juist zeer goed interpreteerbaar zijn; de coefficienten uit het model geven precies aan hoeveel iedere variabele bijdraagt aan de voorspelling en of het effect sterk is of niet. De coefficienten gelden voor de hele dataset, maar je kunt ook per datapunt uitreken hoe de voorspelling tot stand is gekomen. In mindere mate geld dat ook voor classificatie modellen zoals logistische of multinomiale regressie.

Met een tree ensemble wordt het wat lastiger, maar ook hier worden stappen gemaakt. De meeste implementaties geven al aan welke variabelen het model "belangrijk" acht (= variablen die vaak gebruikt worden om datapunten van elkaar te scheiden). Daarnaast zijn er ook algoritmes die voor iedere voorspelling laten zien welke invloed de variabelen hebben gehad (bv. forestFloor voor R en ELI5 voor Python). Net als bij regressie modellen kun je dan dus voor iedere voorspelling precies uitleggen hoe deze tot stand is gekomen.

Bij Neurale Netwerken is dit inderdaad veel lastiger, omdat het in feite stapelingen zijn van logistische regressie modellen (kort door de bocht). De stapeling maakt het lastig te achterhalen welke paden geactiveerd zijn geraakt, vooral als het netwerk veel lagen heeft. Ook is het lastig te "benoemen" wat elke node in het netwerk conceptueel precies doet. Toch zijn tools hiervoor ook volop in ontwikkeling. Speel voor de grap bijvoorbeeld eens hiermee: https://playground.tensorflow.org/. Of voor complexe Convolutionele Neurale Netwerken: https://distill.pub/2018/building-blocks/. Zoals je ziet is het bij CNN's extreem veel lastiger, maar de tools geven wel een idee wat het netwerk waar detecteert...

Verder wordt er ook gewerkt aan manieren om bias te reduceren uit voorspelligen van modellen, zie bijvoorbeeld: https://blog.godatadriven.com/fairness-in-ml. Het idee is dat er variabelen in de dataset kunnen zitten die "gevoelig" zijn, zoals geslacht of ras. Het simpelweg weglaten van deze variabelen is niet afdoende, omdat ze ook in andere variabelen tot uiting kunnen komen (bv bepaalde postcode gebieden). Maar via gekoppelde netwerken kun je wel proberen je model zo te trainen dat het de "gevoelige" variabelen / informatie negeert.

Tot slot nog even on topic: Ik denk niet dat de overheid de kennis en mankracht in huis heeft om alle algortimes te gaan controleren. Voor individuen op zichzelf is het ook lastig om bias / discriminatie door een model aan te tonen. Nobel streven wellicht, maar erg lastig te realiseren vrees ik...

[Reactie gewijzigd door Morrar op 25 juli 2024 23:58]

[WillySis]

Ik geloof dat de kennis van verschillende soorten algoritmes hier op Tweakers ook niet buitengewoon hoog is. Of een algoritme nu op een losse computer werkt of een neuraal netwerk maakt niet heel veel uit. Wel voor de snelheid. Alleen bij een heuristisch algoritme wat deels zelfstandig werkt, maar ook op een goede manier met andere nodes communiceert, kan een neuraal netwerk meerwaarde hebben.

Het controleren van complexe algoritmes vraagt veel kennis. Ik heb die zeker niet!
Het controleren van een algoritme zelf is ook niet te doen. Je kan een algoritme veel beter valideren! Dat doe je door een dataset met een bekende uitkomst te laten doorrekenen. Die mag statistisch niet afwijken van de werkelijkheid.

Het probleem is dat algoritmes vaak te pas en te onpas gebruikt worden en de waarde die eraan gehecht wordt. Een probleem van algoritmes is dat deze zich niet (of niet juist) aanpassen aan een veranderende maatschappij. Zeker plotselinge veranderingen worden slecht verwerkt. Het is daarom belangrijk dat algoritmes regelmatig opnieuw gevalideerd worden.

Bedenk ook dat een algoritme door mensen wordt verzonnen. Agoritmes op basis van Big Data zijn daardoor nooit helemaal objectief. De mening van de maker(s) zit er altijd in verwerkt.

[karma4]

Een algoritme bij het bouwen van een model is net zo ondoorgrondelijk als wat de compiler en de cpu uithalen.

Dat deel is niet echt relevant.
Het gaat zeker in supervised ml er om dat er een procesverbetering optreed.
Je monitored de data resultaten over de tijd.
Een stuk heb je bij de modelbouw ook gedaan met een train en validatie gedeelte. Daar komen ook lift onzekerheid / betrouwbaarheid aan de orde.

Chargerend: Je bouwt het met echte productiegegevens
Audit review zou het model bouw proces moeten kunnen nagaan met die data.

[Reactie gewijzigd door karma4 op 25 juli 2024 23:58]

[Cergorach]

Niet meer dan het werken met mensen.

Natuurlijk, echter is er het grote risico dat mensen dat weer vergeten...

Het echte voordeel van een algoritme is dat je waardes instelt die natuurlijk door mensen worden ingevoerd, maar consequent, zonder verdere vooroordelen worden uitgevoerd. Niet controller X die een slechte nacht heeft gehad of net te kak is gezet door zijn gekleurde 50+ jarige vrouwelijke baas. Die algoritmes zouden voor implementatie gecontroleerd moeten worden, niet tijdens gebruik, in theorie zouden die niet mogen veranderen. En zijn er nog ongewijzigde algoritmes al zolang actief die herzien moeten worden omdat onze normen en waarden veranderd zijn in de tussenliggende periode?

[bwerg]

Leuk idee, maar je doet alsof regels kraakhelder en in beton gegoten zijn. Ja, dán kun je die regels goed correct implementeren. In de praktijk is een groot deel van de regels die ons handelen bepalen ongeschreven, en is er menselijke interpretatie nodig om die ongeschreven regels in te vullen.

Zelfs in de wet worden bewoordingen gebruikt als 'een redelijke termijn' of 'als voldoende aannemelijk is gemaakt'. Hoe ga je dat implementeren? Het antwoord van de rechtspraak op dit soort vage formuleringen is, hoe kan het ook anders, dat een menselijke rechter er een oordeel over moet vellen.

[Reactie gewijzigd door bwerg op 25 juli 2024 23:58]

[polthemol]

in de VS heeft men een systeem ing ebruik (of had, dat weet ik niet zeker) die rechters adviezen gaven welke straf te geven aan een schuldige. Wat analyze leerde dat het algoritme ronduit racistisch bezig was, bij eenzelfde overtreding kreeg een gekleurd persoon meer celstraf geadviseerd dan een blanke.

Het probleem is dat veel zaken in onze samenleving helemaal niet zo analoog zijn als we zelf denken en dat we beslissingen nemen met een immense bias.

Het initiatief van D66 lijkt me dus een vreselijk goed voorstel om uit te werken

[sympa]

Ook omdat er blijkbaar geen controle op mogelijk is. "De computer zegt dat hij schuldig is" maar als er naar een redenering gevraagd wordt dan is het algoritme het geheim van de fabrikant. Maar we moeten dan maar aannemen dat het nauwkeuriger is dan een mens.
Laten de algoritmes maar beperken tot 'misschien is deze ook interessant voor u' en het doen van wetenschappelijk onderzoek.
(Zal je zien dat de nauwkeurigheid een stuk lager is dan als een willekeurige 'dader' wordt aangewezen...)

[polthemol]

de controle is an sich wel mogelijk, maar het bleek met name dat er al een voorkeur voor zwaardere straffen was bij rechters voor gekleurde mensen (bewust of onbewust, die discussie laat ik even liggen). Wat je vermoedelijk kreeg was dat ze in de adviezen van het algoritme daarna een bevestiging zagen van hun mening, met een grote kans dat ze het advies gingen volgen en aldus de foute input alleen maar verder gingen versterken, waardoor ze een bevestiging van hun mening zagen, enz. enz.

In het begin zal men het ook wel oppikken als louter een advies, maar mijn ervaring in de IT is dat een 'indicator' na verloop van tijd gewoon blind overgenomen wordt, als die maar vaak genoeg dicht bij je mening zit en zo wordt een indicator spontaan een systeem wat in de praktijk de beslissingen aan het nemen is (hetzelfde idee als dat je veel false positives krijgt, als dat lang genoeg duurt, worden ook de echte waarschuwingen genegeerd door mensen).

[Jefrey Lijffijt]

Dit is ver bezijden de waarheid.

Ten eerste gaat dat statistisch advies over wel of niet op borg vrijkomen, niet over schuldvragen. Het is echter bijna net zo belangrijk. Het systeem is wel degelijk transparant, maar het probleem is/was dat de data patronen bevat die je racistisch zou kunnen noemen, waarbij huidskleur impliciet een effect heeft. De data komt van eerdere beslissingen van menselijke rechters en gegevens of mensen al dan niet in herhaling zijn vervallen. De data komt dus niet van een dubbelblinde test en bevat dus waarschijnlijk onbekende bias. Allerlei complicaties waarvoor je zou willen en wellicht moeten corrigeren.

Wellicht is het ook belangrijk een onderscheid te maken tussen voorspellingen uitrekenen en een algoritme voor machine learning. Het laatste maakt een model op basis van data. Dit model gebruik je vervolgens om voorspellingen te doen, dat zou ik typisch geen algoritme meer noemen omdat het vrijwel altijd triviaal uit te rekenen is (uitgezonder non-parametrische technieken zoals k-nearest neighbour waarbij je dan juist weer geen leerfase hebt). In dit geval was er met het algoritme niets mis, het optimaliseert alleen een statistiek die niet is wat je wilt op basis van ‘gekleurde’ data.

Zeker weten dat menselijke rechters trouwens ook discrimineren in deze situatie, omdat corrigeren niet iets is wat je uit je hoofd of met pen en papier correct zou kunnen doen. Dat laat nieg weg dat algoritmen het beter zouden kunnen doen, en dat als het eenmaal in je systeem zit je inderdaad iedere keer dezelfde ‘fout’ zou maken.

[sympa]

Men kan het algoritme veilig houden door bepaalde input niet toe te laten. Geen namen, geen huidskleur als input betekent dat daar niet direct op getraind wordt.
Nou zijn er natuurlijk genoeg parameters die ook leiden naar huidskleur (locatie van de school) dus heel eenvoudig is het allemaal niet.
Maar een in het geheim getraind algoritme? Ik zou mijn eigen naam er in ieder geval inzetten als iemand die altijd vrijuit gaat. Niet dat ik plannen heb, maar kan altijd van pas komen.

[Jefrey Lijffijt]

Die attributen zaten niet in de data, maar zijn latent aanwezig doordat waarden (zoals postcode, of combinaties van andere waarden) correleren met zaken als godsdienst, ras, geslacht, leeftijd; de zaken op basis waarvan je niet wilt discrimineren.

Zoals ik al zei, het model is niet in het geheim getraind. Zowel de code als de data zijn in te zien door de relevant partijen.

[Xirt]

Ja en nee, bij deep learning zijn de stappen die genomen worden vanuit de basisregels tot het "brein" dat antwoorden geeft dermate complex dat "inzage" een vrij lastige activiteit kan worden. Ik vind het idee om uitkomsten van algoritmes goed in de gaten te houden zeker goed (e.g. ethische belissingen door AI), maar het uitpluizen van elk algoritme lijkt mij op dit moment nog een onbegonnen werk (zeker als het niet alleen om algoritmes van de overheid gaat). Bovendien gaat het vaak niet om de algoritmes, maar om de data set die gebruikt is voor de training....

[Morelleth]

Verschil is, dat bij een mens nog de beslissing te discussie gestelt kan worden wegens verkeerde interpretatie van die regels.
Bij gesloten systemen (waarvan je niet precies weet hoe het erin staat) die alleen een ja/nee geeft. Kan de uitvoerende alleen maar dat antwoord geven en staat er niets meer ter discussie.
De machine zegt nee, die kan de regels niet anders interpreteren dus het is nee. Punt.
(maar wellicht is de uitzondering op die regel dus niet meegenomen want onvoorzien en dus toch onterecht.)

[sympa]

"Waarom word ik afgewezen? Oh, omdat jullie het verdacht vinden dat ik een lening heb genomen en in 3 maanden heb afgelost?". Wellicht heb ik als verklaring dat ik de loterij heb gewonnen, en dat het dus geen crimineel geld is.
Met een mens kan ik zo'n discussie voeren (in principe, na een klachtenprocedure wellicht). Maar als daar een black box geheime AI zit? Tough luck, computer says soooo...

[Morelleth]

Precies wat ik bedoel inderdaad.

[bwerg]

Data wordt gecreerd door bevolking, inderdaad en waar een aanleg tot criminaliteit is dient daar op te worden geredeneerd door een machine die objectief naar de data kijkt. Wat er dus werkelijk wordt gezegd is dat er een politieke correcte filter dient te worden toegepast want het ontkennen van de realiteit is de standaard.

Dat de machine objectief naar de data kijkt, wil niet zeggen dat zijn voorspellingen juist zijn. Dus nee, zijn voorspellingen zijn niet 'de realiteit'. Als je een orakel geïmplementeerd hebt wat altijd 'de realiteit' correct kent, hebben we de hele rechtspraak, recherche, etc. niet meer nodig.

Waar bij een machine een risico ligt, is dat hij factoren meeweegt die niet meegewogen mogen worden. Ja, als je huidskleur en afkomst meeweegt in de rechtspraak zul je het vaker bij het juiste eind hebben, simpelweg omdat er een correlatie is tussen deze factoren en criminaliteit. Maar in de gevallen waarin je het niet juist hebt, is het feit dat je deze factoren meeweegt, erg schadelijk. Dat wordt in AI-toepassingen zelden meegewogen.

[Reactie gewijzigd door bwerg op 25 juli 2024 23:58]

[sympa]

Je wil ook de echte probleemgevallen hebben, en niet een of andere gok doen die 'beter is dan statistisch'.
Overigens maakt het wel uit dat je keuze verklaarbaar is: "sorry meneer maar waarom zaagt u dit fietsslot door midden in de nacht" - als ik kan uitleggen dat het mijn eigen fiets is, vind ik het niet meer dan logisch dat een agent mij vraagt wat ik aan het doen ben.
Maar als ze me vragen "wat ik als 27-jarige man bij het Leidseplein aan het rondhangen ben" voel ik me veel minder gelukkig. Omdat er geen aanleiding is. (Overigens, als er wel een aanleiding is, geen probleem natuurlijk).

[polthemol]

maar het algoritme besluit dat er meer agenten naar wijk x moeten, meer agenten naar wijk x, noteren en zien meer overtredingen en strafbare feiten, het algoritme zegt 'how! stijging van criminaliteit! meer agenten naar wijk x!'. Je output is input aan het worden en je AI heeft rechtstreekse invloed op die output (en dus op de input).

Je kunt zo tig voorbeelden aanhalen waarbij men relatief vage beslissingen maakt op basis van een zut data. Hypotheken is ook een ding: er is een verschil tussen een hypotheek voor x bedrag in wijk a en in wijk b, omdat wijk a wat minder florisant is (misschien meer lager opgeleide mensen, dus lagere inkomens, dus sneller betalingsproblemen). Het resultaat is echter dat die wijk het alleen maar moeilijker krijgt om goede cijfers neer te zetten.

[Lennart-IT]

Die meer agenten naar de wijk waar 70% van een bepaalde nationaliteit of ras is, is juist het 'problematische' eraan. Net zoals wanneer jij naast een sociale huurwonings wijk woont dat je verzekerings premies op auto, inboedel hoger zijn dan normaal, wegens de vergrote kansen op criminaliteit en schade.

Wat D66 zegt is dat deze data door een politieke correcte lens dient te worden getrokken waardoor jij niet meer moet betalen voor je verzekeringen en waardoor agenten juist niet die wijk extra gaan patrouilleren, waardoor het initiele probleem van criminaliteit blijft en waardoor verzekerings maatschappijen niet maximale winst mogen behalen door slim naar verzekerden te kijken op verschillende manieren zoals geografie. Het is exact om die zelfde redenaties dat de overheid; lees D66 in 2013 het afschaffen van het vast leggen van de nationaliteit/ras van een criminele dader door de politie.

Wanneer voeren we de communistische sociale krediet score in?

[Reactie gewijzigd door Lennart-IT op 25 juli 2024 23:58]

[polthemol]

jij linkt het aan ras en nationaliteit, misschien niet meteen je eigen visie projecteren op alles. Als je het zo graag wil matchen: ik heb toevallig een appartement in een minder florisante wijk, het gros is gewoon Nederlands en zo blank als een raaf

De rest van je betoog is een beste collectie onderbuikgevoelens waar je mee gooit, met een vrij nare ondertoon ook nog eens.

(de initieële oorzaak van veel criminaliteit is heel vaak socio-economische omstandigheden trouwens, maar dat geheel terzijde)

[sympa]

Dat jij als nette burger woont in een wijk waar ook gespuis woont mag niet tegen je werken als je ooit in een rechtszaak terecht mocht komen.
En dat doet het wel, op deze manier.
Laatst kwam ik een filmpje tegen van een tassendief die zich voordeed als gehandicapte. Dat is een handige manier om niet in de gaten te lopen...

[polthemol]

precies, daarom dat dit initiatief van D66 als een goed idee beschouw. De impact van wat algoritmes is al immens groot (en dat zal ook niet meer in te dammen zijn, die geest is al lang en breed uit de fles), dan is het op zijn minst zinvol om die dingen door te lichten door anderen dan de belanghebbenden.

Het tassendiefvoorbeeld: oh ja dat kan, zo zijn er nog wel meer zaken. Uiteindelijk is dat het eeuwige spanningsveld tussen veiligheid en vrijheid. Ik opteer het liefste voor vrijheid en transparante controle.

[N8w8]

Misschien komt criminaliteit vaker voor bij bruine mensen.
Maar dat ligt eerder aan bijv dat bruine mensen vaker uit n andere cultuur/taal komen, wat het mss moeilijker maakt een doorsnee inkomen te krijgen, waardoor crimineel werk gemiddeld populairder is.

Als je vanwege die gemiddelden dan zou selecteren op ras, is dat onrechtvaardig voor de brave bruine burgers die niks te maken hebben met criminaliteit, en verdwijnen de stoute witte "allochtonen" (of hoe noemen we die tegenwoordig) met exact dezelfde problemen+oorzaken, in de overgrote meerderheid van de autochtonen.

Het zou in dit voorbeeld realistischer en rechtvaardiger zijn te selecteren op taalachterstand, opleidingsnivo, inkomen, scheidingen, of wellicht cultuur (als dat niet volledig verboden is) in plaats van op ras.
Daarmee kun je die premies juist beter afstemmen op de realiteit, zonder mensen te "straffen" voor hoe ze zijn geboren.

Het kan zijn dat een slecht geinformeerde AI tot simplistische conclusies komt, waarvan sommige mensen door hun verfijnder inzicht in bijvoorbeeld psychologie/sociologie, al bij voorbaat kunnen zeggen dat die feitelijk onjuist zijn. Dan mag de AI verder zoeken met wellicht meer data naar een ander causaal verband dat beter overeenkomt met de realiteit.

[Reactie gewijzigd door N8w8 op 25 juli 2024 23:58]

[haarbal]

aanleg tot criminaliteit

Correlatie met, maar dat is natuurlijk hetzelfde...

[StephanVierkant]

Ik wil dat er heldere door mensen bedachte beoordelingscriteria zijn. Of die door een mens of machine worden gebruikt is een tweede, waarbij moet worden opgemerkt dat machines sneller en nauwkeuriger werken.

Het gaat erom dat beslissingen voorspelbaar en controleerbaar zijn. Of een menselijke ambtenaar op basis van 'dat is nou eenmaal mijn gevoel' of een machine op basis van een black box een beslissing neemt, is niet wezenlijk anders.

Predictive policing is een mooi voorbeeld. Opgepakt worden op basis van 'big data' is net zo verwerpelijk als op basis van het onderbuikgevoel van een agent.

[CH4OS]

Ja, een machine "oordeelt" zoals geprogrammeerd, maar doet dat aan de hand van een vast stramien, bij alles en iedereen en elke keer opnieuw, ongeacht {insert eigenschap}. Kun je dat ook zeggen van een mens? Dat denk ik niet en dat is wat zij bedoelen.

Om dat stramien te waarborgen dat het altijd objectief / op dezelfde wijze gebeurd, dáár wil D66 dus deze waakhond voor hebben.

[Reactie gewijzigd door CH4OS op 25 juli 2024 23:58]

[Verwijderd]

Wettelijke controle op software, wat kan er fout gaan......

[WillySis]

Als je meer wilt weten over de achtergrond van het D66 voorstel kan je dit artikel uit de Volkskrant eens lezen https://www.volkskrant.nl...niet-beschermd-~b97a9302/
Het voorstel van D66 is hier gewoon een rechtstreekse reactie op.

[Jefrey Lijffijt]

Een van de problemen hier is dat rechters wel ‘common sense’ hebben en algoritmen alleen toegang tot beperkte data. Algoritmen kunnen dus bij het maken van een model (waar de beslissingen uit gaan volgen) geen rekening houden met alles dat wij ‘normaal’ vinden om rekening mee te houden. Daarom is het gevaarlijk algoritmen belangrijke beslissingen volledig zelfstandig te laten nemen. Computers zijn echter wel veel beter in statistiek dan mensen dus een combinatie van de twee biedt veel nieuwe mogelijkheden.

[jpsch]

Zo'n algoritme wijzigt toch elke dag? Of in ieder geval leert het elke dag bij? Wat vergelijk je dan?

[PeterBennink]

Je haalt hier ML/AI modellen en gewone algoritmes door elkaar. Een algoritme is een statisch iets, simpelweg een bepaald aantal stappen dat doorlopen moet worden om van een input een bepaalde output te maken. Deze stappen kunnen natuurlijk alsnog enorm complex zijn en allerlei zijpaden hebben, maar het is wel een statisch systeem.

Als we het daarentegen over een ML/AI model hebt is het inderdaad iets lastiger, omdat dit model zal veranderen door de tijd heen, en zo'n model op de langere termijn niet altijd precies doet wat de maker gepland had. Echter kan je dit natuurlijk als derde partij ook controleren, namelijk door te kijken naar de manier waarop het initiële model is gemaakt, of door het model inputs te geven waarvan jij zelf al de bedoelde uitkomst van weet (om vervolgens de bedoelde uitkomst te vergelijken met de eigenlijke uitkomst).

[Reactie gewijzigd door PeterBennink op 25 juli 2024 23:58]

[bwerg]

of door het model inputs te geven waarvan jij zelf al de bedoelde uitkomst van weet (om vervolgens de bedoelde uitkomst te vergelijken met de eigenlijke uitkomst).

Wat je hier beschrijft is gewoon het testen van de black box van je AI. Het testen zit echter al inherent in een gemiddeld (supervised) ML-algoritme, in de vorm van een test set. Dat voegt dus weinig toe.

Ik denk niet dat er vaak 100% gescoord wordt op een test set. Fouten worden gemaakt, zeker door een ML-algoritme. Als je foutloze software eist, moet je gewoon geen ML gebruiken (en waarschijnlijk überhaupt geen praktisch toepasbare software).

[Xirt]

Je kan wel 100% scoren op een dataset, maar dat kan ook betekenen dat je het netwerk overlearned hebt (overfitting): voor de specifieke dataset werkt deze prima, maar voor alle andere gevallen niet. Dit komt bijvoorbeeld voor als een te groot deel van de dataset als trainingset gebruikt wordt met teveel learning iteraties.

[bwerg]

Inderdaad. En om dan weer terug te komen op het daadwerkelijke vertrouwen wat je in de black box hebt: die scoort dan 100%, maar omdat dat door overfitting komt weet je alsnog vrij zeker dat je black box in de boze buitenwereld fouten gaat maken.

[Xirt]

Het model (e.g. de programmatuur) verandert vaak niet (enkele speciale AI gebieden uitgesloten), maar de configuratie ervan wel. Echter, deze configuratie is juist het probleem, want hieruit kan de bias komen. Vaak is deze bias al voorgebakken in de dataset die gebruikt is om het algoritme te training om de "juiste" configuratie te verkijgen... Dus het algoritme checken gaat dat niets helpen.

[Paulus73]

Dan moet je het algoritme van de zelflerende functie beoordelen denk ik .....

[Ventieldopje]

Zo moet een burger bijvoorbeeld inzage kunnen krijgen als algoritmes zijn gebruikt bij een eventueel onterecht oordeel dat er geen ziektekostenvergoeding meer wordt uitgekeerd.

Nee, dat gaat die burgers helemaal geen moer aan. Die willen weten waarom er geen ziektekostenvergoeding meer wordt uitgekeerd. Of daar nou een computer of mens aan te pas is gekomen; de zorgverzekering moet gewoon aan kunnen duiden waarom deze keuze is gemaakt en dat die ook klopt.

De verzekeraar moet dan ook niet op de vingers getikt worden voor het algoritme dat ze gebruiken maar voor het resultaat dat er uit komt rollen.

[PeterBennink]

Het verschil tussen de huidige situatie en een waakhond is dat een waakhond preventief te werk kan gaan, en dus niet hoeft af te wachten tot foutieve besluiten worden genomen. Dat zou dus enorm helpen, omdat niet elke burger hier bovenop zit. Sommige foutieve besluiten zullen misschien zó vreemd zijn dat er wel een belletje gaat rinkelen, maar bij randsituaties of bij iemand die hier maar gebrekkig verstand van heeft zou niemand aan de bel trekken, ondanks dat dit misschien wel een vaakvoorkomend probleem is. Dat zijn situaties die een waakhond wél door zou kunnen hebben.

[Cergorach]

bij randsituaties

Hoe vaak zullen randsituaties voorkomen, er zullen veel vaker situaties zijn die verder van die rand afliggen. Bijna niemand die niet in de business zit heeft er 'verstand' van, het gaat hier dan om mensen die niet de moeite willen nemen om het te controleren of na te vragen. Moeten wij geld over de balk gaan gooien voor een dergelijke kleine selectie randsituaties of mensen die er geen moeite voor willen doen? Imho kunnen we beter dat geld steken in de ziektekosten zelf. En als blijkt dat verzekeringen daar fouten in maken zullen ze er voor beboet moeten worden, afhankelijk van de impact.

Het zou fijn zijn als we een kleinere, efficiëntere bureaucratie hadden, niet een nog grotere...

[Ventieldopje]

Het is prima dat er preventief gewerkt wordt, dat juich ik zeker toe maar dit staat los van het punt wat ik hierboven aankaart.

[SN4K3]

"die elk algoritmesysteem moet kunnen controleren"

Dus ook de Steam winkel algoritmes, en algoritmes in games voor matchmaking en microtransacties, of algoritmes die advertenties aan je tonen? Die waakhond gaat het druk krijgen of z'n taak bij lange na niet goed kunnen uitvoeren, voorspel ik zo.

[DdeM]

In de pdf staat een vrij duidelijk nuance. Het gaat voornamelijk om algortimes die ons dagelijks leven beïnvloeden. Dus algoritmes die advertienties tonen zouden wellicht gecontroleerd kunnen worden, maar steam winkel of matchmaking algoritmes zullen daarentegen een stuk minder snel gecontroleerd worden.

[DropjesLover]

Algoritmes die banken gebruiken voor hun flitsbeleggingen, en met bepaalde parameters het hele bankwezen platleggen, mogen we vast niet inzien, al hebben die wel verregaande invloed op ons dagelijks leven

[Quilt]

Is dat zo?

[DropjesLover]

https://www.bloomberg.com...ll-out-technological-arms

[Quilt]

Ik weet dat high frequency trading bestaat, en die link gaat daar ook over.
Maar heeft dat "verregaande" invloed op ons dagelijks leven? Ik denk eigenlijk van niet.

Er zijn in het verleden al dagen geweest waar de algoritmes zwaar uit de bocht gingen, of wanneer traders "fat finger" fouten maakten. Maar die hebben volgens mij nog nooit impact gehad, op ons dagelijks leven.

[Zoijar]

"banken" in de zin van traditionele banken doen iha niet aan flitsbeleggingen, het zal ook niet het bankwezen platleggen, en verder zijn die algortimes al sterk gereguleerd. Als standaard "AI" dezelfde restricties en regelgeving opgelegd krijgt als flitshandel, dan staat ze nog wat te wachten.

[DropjesLover]

Ik heb er weinig vertrouwen in dat regulering werkelijk nageleefd wordt want de het exacte algoritme wordt niet nagekeken, dat is immers het geheim van de smid / bank.
Ook al Nederlandse systeembanken doen misschien niet aan flitsbeleggingen, er is zat in waardebepalingen van orderportefuilles dat daar wel door bepaald wordt. En iedere bank zit vuistdiep met leningen in andere banken en handelaren. Er is gewoonweg niks geleerd van de crash van 2008 en met de opkomst van slimmere algoritmes en AI is het er niet transparanter op geworden, ook niet voor de banken zelf.

[Stoelpoot]

Moet kunnen, niet moet. Ik denk dat hij eerder doelt op het recht hebben tot dan het ook echt doen.

[Zer0]

Het idee is dat een burger zijn recht kan halen en ergens kan aankloppen als er wellicht sprake is van discriminatie of een privacyschending.

Voor privacyschendingen hebben we al de Autoriteit persoonsgegevens, discriminatie is gewoon strafbaar, en kun je dus bij Justitie aanhangig maken.

[phjk]

Het probleem is dat in de praktijk het algoritme een black box is, en managers / gebruikers ook niet weten hoe deze werkt, waardoor het lastig wordt om aan te tonen dat je gediscrimineerd wordt.

Voor de liefhebber kan ik het boek 'Weapons of Math Destruction' van Cathy O'Neil aanraden, over precies deze thematiek.

Een onafhankelijke partij (met kennis van zaken uiteraard) lijkt me zo'n gek idee nog niet.

[Zer0]

Een onafhankelijke partij (met kennis van zaken uiteraard) lijkt me zo'n gek idee nog niet.

Breng die kennis dan onder bij de al bestaande organisaties, en creëer niet meer overhead door nog een toezichthouder te starten.

[phjk]

Eens

[Robbemans]

In het document van D66 wordt eigenlijk alleen gesproken over KI (kunstmatige intelligentie). De algoritmes die hierbij horen zijn toch al redelijk 'open'. Het gaat vooral om zelfrijdende auto's en uitkeringsfraude. In hoeverre hier wordt gediscrimineerd vraag ik me af. Als er een redelijk vermoeden bestaat dat iemand fraudeert, dan doe je daar toch onderzoek naar?
Bedrijven die een propietair algoritme hebben ontwikkeld (iets dat in beginsel patenteerdbaar zou zijn) zullen niet graag meewerkt aan een eventueel onderzoek in verband met lekken.
Het idee is goed, maar zoals het voorstel er nu ligt nogal abstract.

[bwerg]

De algoritmes die hierbij horen zijn toch al redelijk 'open'

Het AI-algoritme zelf misschien wel, maar dat is dus niet het relevante deel. Het relevante deel is hoe beslissingen worden genomen in het uiteindelijke domein, waar de AI wordt toegepast (wanneer wordt iets als fraude aangemerkt, wanneer geeft een automatische piloot van een auto gas, etc.). Hierover zegt een 'open' AI-algoritme helemaal niks: weet een AI-onderzoeker veel, of dat er onterecht fraude geconcludeerd kan worden door zijn machine learning algoritme. Dat ligt aan de data die je erin stopt. Als hij zou moeten bewijzen dat de AI het altijd goed doet, kan hij de beslissingen beter direct zelf uitprogrammeren, dat redeneert gemakkelijker.

[Robbemans]

Als je het zo stelt, dan is dat toch helemaal niet haalbaar? Als de data eigenlijk de beslissing voedt, dan ligt daar de verantwoordelijkheid - of beter nog - bij het voorzien van de brondata.
Een beslissing in een neuraal netwerk loopt van generatie op generatie. Met terugkoppeling als het 'goed' is, waardoor de beslisboom uiteindelijk kleine wordt. Dat je hier bijvangst aan hebt is onvermijdelijk.
Goed voorbeeld is de fotoindeling van Google die per ongeluk negroide mensen als 'gorilla' bestempelde, omdat er in de brondata niet genoeg foto's van donkergekleurde mensen zat.
Hier is het algoritme dus niet debet aan, maar de onderzoeker die de data voor het resultaat voorbereidde.

[bwerg]

Hier is het algoritme dus niet debet aan, maar de onderzoeker die de data voor het resultaat voorbereidde.

Ja, en dat is dus precies waarom het analyseren van een AI-algoritme zelf weinig zin heeft. Het is niet debet aan het resultaat waarop D66 nu garanties wil, dus die garanties kan het ook niet geven.

[Sk313t0r]

Een goede zaak, zeker met de groeiende technologie. Vraag me alleen af hoe het selectieproces gaat lopen als je onderdeel hiervan wil worden. Wie o wie kan mij dit vertellen?

[Astrix]

Gewoon vacatureselectie via een algoritme,

Een goede zaak, zeker met de groeiende technologie. Vraag me alleen af hoe het selectieproces gaat lopen als je onderdeel hiervan wil worden. Wie o wie kan mij dit vertellen?

Via geautomatiseerde algoritmes selectieprocedure. Een algoritmes, stelt men van te voren de selectie vragen in. En de hobby, sociale vaardigheden,opleiding enz. En het kandidaten profiel algoritme filtert de sollicitant(en) eruit die het beste voldoen aan de vooraf ingevoerde kwaliteitseisen.

[wildpicture]

Dit gaat in de praktijk dus nooit werken. Thought Control voor computers?

D66 wordt ook meer en meer een wereldvreemde partij die elk probleem als een juridisch probleem gaat zien. Zo zit de wereld niet in elkaar.

[Volv]

Algoritmes. Lekker vaag. En veel succes als ze machine learning algoritmes willen gaan controleren, want volgens mij is de grote uitdaging voor de wetenschap op dit moment nu juist om uit te vogelen waarom die mooie neural networks nou precies zo goed werken. Bovendien is wat NNs doen niet meer dan een functie fitten op een dataset om daarmee een geïnformeerde beslissing te kunnen maken wanneer nieuwe, voorheen onbekende informatie gepresenteerd wordt. Bijna gegarandeerd dat die niet in 100% van de mogelijke gevallen een correcte beslissing zal nemen, net zoals dat bij mensen werkt.
Mijns inziens moeten dit soort technologieën enkel als ondersteuning voor de mens gebruikt worden, niet autonoom belangrijke beslissingen nemen. Want dat gaat gewoon niet altijd goed. Altijd een mens het laatste woord geven.

Daarnaast zijn veel proprietary algoritmes voor bedrijven hun secret sauce en zullen ze die niet zomaar opgeven.

[Reactie gewijzigd door Volv op 25 juli 2024 23:58]

[sympa]

En zo'n "secret sauce" mag dan niet gebruikt worden op plaatsen waar het onvermijdbare invloed heeft, dus voor beslissingen van overheden en partijen met veel marktaandeel.
Dus geen "secret software" die bepaalt waar verkeerscontroles worden gehouden, wiens belastingaangifte wordt gecontroleerd, of wie een hypotheek krijgt van 1 van de grootbanken.

[Men_o]

Ik weet niet zo veel van dit gebied, maar is het niet zo dat het moeilijk is om er achter te komen waarom een neuraal netwerk de beslissing neemt omdat het "relatief veel" lijkt op een menselijk brein? Als een mens een beslissing neemt weet je de reden ook niet echt. Als jij wordt afgewezen op een sollicitatie door een persoon, weet je dan zeker of het komt door jouw ervaring, hobby's, uiterlijk, geslacht of iets heel anders?
Is het dan wel oké als deze ondoorgrondbare keuze door een mens gemaakt wordt, maar niet door een "algoritme"?

[sympa]

Als de keuze door een mens gemaakt wordt kan gevraagd worden naar het 'waarom'. Bovendien zijn er veel mensen, dus er is meestal wel een tweede kans.
Maar de kans is groot dat alle hypotheken door dezelfde AI worden beoordeeld... dan heb je dus geen tweede kans.
Overigens ook zo een reden om werkegevers die de social media logins willen hebben aan de schandpaal te nagelen. Al is dat eigenlijk een ander onderwerp...

[Men_o]

Jouw eerste punt is inderdaad een goede. Al weet ik niet of je van een persoon wel het echte antwoord krijgt. Iemand kan niet eerlijk zijn, of de reden kan op onbewuste factoren berusten.

Zou het tweede punt dan minder erg zijn als er verplicht verschillende AI's moeten worden gebruikt?

Derde punt volledig mee eens, al dan niet direct relevant.

Ik vind het overigens niet persee een goed idee om alles aan algoritmen e.d. over te laten. Meer interessant om te denken over dit soort dingen, en wat het onderscheid nou is tussen de menselijke beslissing en die van zo'n systeem.

[dabronsg]

Ik krijg een beetje het gevoel dat er opeens veel proefballonnetjes worden opgelaten. Ik heb elders de suggestie gelezen dat dat te maken kan hebben om de aandacht van de dividendbelasting af te leiden...