Premier Rutte: algoritmes moeten transparant zijn over redenen voor keuzes

Bij algoritmes moet het transparant zijn hoe ze tot bepaalde keuzes komen en daar moeten wereldwijde standaarden voor komen. Dat zei de Nederlandse premier Mark Rutte tijdens het World Economic Forum in het Zwitserse Davos.

Door die standaarden moet duidelijk zijn waarom algoritmes keuzes maken zonder dat ze daarvoor documenten van honderden pagina's doornemen, zei Rutte tijdens een discussie over het leven in deze eeuw. In die discussie sprak hij met Yuval Noah Harari, auteur van boeken als Sapiens en Homo Deus.

Die standaarden zijn er nu nog niet, aldus Rutte. "We hebben de betrokkenheid van bedrijven nodig", aldus de Nederlandse premier. "Die moeten het maken. De beslissing om wereldwijde standaarden te maken is aan de politiek, maar je hebt de technologische input nodig."

Rutte noemt kunstmatige intelligentie 'een verandering die mogelijk groter is dan de uitvinding van het internet zelf'. "En laten we erkennen wat voor goeds dit kan brengen op het gebied van gezondheidszorg, landbouw en kankeronderzoek bijvoorbeeld, als je niet naïef bent." Daarbij moeten landen samenwerken aan standaarden, zo vindt hij.

Door Arnoud Wokke

Redacteur Tweakers

23-01-2020 • 15:28

185

Reacties (185)

185
178
76
28
1
82
Wijzig sortering
Klinkt meer als of meneer Rutte wat roept wat wel leuk klinkt, maar waarvan de inhoud nergens op slaat.

Wat moet die standaard dan beschrijven? Het is helaas niet zo simpel als ik doe er X in en er komt Y uit als de basis van de beslissing een hele bak aan data is en je begint met neurale netwerken en zelf lerende systemen.

"Waarom heeft hij die beslissing gemaakt? Nou na 100.000 iteraties van dit probleem was dit de beste oplossing. We waren er zelf nooit opgekomen dus het staat niet in de standaard."

Transparant over de data zijn is geen probleem, maar dat je er geen 100 pagina's voor nodig hebt om het uiteindelijk te begrijpen als je dat uitschrijft is wat anders.

[Reactie gewijzigd door LOTG op 23 juli 2024 03:46]

Veel AI algoritmes, zo niet alle, zijn zogenaamde blackbox algoritmes. Deze naam hebben ze niet zomaar gekregen.

De ruwe berekeningen en uitkomsten van zo'n algoritme zijn zelfs door de eigen ontwikkelaar niet meer te begrijpen.

[Reactie gewijzigd door BlaDeKke op 23 juli 2024 03:46]

Maar je weet wel op welke data(sets) je de netwerken hebt getrained toch? En wat het verder als input krijgt.

Ik bedoel, stel iemand wordt door een neural netwerk als potentieel uitkeringsfradeur bestempeld, dan zou wel bekend moeten zijn welke data wordt bekeken door het netwerk. Bijvoorbeeld het strafblad en uitkeringsgeschiedenis. Een neuraal netwerk gaat niet opeens besluiten ook foto's van Facebook te schrapen (ik noem maar wat) om te kijken naar de kleur van de ogen.

[Reactie gewijzigd door Atmosfeer op 23 juli 2024 03:46]

Ik heb laatst een beetje gelezen over explainable AI (XAI). Je kunt je architectuur transparanter maken zodat je kunt visualiseren of op een andere manier uitleggen wat relevant is voor het algoritme. Leuk voorbeeld was een AI die paarden moest herkennen en bedacht had dat het copyright logo in alle paardenfoto's wel een goede indicatie was. Nu kun je de dataset blamen maar enige feedback wat er binnenin gebeurt is wel nuttig.

Een andere richting die meer aansluit bij jouw voorbeeld van de uitkeringsfraudeur is dat de AI aangeeft wat er veranderd moet worden om tot een andere uitkomst te leiden. Dat geeft ook meer inzicht in wat de AI belangrijke factoren vindt.

Ik ben het er wel mee eens dat we uitleg mogen verwachten van de AI. Anders krijg je situaties waarin de computer nee zegt en niemand snapt waarom en kan er iets aan doen. Dat moet je volgens mij niet willen.
Maar je weet wel op welke data(sets) je de netwerken hebt getrained toch? En wat het verder als input krijgt.

Ik bedoel, stel iemand wordt door een neural netwerk als potentieel uitkeringsfradeur bestempeld, dan zou wel bekend moeten zijn welke data wordt bekeken door het netwerk. Bijvoorbeeld het strafblad en uitkeringsgeschiedenis. Een neuraal netwerk gaat niet opeens besluiten ook foto's van Facebook te schrapen (ik noem maar wat) om te kijken naar de kleur van de ogen.
Maar stel je wordt als potentiël fraudeur bestempeld kan alsnog niemand je precies vertellen welk stukje info uit die data set de doorslag gaf. Je weet dus ook niet wat je kan doen om je status te verbeteren.
Ik heb aan de TU Twente eens een lezing bijgewoond waar ze voorbeelden gaven van AI die perongelijk een bias had ontwikkeld. Bij elk voorbeeld duurder het erg lang voordat men de aanleiding tot het ontwikkelen van deze bias begreep.
Zolang zo'n systeem enkel maar potentiële fraudeurs opzoekt is er toch geen probleem? Daarna gaat er gewoon een echte persoon de zaak effectief onderzoeken. Het is dan gewoon een beter systeem om er enkel waarschijnlijke fraudeurs uit te halen om een audit op te doen, dan random mensen te kiezen.
Anoniem: 532949 @T0mBa26 januari 2020 01:14
Deels mee eens, het probleem is echter dat men vaak te veel vertrouwen heeft in techniek, en liever lui dan moe is.
Kan me voorstellen dat men dan alleen nog maar gaat kijken naar de mensen die door het algoritme worden aangedragen. Echter zijn er fraudeurs zonder strafblad, uitkering geschiedenis of schuld. Die vallen nu nog minder op.
Er zal nog altijd bewijs geleverd moeten worden dat een rechter kan overtuigen.
Daarnaast, mensen met een opvallend profiel hadden, zoals een strafblad, hebben nu ook al veel meer kans op controle door menselijke controleurs. Een algoritme zal in staat zijn om naar veel meer parameters te kijken en zal verbanden kunnen leggen die een mens misschien niet kan.
Anoniem: 532949 @T0mBa26 januari 2020 13:18
Ja helemaal mee eens, maar u begrijpt mijn zorg voor het verkeerd gebruiken van deze techniek geloof ik wel.
Dat is ook niet geheel waar, het ligt wel echt aan de AI die ingezet wordt, een blackbox AI is inderdaad niet al te transparant, maar er zijn ook neurale netwerken die getraind zijn aan de hand van data sets waarbij duidelijke indicators naar voren zijn gekomen waaruit zou kunnen blijken dat <vul maar in>. Dat je, na normalisatie, op een score van 0.043 uitkomt voor een bepaalde voorwaarde/conditie kan wel bijdragen aan het transparanter maken van een AI. Het is dan de optel som die vaak doorslaggevend is. Een AI is nooit 100% waterdicht, maar je kunt een AI zeker wel transparanter maken en laten zien hoe deze tot bepaalde keuzes komt.
Dan moeten ze zich bijscholen in moderne technieken. Het is echt niet zo moeilijk om erachter te komen wat nou precies de redenen zijn voor een voorspelling. Academia loopt in deze behoorlijk achter op t bedrijfsleven, wat je niet zou verwachten.

Stuur me anders gerust een DM dan kan ik het ook prima een keer laten zien :)

[Reactie gewijzigd door Nefiorim op 23 juli 2024 03:46]

Anoniem: 532949 @Nefiorim26 januari 2020 01:11
De ontwikkelingen gaan hard op het moment en er zullen vast netwerken zijn die wel enigszins transparant zijn.
Een voorbeeld uit het bedrijfsleven, en Amazon is ook niet zomaar een bedrijf.
https://www.reuters.com/a...ainst-women-idUSKCN1MK08G
Je zult erop moeten letten dat de data(sets) niet slechte data sets zijn.
garbage in -> garbage out.

er is al aangegeven dat als je slechte data sets hebt slechte algoritmes ontstaan waaronder keuzes worden gemaakt die op die van mensen lijken, en een AI wel "biased" kan worden.

AI werkt dat je het een dataset geeft om aan te geven wat het resultaat is.
dataset
picture 1 = ok
picture 2 = ok
picture 3 = false
deze waardes zijn baseert op keuzes van mensen.
wat je krijgt is gewoon een verfijnder en sneller "blackbox-algoritme" die hetzelfde doel haalt.

Hetzelfde krijg je met fraude detectie.
fraude wordt door het algoritme gevonden waar het eigenlijk gewoon het vaakst voorkomt.
Dit zijn resultaten die zijn gevonden door mensen(foutgevoelige resultaten).
Goede "frauders" die niet worden detecteert worden ook niet als fout aangewezen , daardoor
wordt het black-box algoritme niet goed getraint.

Bij andere zaken waar je bijvoorbeeld structurele stevigheid van een vliegtuig verbetert om honderden sensoren erop te zetten in een vlucht, is een AI wel degelijk beter omdat het vliegtuig simpel niet kapot is.

daarnaast heeft Yuval Noah Harari, auteur van boeken als Sapiens en Homo Deus.
dat de mensheid bij grote veranderingen in economie en hun bestaan (hiermee doel ik op komst van AI en mogelijke veranderingen in toekomst), zich claimen aan "oude" en "traditionele" waardes omdat ze het onbekende "AI" nog niet goed genoeg kennen en wat misbruikt kan worden.
Regels van de overheid hierin kunnen leiding geven on onzekerheid weghalen.

Moet je wel iemand hebben bij de staat die snapt waar die mee bezig is.
en dat moet ik nog eerst zien :O :)
Maar dat is nu net het probleem. AI beslist in de VS al over veel zaken. Zo is er een programma dat uitkeringen moet controleren. Sommige mensen verliezen door die AI hun uitkering en niemand kan hen vertellen waarom omdat niemand het weet.
Bron? Want er zijn geen wetten die voorzien in een beslissing door AI, daarvoor is AI juridisch namelijk te ongedefinieerd.

Wat wél gebeurt is dat AI verdachte zaken selecteert waar een mens vervolgens over kan beslissen. Dat hebben we zelfs in Nederland. (SyRI)
What Happens When An Algorithm Cuts Your Health Care

Was lang geleden dat ik het artikel las en het blijkt niet over uitkeringen te gaan maar het komt op hetzelfde neer

[Reactie gewijzigd door monojack op 23 juli 2024 03:46]

Hoezo? Dat lijkt me bepaald geen AI systeem te zijn. Het is een algoritme. En niet eens een complex algoritme, zo te zien, maar een dom lineair systeem. Zoveel uur voor dit, zoveel uur voor dat, dus 32 uur hulp per week. En de uren per item zijn door een mens bepaald.

Een AI systeem zou leren van de werkelijke behoefte van gebruikers, en op basis daarvan een voorspelling doen voor nieuwe patiënten. Welke factoren daarbij meetellen zou je de AI niet eens expliciet vertellen, laat staan hoe zwaar die allemaal tellen. De enige impliciete bias is dat de AI natuurlijk alleen de factoren mee kan tellen die bekend zijn.
Mijn schuld, ik schreef AI terwijl het algoritme moet zijn maar daar gaat het dan over in deze topic
Dat is dan toch verkeerd? Je neemt toch geen beslissing over zonder onderbouwing? (Computer says no) Als de computer zo slim is om te bepalen waarom de uitkeringsgerechtigde zijn uitkering dient te verliezen moet hij de factoren kunnen aanleveren die tot de beslissing geleidt hebben.
Natuurlijk is dat verkeerd maar wat ga je doen want de computer says no. Tja niks tegen te beginnen dus. Klinkt inderdaad Little Britain maar daar evolueren we wel naar toe en dat is hoop ik wat Rutte wil voorkomen
Het is beetje zelfde als de uitkomst van een som, alleen begrijp je de berekening niet.
Kortom een bedrijf moet weten hoe zijn algoritme werkt en kunnen uitleggen. Anders mogen ze naar mijn in zien het niet gebruiken.
OK... dan vind ik dat mensen geen gebruik mogen maken van een smartphone of computer of automobiel wanneer ze niet kunnen uitleggen hoe die machines werken. :+

Niet om lullig te doen of zo overigens hoor.. maar het is dus wel een ietwat complexer issue dan simpelweg te stellen "je moet begrijpen of 't mag niet".

[Reactie gewijzigd door Ayporos op 23 juli 2024 03:46]

Dat gaat toch heel ergens anders over? Als jouw smartphone gebruik maakt van AI en daardoor beslissingen neemt die jij niet begrijpt, dan is dat toch jouw eigen probleem?

Het gaat hier toch om beslissingen die over anderen worden genomen? Stel je voor dat jij je uitkering kwijtraakt door een beslissing van een algoritme, dan is het toch normaal dat je uitkeringsinstantie kan uitleggen waardoor je 'm bent kwijtgeraakt? Daar heb je gewoon recht op. Dus als hiervoor algoritmes worden gebruikt, dan moet het algoritme ook aangeven wat de oorzaak is van het kwijtraken. Anders zou je toch nooit kunnen weten wat je moet doen om je uitkering weer terug te krijgen?

Dus Rutte heeft een goed punt. Het zal alleen een hele uitdaging worden om algoritmes zodanig te programmeren dat hiermee rekening wordt gehouden.
Ja en Nee... ik weet niet hoe het algoritme van stoplichten werkt.. en het heeft wel een directe impact op mijzelf. Éen van de stoplichten waar ik dagelijks voor sta ben ik van overtuigd dat ie t op mij gemunt heeft en hij laat me dagelijks 1 à 3 minuten wachten.. Heb ik het recht om te weten hoe die dingen werken?

Een vliegtuig waar ik in vlieg is grotendeels afhankelijk van allerlei computergestuurde programma's...
Heb ik het recht om aan Boeing te vragen "Hè, overhandig eens even die broncode+uitleg van het Flight System in jullie 747?"


Je hoeft iets niet per se helemaal te begrijpen om er gebruik van te kunnen maken en het is ook niet nodig om te kunnen oordelen of het iets goeds of slechts is om te gebruiken.

In fact, de meeste dingen gebruikten we al vóór we ze überhaupt snapten.
Je handen wassen bijvoorbeeld werd al gedaan vóór men uberhaupt af wist van bacteriën en virussen.. geloof destijds was dat je je handen moest wassen zodat de duivel niet in je huid kan kruipen. ;)

Ik ben zelf een zeer nieuwsgierige wetenschapper en begrijp ook liever alles en wil graag weten hoe alles werkt.. maar ga svp niet stellen dat dat een vereiste is, want dat is gewoonweg feitelijk onjuist.
In jouw voorbeeld over stoplichten zou volgens mij voor Rutte volstaan uit te leggen dat het algoritme de auto's naar links voorrang geeft, omdat te weinig doorstroming op dat traject de hoogste impact heeft.

Veel moeilijker dan dat moet je het niet maken
Mja maar ik snap het hele punt dan niet.. in welk opzicht zijn 'algoritmes' (of ie t nou over AI heeft of wat dan ook) niet 'transparant' genoeg?

In jou agrument is het voldoende om te zeggen dat dit het beste is voor de doorstroming..
Waarom is het dan niet afdoende om tegen iemand wiens zorgpremie verhoogd wordt door een AI Algoritme te zeggen dat dit het beste is voor de zorgverzekeraars' dekkingsgraad/marge? :)

Een ander mooi voorbeeld als tegen arugment voor het hele 'AI is eng en een zwarte doos ieeuhw' argument zijn Random Number Generators. RNGs zijn een essentieel onderdeel van allerlei zaken van slotapparaten in een casino tot aan encryptie key generatoren die door de hoogste overheidsinstanties gebruikt worden... en van een RNG wil men JUIST dat het zo veel mogelijk een 'black box' is.. keuzetransparantie is dus niet altijd wenselijk.. sterker nog, het is soms zelfs uitermate onwenselijk! :X

[Reactie gewijzigd door Ayporos op 23 juli 2024 03:46]

Een random generator moet zo duidelijk mogelijk random zijn. Niet voorspelbaar. maar wel transparant zodat gezien kan worden dat het echt random is. Bijvoorbeeld: "heeft geen enkele input, kan dus niet valsspelen". Bij een loterij zou ik het erg verdacht vinden als namen van klanten en de lotnummers aan de randomgenerator gevoerd zou worden.
Waarom is het dan niet afdoende om tegen iemand wiens zorgpremie verhoogd wordt door een AI Algoritme te zeggen dat dit het beste is voor de zorgverzekeraars' dekkingsgraad/marge? :)
Technologie zelf is niet goed of slecht, maar ook niet neutraal. Er bestaat een reëel gevaar om te denken dat een AI slimmer is dan het is. Ook AI's kunnen fouten maken zonder dat we er erg in hebben. Een AI laat namelijk niet weten of het aan het resultaat is gekomen door middel van problematische methoden, het laat alleen het resultaat zien. Voor sommige toepassingen is dit totaal niet erg, en kan het juist leuk zijn als een AI af en toe iets raars doet. Bij iets belangrijkere zaken is het juist wel belangrijk om te weten of een AI fouten maakt. Dan kan je bijvoorbeeld statistiek onderzoek doen naar de resultaten van de AI. Maar bij bureaucratische zaken als uitkeringen, zorgverzekeraars en rechtbanken kunnen fouten die AI's maken grote gevolgen hebben en de rechtvaardigheid schade toebrengen. Bovendien wil je bij zulke zaken kunnen uitleggen aan de mensen waarom een beslissing is genomen omdat ze zich er dan sneller bij neerleggen, of iets aan hun leven veranderen zodat ze de volgende keer een beslissing voor hun wel positief uitvalt.
Wat jij zegt is toch precies wat ze bedoelen in deze comment train? :) De mens wordt enorm dom, en weet niet eens de gevolgen van wat ze op hun mobiel aan het doen zijn.
Je hebt helemaal gelijk, maar zijn commentaar hieronder. Actueel belastingdienst, mensen de vernieling in en openheid over hun beslissing, die van een mens is er ook vaak nog niet. Nu moet ai openheid geven terwijl de mens dat al niet doet en dus ook vaak verkeerd zit.
AI is wat dat betreft net een mens. De ene komt tot conclusie x de ander tot conclusie y op basis van dezelfde informatie.

Politici heb je links recht midden allemaal andere mening over dezelfde feiten.

Openheid over algortime. Rutte doet er goed aan eerst eens actueel naar de belastingdienst te kijken die schijnbaar al zonder algoritme mensen de vernieling in heeft geholpen. Let wel dit zijn mensen die beslissingen nemen tot een conclusie komen dat iemand fraude pleegt, naheffing en de vernieling in. Rutte is nog steeds niet in staat de logica van die beslissingen uit te leggen.
op basis van dezelfde informatie komen andere mensen nu tot een andere beslissing.

Leuk dat je dan iets over ai roept maar je slaat de plank totaal mis.
Ik ken de situatie niet in NL, heb wel iets gehoord over de belastingsdienst en politici die naar de gevangenis moeten dacht ik maar veel verder is dat nieuws niet Belgie binnen gesijpeld.

Wat ik versta is dat je wil zeggen dat hij de laatste zou mogen zijn om zo'n voorstel te doen maar het doet niets af aan het feit dat wat hij zegt wel hout slaat als je het los kan zien van wat er in Nederland gebeurt.
Het is en blijft populaire praat, algoritmes moeten open zijn. Algoritmes leren zelf zaken aan, het algoritme staat niet vast, het is dynamisch.
Hoe kun je een dynamisch systeem vragen om uitleg over een beslissing.
Welke beslissing je ook neemt en welke uitleg er ook komt het roept altijd weer discussie en vragen op waarom deze beslissing genomen is.

Dat begint Rutte over AI, een onderwerk dat nog dynamischer is. Waarom nemen wij als mens bepaalde beslissingen, soms uit je onderbuik, een gevoel, dan rationeel. Wij mensen zijn al moeilijk te begrijpen dus laat staan dat we nu AI willen gaan begrijpen. AI zoals gezegd nog dynamischer nog in groei moet dadelijk dus uitleg gaan geven voor een beslissing, er moet een standaard voor komen.
Rutte zelf neemt ook beslissingen en de achtergronden zijn vaak ook gewoon keihard onduidelijk, dus de mens hoeft zich straks niet te verantwoorden, aAI, gemaakt door de mens wel.
Het is leuk geprobeerd, leuk populistisch, maar AI is een groter probleem en dat zijn vooral landen die macht willen, lees USA, Rusland China die laten zich niet binden.
Niet alle AI is neuraal netwerk gebasseerd toch?
Er zijn genoeg algoritmes die inderdaad mensen een bepaald stempel opdrukken, en vervolgens niet onderbouwen waarom. Voor een deel inderdaad omdat de persoon achter het loket echt niet weet wat de beweegredenen van het programma zijn, en als ze dat al weten dan mogen ze het niet vertellen, want dat maakt het mogelijk om het algoritme te omzeilen/uit te buiten.
(Leestip: Weapons of Math Destruction)
Is het wel ethish om met machine learning (of met software in het algemeen) mensen te veroordelen?

Tegen zoiets valt sowieso weinig in te brengen in je verdediging.
Ik werk in AI/NLP en dit is absolute zever. Je weet als ontwikkelaar perfect wat er in je model gebeurt. Welke activatiefuncties met welke variabelen voor een bepaalde output zorgen. Als je dat niet weet, dan moet je je bijscholen.

Je krijgt hier een totaal onterechte +2 omdat iedereen meegaat in die 'fear of AI', maar het is to-taal overroepen.
Dus blackbox algoritmes zijn nonsense? Of AI is niet steevast een blackbox algoritme?

[Reactie gewijzigd door BlaDeKke op 23 juli 2024 03:46]

Klopt. Je kan perfect achterhalen waarom een bepaalde input een bepaalde output geeft. Je kan ook perfect achterhalen waarom de latente variabelen in je model worden getraind naar x of y. Het is allemaal "maar" gewoon wiskunde (moeilijk wiskunde, dat wel), maar het is niet iets dat plots is ontstaan alsof het buitenaards is en wat we niet begrijpen. We begrijpen het perfect.
Dat is ondertussen enorm achterhaald. Indicatoren zijn prima uit die algoritmen te halen. Zie bijvoorbeeld:
https://www.datarobot.com/wiki/prediction-explanations/
Ik denk dat meneer Rutte, of tenminste zijn adviseurs, bedoelen dat het deterministische gedrag van een beslissingsketen moet worden weergegeven volgens een bepaalde standaard.

Vraag mij ook niet hoe, want ik ben geen expert, maar de totstandkoming van een beslissing is sowieso handig. Dat leren we ook op school met bijvoorbeeld wiskunde; het antwoord is niet enige dat je moet leveren, de weg er naartoe ook. En ook die weg er naartoe is gestandaardiseerd, want we begrijpen deze en daar wordt je ook op getest.
Dus jij weet precies welke hersencellen daarbij betrokken zijn en wat ze doen.
Dat is alsof we moeten weten welke transistoren het behandeld hebben bij die AI, slechte vergelijking dus, want dat wil Rutte helemaal niet...

Als wij iets roepen wordt er ook onderbouwing verwacht, die onderbouwing dat is dus wat we ook willen als een kunstmatige intelligentie tot een 'antwoord' komt.

[Reactie gewijzigd door watercoolertje op 23 juli 2024 03:46]

Ik ben op dit gebied een totale leek, maar ik weet wel dat er deterministische neurale netwerken zijn. Bij dit soort netwerken kan je dus wel de beslissingskarakteristieken nagaan of zelfs bepalen. Maar nogmaals; ik ben geen expert.

Bij kritische beslissingen wil je kunnen nagaan waarom en hoe een keuze is gemaakt. Hiermee kan je bijvoorbeeld processen verbeteren of mensen naderhand tenminste uitleggen waarom er bijvoorbeeld in een wijk extra wordt gecontroleerd (wanneer dit met AI bepaald wordt) op inbraken of waarom niet. Biassing is een heel belangrijke variabele in beslissingsketens.
De meeste neurale netwerken in productie zijn zelfs deterministich; de gebruikelijke oorzaak van non-determinisme is het leerproces. Maar eenmaal in productie worden de meeste netwerken bevroren. Een continu-lerend netwerk is doorgaans niet deterministisch.

Een andere vorm van niet-determinisme zie je in netwerken die ontworpen zijn om bestand te zijn tegen "adverserial attacks". Indien een netwerk opzettelijk random ruis introduceert, dan is het veel lastiger om een input te ontwerpen die een volledig fout resultaat geeft. Dat is echter hard in strijd met wat Rutte hier beschrijft. Als het AI algoritme om een uikering te krijgen volledig deterministisch is, dan is het dus ook veel makkelijker om te frauderen.
Het is misschien nog niet bewezen omdat het praktisch niet mogelijk is maar... is niet alles deterministisch? En ben jij niet echt een "agent" die echt vrije keus hebt? ;) Alles wat je doet in je leven is actie-reactie? Heerlijk om in vast te lopen qua denkwijze. Niks doet er eigenlijk ook toe. We leven puur uit eigen egocentrische evolutie om maar zo lang mogelijk te blijven bestaan. :) Wat zijn we toch zielig als mensen.

[Reactie gewijzigd door Immutable op 23 juli 2024 03:46]

Wellicht bedoel je dat het gedrag op lange termijn niet deterministisch is als je on-the-fly blijft bijleren, maar voor een gegeven situatie zijn de uitkomsten van neurale netwerken en vrijwel alle andere gangbare algoritmen volledig deterministisch. Stochasticiteit kun je in principe ook bij predicties toepassen maar ik kan me geen model herinneren dat dat doet. Stochasticiteit wordt zoals je schrijft inderdaad veelvuldig toegepast bij het trainen van modellen.
Belangrijke beslissingen wil je gecontroleerd hebben door mensen. Het algoritme is dan niet meer van belang, aangezien deze slechts suggesties doet en de fysieke persoon verantwoordelijkheid draagt voor de genomen beslissing.
Daar denk je net even te makkelijk over, je wilt kunnen verifiëren of de uitkomst eigenlijk wel de beste is. Dit omdat bij het trainen van AI bias ingebakken kan worden, dat wil je herkennen en weten wat je er aan moet doen.
En dit is nog maar een van de voordelen om te weten hoe AI tot een beslissing komt.
Natuurlijk heeft het voordelen om dat te weten, maar de aard van de techniek zoals die nu bestaat is dat dat niet kan. Het transparant maken van deze modellen (XAI) is een vak apart en daar wordt nu onderzoek naar gedaan.

Wat politiek betreft kan ik me dan voorstellen dat "AI" verboden wordt als het niet "XAI" is, maar zo ver zijn we nog niet en daarmee zouden we bepaalde vooruitgang zeker uitstellen.
De minister president roept niet zomaar wat leuk klinkt, hij spreekt zijn visie uit over de toekomst. Hij kan hier een punt van maken binnen zijn kabinet waardoor er naar oplossingen worden gezocht. In dit geval is dit niet iets wat Nederland in zijn eentje kan veranderen en daarom probeert hij wereldwijd alle neuzen dezelfde richting op te krijgen. Door het onder de aandacht te brengen tijdens een prominent evenement kan hij wereldwijd mensen ertoe bewegen om erover na te denken en om met oplossingen te komen.
Ik geloof niet dat we Rutte en visie aan elkaar moeten gaan linken. Ik denk dat er geen algoritme bestaat die een relaties zal vinden om deze twee te verbinden :P
Die standaarden zijn er nu nog niet, aldus Rutte. "We hebben de betrokkenheid van bedrijven nodig", aldus de Nederlandse premier. "Die moeten het maken. De beslissing om wereldwijde standaarden te maken is aan de politiek, maar je hebt de technologische input nodig."
Jammer dat hij hier over bedrijven begint in plaats van wetenschappers, maar mijns inziens is het heel redelijk wat Rutte hier zegt.

Er is een wens en nood om transparantie te eisen over belangrijke beslissingen zoals iemand geen kans geven op borgtocht vrij te komen nadat je gearresteerd bent, wanneer de overheid iemand als risicovol gaat aanmerken in context van staatsveiligheid, wanneer een instantie vindt dat jij niet kredietwaardig bent/geen verzekering wilt aanbieden en zo zijn er nog tal van voorbeelden. Het is echter geen opgelost probleem hoe zo’n verklaring eruit moet zien. Zeggen ‘het kan niet’ is natuurlijk fantastisch als je als bedrijf gewoon lekker wilt doen waar je zin in hebt maar ver bezijden de waarheid. Natuurlijk kun je de herkomst van een beslissing of berekende score herleiden. Dit is technisch zeer ingewikkeld en daarom is nu met een standaard komen een moeilijke of wellicht zelfs onmogelijke opgave. Die standaard zal er wel (snel) moeten komen.

Dit is wat ik lees en ik kan me als wetenschapper actief in dit vakgebied er prima in vinden.
Dat is ook zijn taak, inhoudelijk moet hij dat overlaten aan zijn adviseurs en experts.
Ik ben hier in een andere topic een beetje in de mist gegaan, maar ik begrijp Rutte maar al te goed. Ik geef twee voorbeelden:

Voorbeeld van een heldere uitleg
De vlookupfunctie in Excel:

Use VLOOKUP when you need to find things in a table or a range by row. For example, look up a price of an automotive part by the part number, or find an employee name based on their employee ID.

Voorbeeld van een uitleg waar ik de knijt van snap:

Windows zorgt voor een "betere" ervaring op basis van "mijn voorkeuren". Ik zou toch minstens gedetailleerder willen weten wat dat exact allemaal inhoudt, of maw zou ik toch beter weten hoe dit geïmplementeerd werd. Dat dit niet in de help ballon staat, kan ik nog begrijpen, maar ik zou toch graag een directe link hebben naar een concrete uitleg daarover.
Rutte is hier letterlijk maar wat aan het zeggen. Totaal inhoudsloos.

'Er moeten standaarden komen'
'Landen moeten samenwerken'
'Het kan veel goeds brengen'

Complexe zaken enorm vereenvoudigen is vaak een heel slecht plan. Dat is precies waardoor politici en de burger standaard krankzinnige keuzes maken als het op IT aankomt.

Dan kom je al snel uit bij

'Durr, laten we een achterdeur in versleutelingen bouwen zodat we boeven kunnen vangen'
en 'Gebruikers zijn veiliger als elke website moet vragen of er gegevens mogen worden opgeslagen'.

Voor mensen die er helemaal niks van begrijpen klinkt het dan best logisch. Het treurige blijft dat veel van die mensen posities bekleden waarbij ze ook nog eens de verantwoordelijkheid dragen en dat soort zaken erdoorheen proberen te pushen.
Rutte is dan ook minister van Algemene Zaken. Heb je liever een minister-president die van veel dingen een beetje weet of van een paar dingen heel veel? Ik vermoed dat binnen de VVD er adviseurs (of wellicht Tweede Kamerleden) naar voren zijn gestapt om dit onderwerp aan te kaarten. Het is dan aan Rutte (en zijn eventuele werknemers) om dit zo te verwoorden dat het voor het gehele publiek en de gehele bevolking te begrijpen is.

Een expert vinden die toch in staat is om aan 90% van de bevolking uit te leggen waarom x op y manier wordt opgelost, is een onbegonnen zaak.
Je kunt voor ieder onderwerp standaarden beschrijven. Dus waarom niet voor dit onderwerp? Je hebt alleen wel mensen nodig met een denkvermogen dat onze pet te boven gaat. Moet je kijken wat voor mensen in 3GPP of IETF de standaarden definieren. Dat kaliber moet je hebben om een standaard te beschrijven. En die zitten niet in de politiek of de overheid ,dus Rutte heeft helemaal gelijk.
Dat is het probleem van de politiek, ze zitten er voor zichzelf, goedkoop punten scoren en doen alsof je Einstein bent
Het gaat vooral om dat hij een zin heeft uitgesproken waar veel mensen van denken. "Tjonge, wat ingewikkeld allemaal. Dit zal dus allemaal wel moeten kloppen".
Anoniem: 427069 @LOTG23 januari 2020 18:02
Algoritmes variëren van iets heel eenvoudigs tot iets onbegrijpelijks complex, maar voor de meeste media en politiek word alles waar men geen verstand van heeft op 1 hoop gegooid. De betekenis van een algoritme is eigenlijk een set instructies op invoer loslaten en en kijken wat de uitkomst is.

Ik neem meestal aan dat wanneer het woord 'Algoritme' word genoemd er eigenlijk AI bedoeld word. Daarvan begrijp ik nog wel dat men wil weten hoe een resultaat tot stand is gekomen.
Als we toch bezig zijn: AI is dan toch vooral reinforcement learning (zoals DeepMinds algoritmen die spelletjes leren spelen) of reasoning (zoals Excel Flashfill) en daar gaat het eigenlijk vrijwel nooit over in de context van het nemen van beslissingen of maken van analyses. Het gaat over gewone predictieve machine learning.

[Reactie gewijzigd door Jefrey Lijffijt op 23 juli 2024 03:46]

Net of de politieke keuzes van Rutte transparant zijn en duidelijk hoe hij daartoe gekomen is.... Pot verwijt de ketel.
En daarom mag de ketel doen wat ie wil?
Prima actie van Rutte, en precies het soort principe-besluit dat we nodig hebben.

Remt dit de bewegingsvrijheid van iedere zot die net in staat is om een of ander vaag datasetje door een neuraal netwerk te flikkeren om vervolgens het getrainde netwerk gedachtenloos ergens voor een of anderdoel in productie te zetten? Zonder de flauwste notie wat het ding doet, hoe, en waarom? Jazeker.

Remt dit de beweginsvrijheid van personen en organisaties die in staat en bereid zijn een verantwoorde statistische analyse te doen van een dataset en daarop een welbegrepen classificatie- of risico model te ontwikkelen? En die goed begrijpen waarom hun model in voorkomend geval het resultaat geeft dat het geeft (op een niveau dat je voor een rechter kan gebruiken om je beslissing te rechtvaardigen)? Neen.

Kortom: een uitspraak zoals deze doet precies wat je maatschappelijk gezien zou willen.Kaders stellen en uitgangspunten formuleren. Zo gaat dat in de werkelijke wereld: op topniveau worden principe beslissingen genomen en kaders gesteld. De niveaus daaronder mogen dan in de aangegeven richting verder werken.
Denk dat hij een punt probeert te verwoorden, maar door het gebrek aan preciesheid een hoop verwarring creëert.

Wanneer je bijvoorbeeld kijkt naar de kamerbrief over waarborgen tegen risico's van data-analyses door de overheid (link), zie je op pagina 7 dat op het gebied van uitlegbaarheid van de overheid wordt verlangd dat het "erom [gaat] dat de
uitkomsten van data-analyses en hoe deze tot stand zijn gekomen, in
begrijpelijke taal moeten kunnen worden verklaard aan betrokkenen.

Gedacht kan worden aan maatregelen die duidelijkheid geven over het toegepaste model of
algoritme, het doel dat daarmee wordt nagestreefd, de procedures die door het
algoritme worden gevolgd, de gebruikte datasets inclusief de kwaliteit en
herkomst daarvan en de variabelen en/of beoordelingscriteria die doorslaggevend
zijn geweest voor de uitkomst
. In het verlengde hiervan zou als uitgangspunt
moeten gelden dat overheidsorganisaties geen algoritmes mogen hanteren die te
complex zijn om redelijkerwijs te kunnen worden uitgelegd
."


De vraag is natuurlijk wanneer het te complex is, maar als je deze kamerbrief leest is het een stuk duidelijker. Bovendien zou de informatievoorziening nog gedetailleerder moeten zijn, wanneer men de informatie niet verkrijgt door informatievoorziening van de overheid (zie p. 7, punt ii).
Hoe werkt dat bij neurale netwerken en wanneer is dat 'duidelijk'? Zoiets vraag ik me dan af :)
Ik weet niet in hoe verre je bekend bent met neurale netwerken in het algemeen, maar voor als jij (of andere) er niet zo bekend mee zijn, hier is een generieke overhaastte samenvatting:

Je hebt verschillende soorten netwerken en allemaal hebben ze verschillende vereisten, maar uiteindelijke proberen ze allemaal soort van hetzelfde, namelijk een klasse toekennen aan de data die binnen komt. Dat kan zijn een hond herkennen in een foto, of een appel aan de hand van gewicht, vorm, kleur, etc. Sommige netwerken hebben verificatie nodig, waarbij ze kunnen controleren of wat ze hebben bedacht goed is, waar anderen generiek proberen de data te verdelen in X klassen. En zo gaat het maar verder en verder.

Wat ongeveer generiek is tussen al deze netwerken is dat ze de input data op een bepaalde manier gaan wegen. Bepaalde data word zwaar meegewogen en sommige data gaan ze eigenlijk negeren. Hoe ze tot deze verdeling komen is wat moeilijker te begrijpen en er zit veel wiskunde achter, maar meestal komt het er op neer dat tussen de verschillende klasse er veel verschil zit in de informatie die ze belangrijk achten.

Een voorbeeld hier in: stel je wilt de computer apple van de vrucht onderscheiden, dan kan gewicht of formaat een goede aanwijzing zijn. Ga je echter naar een kist appels toe, dan kan het zijn dat de verschillende minder zijn en gaat het neurale netwerk op zoek naar andere eigenschappen/features die wel het verschil maken.

Als je deze wegingsfactor na het trainen van een neuraal netwerk gaat analyseren kun je in simpele gevallen wel achterhalen wat voor data belangrijk word geacht. Wat een stuk moeilijker is, is om te achterhalen waarom deze data belangrijk word geacht. Dat is een stukje semantiek die voor alle wiskunde er achter niet uitmaakt. En dan ga je er van uit dat alles makkelijk terug te leiden is naar de initiële data als een lijst van gegevens, maar ook dat is niet altijd het geval. Bij het classificeren van plaatjes is dat bijvoorbeeld een stuk moeilijk, en dat heeft ook zijn eigen urban legends over het herkennen van Russische of Amerikaanse tanks

En zelfs als we het wel goed kunnen terug leiden wat zwaar mee telt is het alsnog maar de vraag of ons dat helpt. Want de vraag die Rutte beantwoord wil zien is niet wat zwaar mee telt, maar waarom. Dat is echt geen slechte vraag, maar is erg moeilijk te bepalen. Er zit harde wiskunde achter, die is te verklaren. En het model wat daar uit komt heeft zijn redenen voor bepaalde wegingen. Maar je moet je ook afvragen: is de data waarop het gebaseerd is wel goed? Heb je wel genoeg data om mee te trainen? Hoe zit het met verkeerde herkenning?
Wat je nu beschrijft zijn classificiatie-modellen (X klassen). Dat is een hoofdgroep, maar regressie-modellen zijn een andere groep. Zo kan een AI een voorspelling maken van een salaris op basis van opleiding, jaren ervaring, part-time of full-time, en zulke factoren. Zo'n AI beoordeel je dus niet op "goed of fout", maar op hoeveel euro de voorspelling ernaast zat. Dat is dus een analoge in plaats van een binaire fout.

Zo'n algoritme maakt dus geen keuze, maar je kunt je voorstellen dat een bank zo'n algoritme gebruikt om te bepalen of je een hypotheek wel kunt betalen in de toekomst. Dan is er dus wél een harde keuze, en de bank kan onderbouwen waarom je die hypotheek niet kan betalen met het voorspelde inkomen. En dan wortd het probleem dat het model nooit "goed of fout" is.

Hier zijn simpelweg geen goede, bevredigende oplossingen voor.
Dit ja...het resultaat van een algoritme is gebaseerd op de input en alle voorgaande inputs daarvoor (waarbij 'trainingsinstructies' ook als input tellen), waarbij de volgorde van die inputs ook van belang is.

Waarom algoritmes doen wat ze doen, is omdat ze gebaseerd zijn op meer data (inputs) dan dat een mens kan verwerken. Het ligt feitelijk dicht bij hoe een mens over de jaren leert, ons denken zou je als duizenden algoritmes kunnen beschouwen. Opschrijven hoe die "algoritmes" werken zou ook jaren aan waarnemingen en interpretaties daarvan behelzen en dat gaat echt niet lukken in een paar A4'tjes. Dat geldt nog sterker voor algoritmes waar het hier over gaat, omdat het hele idee is dat het algoritme meer en sneller leert dan vele mensen tijdens hun leven zouden kunnen (bv. algoritmes voor medische diagnose).
Tsja, je kan natuurlijk opschrijven hoe het model gestructureerd is en waarom, en hoe de data gekozen / gefilterd is en waarom. Daarnaast kan je een soort factoranalyse loslaten op het netwerk om op hoog niveau te achterhalen welke factoren een groter of kleiner effect hebben.

De keuzes helemaal doorgronden lukt daarmee niet, maar als je open bent over alles wat je kan achterhalen en een poging doet om zo veel mogelijk duidelijkheid te scheppen, dan denk ik dat je al 100x verder bent dan bedrijven als YouTube of Facebook die zich achter schimmige algoritmes en vage richtlijnen verbergen om overal mee weg te komen.
Het vervelende met Neurale Netwerken (en veel andere vormen van machine learning) is dat er geen direct relatie is tussen onze wetten en regels en het netwerk. Dit soort technieken zijn typisch enorm opportunistisch op een manier die zeer discriminerend over komt als je naar de rauw feiten kijkt.
Dit soort algoritmes zoeken zelf een verband tussen inputs en outputs. Als je het gaat uitzoeken krijg je dan regels als "het verschil tussen een auto en een vrachtwagen is dat een auto nooit 3 gele pixels op de bovenste helft van het plaatje heeft staan". In praktijk kan dat prima werken (vrachtwagens hebben hun nummerplaat hoger zitten dan gewone auto's), maar als je een boete krijgt omdat de computer 3 gele pixels heeft gezien dan zal niemand dat een goede reden vinden, zelfs als dat in praktijk wel de juiste beslissing oplevert.

In praktijk zou het waarschijnlijk dan via een tussenstap gaan en een hele hoop deelregels ter verklaring. "U krijgt een boete omdat u te hard reed in een vrachtwagen. We weten dat u in een vrachtwagen reed omdat we drie gele pixels zagen, en geen 4 rode pixels, en wel twee witte cirkels en een groen streep maar geen blauwe golfjes, etc. etc. etc." Waarbij al die deelregeltjes vast helemaal waar zijn, maar je hebt er niks aan.

Daarmee zeg ik nog niet dat het voorstel van Rutte slecht is, alleen dat het in praktijk wel eens lastig zou kunnen zijn.

[Reactie gewijzigd door CAPSLOCK2000 op 23 juli 2024 03:46]

Dat is geen heel realistisch voorbeeld. De eerste generatie neurale netwerken probeerde inderdaad op die manier beelden te herkennen. Voor handgeschreven cijfers werkt dat nog, maar een vrachtwagen ga je er niet mee herkennen.

Een modern beeldherkennend netwerk is vrijwel zeker een CNN (Convolutional Neural Network). Dat breekt een beeld op in fragmenten, niet in pixels. Je vrachtwagen wordt dan waarschijnlijk herkend omdat die veel scherpe randen heeft. Maar een Tesla Cybertruck? Of een auto vol beplakt met reclame? Geen idee hoe die herkend worden.
Een modern beeldherkennend netwerk is vrijwel zeker een CNN (Convolutional Neural Network). Dat breekt een beeld op in fragmenten, niet in pixels. Je vrachtwagen wordt dan waarschijnlijk herkend omdat die veel scherpe randen heeft. Maar een Tesla Cybertruck? Of een auto vol beplakt met reclame? Geen idee hoe die herkend worden.
Je hebt ongeveer gelijk maar dat verandert niks aan mijn punt, of je nu pixels, lijnen of randen herkent maakt geen verschil. Het netwerk heeft geen inzicht in wat het ziet.

(De stukjes die gebruikt worden zijn vaak eenvoudige patroontjes. bv "horizontale lijn", "gradient van linksboven naar rechtsonder")

[Reactie gewijzigd door CAPSLOCK2000 op 23 juli 2024 03:46]

Wat je beschrijft met "eenvoudige patronen" gaat op voor CNN's met maar 1 convolutie-laag. Maar je kunt convolutie-lagen stacken om complexere patronen te herkennen.
Dat klopt, maar nog steeds komen die combinaties typisch niet overeen met concrete en afgebakende objecten als "er zijn vier wielen"
Dat lijkt me ook een slecht criterium - lang niet alle vrachtwagens hebben 4 wielen, en vaak zijn niet alle wielen zichtbaar. Maar we weten dat wielen als onderdeel inderdaad herkend worden door huidige CNN's.
Een CNN voor IR of OCR vertrekt nog steeds van de pixels hoor. Daaruit maakt ie dan abstracties van edges, tot kleuren, tot vormen, tot patronen.
Ik vond dit een leuk artikel: "Why deep-learning AIs are so easy to fool", https://www.nature.com/articles/d41586-019-03013-5
Discriminerend? Net niet.

Ik begrijp wat je wil zeggen, denk ik. Zo heb je bijvoorbeeld een post van een tijdje terug waar de Chinese overheid een AI homoseksualiteit doet voorspellen op basis van gezichtskenmerken. En stel nu eens dat jij net daar een sproetje hebt waar 99% van de homoseksuelen dat ook heeft, en jij bent niet homoseksueel - dat heeft in China grote gevolgen. Op die manier is het "discriminerend", maar het neurale netwerk doet niéts anders dan naar de "rauwe feiten" kijken en daar probabilistische kenmerken uit generaliseren. Het is dus net "niet" discriminerend, als je er zo naar kijkt.
Discriminerend? Net niet.

Ik begrijp wat je wil zeggen, denk ik. Zo heb je bijvoorbeeld een post van een tijdje terug waar de Chinese overheid een AI homoseksualiteit doet voorspellen op basis van gezichtskenmerken. En stel nu eens dat jij net daar een sproetje hebt waar 99% van de homoseksuelen dat ook heeft, en jij bent niet homoseksueel - dat heeft in China grote gevolgen. Op die manier is het "discriminerend", maar het neurale netwerk doet niéts anders dan naar de "rauwe feiten" kijken en daar probabilistische kenmerken uit generaliseren. Het is dus net "niet" discriminerend, als je er zo naar kijkt.
Dank, ik had moeten oppassen met het woord 'discriminatie', dat ligt nogal gevoelig en het heeft in de context van neurale netwerken ook nog een dubbele betekenis. Strict genomen is de functie van ieder neural netwerk om 'onderscheid te maken', maar dat is niet wat ik bedoel.

We mensen hebben bepaalde regels over zaken die wel en niet mogen, argumenten en redenaties die je wel of niet mag maken.
Zo mag je niet iemand weigeren op grond van huidskleur.
Zo'n beetje iedere verklaring die begint met "persoon X heeft huidskleur Y" is automatisch niet geschikt, zelfs als het in praktijk 100% klopt. Een Neuraal Netwerk kent die regels niet. Een NN zal snoeihard kiezen voor de oplossing die het meest voor de hand ligt.
Als een algoritme niet op huidskleur mag beslissen, moet je hem daar nooit mee voeden.
Huidskleur zit ook versleuteld in voor- en achternamen, in de gevolgde school(vestiging), verhuisdatum plus postcode, en ga zo maar even door.
Er zal altijd een correlatie zijn tussen dingen waar je wel en niet op mag beslissen. Op die manier mag je praktisch nergens op beslissen wegens de mogelijkheid dat het gecorreleerd kan zijn. B.v. in de ene provincie wonen meer zwarte mensen dan in de andere provincie (het is no-way exact gelijk), dan zou je dus niet meer op provincie mogen onderscheiden?

[edit] het ziet er een beetje dubbel uit omdat ik het zelfde voorbeeld gebruik, hoop dat je snapt wat ik bedoel ;)

[Reactie gewijzigd door Troepje op 23 juli 2024 03:46]

Ook op provincie zou je niet moeten selecteren, maar ik snap het voorbeeld. Aan de andere kant - iets als Benford's Law is het soort statistiek dat me wel bevalt. Gooi de cijfers van een boekhouding in een statistisch proces en er verschijnt 'logisch' of 'niet logisch' als output. Namelijk door te kijken hoe getallen statistisch gezien verdeeld zijn (als een bdrag elke maand 10 procent verhoogd wordt gaat het 1, 1.1 en het duurt een paar stappen lang tot het bij 2 is. Van 9.x tot voorbij de 9 is in 1 of uiterlijk 2 stappen gebeurd. Daardoor moeten er altijd meer 1xxx bedragen dan 9xxx bedragen - tot iemand de cijfers heeft bijgewerkt).
Vergelijkbare methodes kunnen vast bij verzekeringsclaims (op schadedatum, - bedrag of -plaats) e.d. toepassing vinden. En dat kan ook met een NN.
Ja precies, dat is het hele idee, je koppelt je getallen aan bijvoorbeeld een neuraal netwerk en dan vindt ie het optimum wel. In het geval van een menselijk proces kan het zijn dat je Benfords verdeling er uit krijgt. Het idee is alleen dat de AI dus zelf de verdeling gaat fitten, dus het kan zijn dat je AI een hele andere verdeling verondersteld, voornamelijk in de latente ruimte is het moeilijk te volgen. Wat ik bedoel te zeggen is dat wat in eerste instantie discriminerend lijkt, best een "juiste" beslissing kan zijn. Volgens mij is het dus zo dat zolang je de eigenschap waar je expliciet niet op wilt beslissen, niet meeneemt in de statistiek, je de kleinste kans hebt om daarop onderscheid te maken. Uiteindelijk kan de statistiek ook uitwijzen dat een bepaald vooroordeel of andere "discriminerende" eigenschap toch zeker een correlatie heeft. Om dat koste wat het kost proberen recht te trekken lijkt mij raar, waarom maak je anders zo'n "algoritme"?
Tja, het kan best zijn dat mensen met bijvoorbeeld een bepaalde kleur vaker crimineel zijn. We hebben echter afgesproken (om goede redenen) om daar niet op te selecteren.
In plaats daarvan hebben we dan de combinatie van "geen inkomen, dure auto" die wél mag.
En de AI/NN moet zich daar ook aan houden.
Het voorbeeld dat je hier geeft is juist wel transparant en verklaarbaar. Het probleem is dat het model gewoon slecht generaliseert (wss omdat de training data te specifiek is).

Wanneer je a.d.h.v. een (convolutional) neuraal netwerk een model wil maken om auto's en vrachtwagens te onderscheiden, is het perfect mogelijk om eigenschappen te herkennen die steek houden. Je kan het netwerk bvb leren om banden te herkennen en te tellen hoeveel banden een voertuig heeft. Zo'n netwerken kunnen eventueel ook zelf de belangrijkste verschillen herkennen die enigszins verklaarbaar zijn voor mensen (denk dan vooral aan de vormen en contouren).

In praktijk zou een verklaring dan lijken op: "We weten dat u in een vrachtwagen reed omdat we meer dan 4 banden zagen, de breedte en lengte van uw voertuig waren groter dan x aantal meter". Het is natuurlijk ook altijd mogelijk om gewoon de input foto mee op te sturen, dat kan ook als bewijs dienen.
Je kan het netwerk bvb leren om banden te herkennen en te tellen hoeveel banden een voertuig heeft. Zo'n netwerken kunnen eventueel ook zelf de belangrijkste verschillen herkennen die enigszins verklaarbaar zijn voor mensen (denk dan vooral aan de vormen en contouren).
Dat is het probleem verplaatsen, dan moet je dan gaan uitleggen hoe dat CNN herkent dat iets een band is.
Dat proces kan je perfect beschrijven. Ik vraag me alleen af of dat het soort transparantie is waarover ze het hebben en of het relevant is om zoiets mee te delen aan mensen die er niks van kennen. Naar mijn mening is een algoritme transparant wanneer deze redenen geeft voor een bepaalde keuze die menselijk verifieerbaar zijn a.d.h.v. de input. Vandaar dat herkenning op een foto met een eenvoudige CNN mij geen goed voorbeeld lijkt.
Het voorstel is ook geen wetgeving, maar eerder de use-case. "Als gebruiker wil ik leesbare tekst voor de uitleg hoe algoritmes tot resultaat van functie X komen". Oid.

Er zal ook vast een verschil zijn tussen een algoritme wat uitgelegd moet worden of niet. Een simpel algoritme om verkeersinformatie te geven zodra je uit bed komt, lijkt me vrij eenvoudig. Maar het samenstellen van mijn Twitter-tijdlijn heeft wel wat meer haken en ogen en daar mag best een extra uitleg waarom post x op hoogte y wordt getoond. Overigens laat Twitter vaak al zien welke relatie gekoppeld is aan een tweet ("x vind dit leuk, retweet van y"), maar dat doen lang niet alle sites. Ook Google mag best tonen welke gegevens gebruikt zijn om tot dit resultaat te komen. Wie weet wil ik niet delen dat ik laatst naar hypotheekverstrekkers heb gekeken voor een resultaat over salarissen.
Als je echt een zelf lerend systeem hebt kun je juist niet zeggen hoe data gekozen en gefilterd word.

Een voorbeeld van AI training.

Stel je heb een simpele platformer en je laat een "AI" dit zelf leren spelen. Dat betekend dat je hem in principe achter de knoppen zet en maar wat laat doen. Je AI kan inputs geven en ziet de gevolgen daar van zonder te begrijpen wat het eigenlijk inhoud.

Nu wil jij dat hij een bepaald punt bereikt, misschien is dit bekent bij je AI maar dat hoeft niet.
Je laat hem dus random op die knoppen hameren tot dat hij dat punt bereikt heeft al dan niet per ongeluk, maar je geeft hier voor een "beloning".

Vervolgens mag hij het opnieuw proberen met de kennis die hij heeft opgedaan. Je AI gaat nu zelf selectie en filtering toepassen op de input omdat het te bereiken.

Misschien krijgt het springen op een platform een hoge waardering omdat het handig was in de eerste iteratie, maar na 10x blijkt misschien dat er onder door rennen er voor zorgt dat je het doel sneller bereikt. Of efficiënter, je kunt immers ook beloningen koppelen aan zo min mogelijk inputs of zo snel mogelijk er komen.

Uit eindelijk na duizenden iteraties vind je het wel goed zo en heb je een model.

Waarom kiest je AI er voor om altijd op platform 1 te springen maar nooit op platform 2? Waar staat dat in je algoritme?
Grappig je legt zelf uit waarom hij een bepaald platform verkiest/ontwijkt, precies met de beredenering zoals de AI hem ook zou kunnen maken en dus ook kan beargumenteren. Om een punt te maken dat het niet te beargumenteren valt :Y)
Je kunt vaak wel uitleggen hoe een algoritme werkt, bijvoorbeeld dat een bepaald type neuraal netwerk voor unsupervised learning gebruik maakt van hidden layers, maar je kunt in zo'n geval niet precies zeggen hoe het resultaat precies tot stand is gekomen. Er is in de AI community dan ook een flinke discussie tussen voorstanders van "explainable AI" en anderen die vinden dat dit niet nodig is en dat in feite alleen de input en output belangrijk zijn (immer weten wij mensen ook niet altijd hoe men iets waarneemt of bereikt redeneert men). Heel veel mensen kunnen niet eens zelf programmeren, laten zij het boekje van Rushkoff (Program or be programmed) maar eens goed lezen. Aan de andere kant is het wel goed een soort bijsluiter te leveren bij onze software: er zijn veel gebruikers die blindelings vertrouwen op de correcte werking van algoritmes en niet begrijpen dat er nogal een bias in kan zitten, dat is voor allerlei zaken niet echt wenselijk (als je als docent de machine een deel van je beoordelingen laat overnemen en er zitten onbetrouwbare keuzes of fouten in de programmatuur..., maar ook wij zijn niet echt objectief aan de andere kant, lastige kwestie, belangrijk om wel goed uit te leggen aan anderen).
Heb je nu niet net het omgekeerde aangegeven? Het is dus zeker wel te verklaren waarom de AI die keuzes maakt, namelijk omdat het weet na x keer proberen, dat het enkel z'n doel kan behalen als het dat eerste platform gebruikt. Het is dus zeker wél te verklaren. Dit soort informatie is dan ook eenvoudig uit je model te halen nà training.
Anoniem: 718943 @Mitsuko23 januari 2020 17:15
Nou ja, je kunt goed de layers van het model beschrijven, want dat doe je met een framework als Tensorflow bijvoorbeeld ook. Je kunt beschrijven hoe de trainingsdata en verificatie data eruit ziet, en volgens mij zou dat genoeg kunnen zijn om aan te geven hoe het algoritme is vormgegeven.

Hoe het model er intern daadwerkelijk uitziet kun je natuurlijk niet vastleggen. Het is niet voor niets dat die dingen echt enorm groot zijn (GB's), en het is 'intern' geleerde data.

Natuurlijk kun je niet vastleggen wat voor input X de output Y zal zijn. Want juist dit soort netwerken gebruik je omdat je dit soort algoritmes zelf niet kunt maken.
Wat je wel vast kunt leggen is dat je voor input X verwacht dat output Y de meest waarschijnlijke uitkomst zal zijn.
Ik denk dat de learning data set dan transparant moet zijn?
Maar dat zegt verder niets over de keuzes die uiteindelijk door dat neurale netwerk gemaakt worden.
En wat als het geen vaste set is? Ikzelf heb een netwerk gemaakt dat continu zijn modellen 'verbetert' door nieuwe data te evalueren. Ik kan enkel vastleggen wat het formaat van de data zal zijn, met welke limieten, maar niet wat de data precies is. Tenzij ik alle data ga loggen. Maar dat is ook onbegonnen werk, gezien de omvang.
Dat is exact het probleem van wat hier aangekaart wordt over het gebrek aan transparantie van neurale netwerken; je programmeert iets dat steeds leert van data maar er valt niet meer te achterhalen waarom het ding tot zijn beslissing komt. Persoonlijk vind ik NN'n daarom doodenge dingen.
"Deterministische" software is al onvoorspelbaar genoeg. Een NN heeft nog meer een hoog "computer says so" gehalte.
Waar ze goed voor zijn, veel dingen vast, maar ik zou het op het niveau plaatsen van 'intuïtie'. En bij belangrijke beslissingen probeert de mens rationeler te zijn dan intuïtiever.
(Als je kleuren kiest voor een schilderij kan dat prima intuïtief, als je het schilderij niet mooi vindt werk je het bij. Een raket ontwerpen, dat gaat dan weer minder goed. Al kan het startpunt van een ontwerp wel intuïtief bepaald worden).
Rutte die spreekt over transparantie....... Dan weet je al wat het waarheidsgehalte van zijn speech is...
Rutte heeft daarin volledig gelijk: wat een goede verklaring is weten we op dit moment nog niet goed te vatten. Dit is dan ook een van de meest populaire thema’s waaraan gewerkt wordt in de machine learning.
Daarbij zijn algoritmes ook het geheim van de smid. Door ze ze open te stellen gooien bedrijven hun intellectueel eigendom op straat.
Ook dan moet het te verantwoorden zijn.

b.v.

Bij een autoverzekering zitten er wat onduidelijke factoren in. Maar schadevrije jaren kan men heel transparant verantwoorden.

Maar "De computer heeft het met a.i. bepaald" mag geen argument worden. Iemand moet kunnen verantwoorden waarom je iets gedaan hebt. Als je systemen gaat koppelen en een a.i. laat vertellen waar je steekproeven moet doen dan gaat hij steekproeven uitvoeren waar voorheen ook controles gedaan werden.
"U kunt deze offerte vergelijken met andere met dezelfde jaren en leeftijd bestuurder. Voor Amsterdam en Rotterdam geldt een 10% hogere premie. Uw model auto wordt ook meegenomen wegens duurdere reparaties, ook de lakkleur speelt mee".
Dan kan de klant controleren met een vergelijkbare. En niet denken 'waarom is het voor mij zo duur'.
Rutte weet duidelijk niets van AI. Dat is bijna hetzelfde als zeggen dat van iedere beslissing die zij maken duidelijk moet zijn hoe die beslissing in hun hersenen tot stand kwam. Het enige waar je bij AI naar kunt kijken is de set waarmee getraind is... kijken of die set biased is.
Rutte weet duidelijk niets van AI.
Dat kan wel zo wezen, maar hij weet wel dat mensen beschermd moeten worden tegen systemen die beslissingen nemen waar ze significante negatieve gevolgen van kunnen ondervinden, zonder mogelijkheid om tegen zo'n beslissing in beroep te gaan, omdat niet is te achterhalen hoe die beslissing tot stand is gekomen. Het is de taak van politici om daar regels over vast te leggen, niet om uit te zoeken hoe systemen zo gemaakt kunnen worden dat ze aan die regels voldoen.
Als wij met de hersenen beslissen dan maken we ook duidelijk hoe dat gebeurt. Door het op te schrijven, of door het later te verdedigen.
"De verdachte is schuldig bevonden want A en B en C en DNA terwijl het alibi E niet eenduidig is door F", in plaats van "tja veel bewijs, het voelt zo, onbetrouwbare ogen heeft die gast zeg".
"Door die standaarden moet duidelijk zijn waarom algoritmes keuzes maken zonder dat ze daarvoor documenten van honderden pagina's doornemen"

Lijkt me nogal kort door de bocht wanneer er over een technologie gesproken wordt dat niet louter meer op de zuivere 'logische' manier werkt.
Toch kan ik me hier wel in vinden. Het zal waarschijnlijk lastig zijn en het moeilijker maken voor AI. Echter vind ik wel dat nog te achterhalen moet zijn watn de "denk-wijze" is. Ik heb zelf bijvoorbeeld bij Google sterk het idee dat het algoritme ondanks waarschuwingen e.d. nog steeds keuzes maakt in het voordeel van Google.
Waar ik vroeger nog onbekende winkels kon vinden met een product die ik zoek op ean of artikelnaam, lukt me dat tegenwoordig niet meer. Je vind of de Google shopping winkels of alleen de grotere ketens. Als Google nu zegt, ja dat is een slim systeem dat doet zelf zijn werk en we kunnen er ook niets aan doen. Nu word dat natuurlijk niet helemaal geaccepteerd maar dingen moeten nog wel te begrijpen zijn om iets onder controle te houden. Hetzelfde geld voor zelf lerende robots, die zouden dus gevaarlijk kunnen worden omdat we zelf de algoritmes niet meer begrijpen.
In geval van geavanceerde AI (nu en zeker als je het over de toekomst hebt) kom je of op hele algemene beschrijvingen van processen, waar je niets aan hebt voor een specifiek geval, of het is zodanig ingewikkeld dat het een geheel menselijk brein omvat.

Het is uiteindelijk inherent aan een menselijk/AI gedachteproces dat het juist NIET in paar ISO normen te vangen is. Net zo onzinnig als een ISO norm voor schilderijen opstellen, veel verder dan welke doeken en verf je kunt gebruiken kom je niet en dat zegt dan natuurlijk niets over het creatieve gedeelte van uitkomst van het schilderij zelf.

Het ging in het voorbeeld niet om Google processen transparant te kunnen volgen, maar om het ook eenvoudig begrijpbaar te kunnen volgen. Dat eerste is natuurlijk wel makkelijker haalbaar.

[Reactie gewijzigd door mike_again op 23 juli 2024 03:46]

"Door die standaarden moet duidelijk zijn waarom algoritmes keuzes maken zonder dat ze daarvoor documenten van honderden pagina's doornemen"

Lijkt me nogal kort door de bocht wanneer er over een technologie gesproken wordt dat niet louter meer op de zuivere 'logische' manier werkt.
Het gaat Rutte erom dat de beslissing die door een algoritme wordt genomen helder kan worden uitgelegd, en daar ben ik ook helemaal voor. Het moet niet zo zijn dat je als burger wordt benadeeld door een onbeargumenteerd (en dus ook niet aanvechtbaar) "Computer Says No".

Als dat niet kan met "technologie die niet louter meer op de logische manier werkt" kan dat betekenen dat je in plaats daarvan maar moet kiezen voor een technologie waarmee dat wel kan, of dat je beslissingen door mensen moet laten nemen in plaats van door algoritmen.
Een computer liegt niet, politiek wel.
Het algoritme moet dus vol zitten met uitzonderingen (ons wetboek) zodat alles wat krom is recht (correct) gemaakt kan worden.

En zo creëer je een AI dat mensen vermoord.
Dat hebben ze het geleerd 8-) , en dat geef ik ook aan.
Anoniem: 718943 @Brousant23 januari 2020 17:19
Maar vaak is het zo dat die documenten juist helder zijn. Ik vermoed eigenlijk dat dhr. Rutte eerder wil dat de documenten gelezen kunnen worden door leken. En ik denk dat dat een onrealistisch doel is.
Of je gebruikt het 'vage' algoritme voor een voorselectie. Laat het NN los op luchtfoto's, en laat het aanwijzen waar wordt gegraven. Als er een lijk bovenkomt start het 'harde data' onderzoek.
(Zie het verschil met: "Laat het NN los op de database met namen, en onderzoek de aangewezen namen op fraude". Bij het graven gaat het om technische parameters, het vinden van verdachte plekken. Terwijl bij het aanwijzen van namen direct al verdachten worden geselecteerd.)
Rutte lijkt me ook niet echt de aangewezen persoon om dit soort zaken te roepen. Ik geloof niet dat hij veel kaas van computers heeft gegeten.
Dat hoeft ook niet. Rutte vertegenwoordigd nederland. Zo'n uitspraak komt niet uit zichzelf maar wordt degelijk voorbereid en gaat langs verschillende schijven voordat het op z'n agenda komt.

Alles is politiek dus wellicht voorziet hij hierin dat nederland of nederlandse bedrijven een voortrekkers rol kunnen spelen en dus baat heeft dit soort regels.

[Reactie gewijzigd door The_Woesh op 23 juli 2024 03:46]

Ik weet het, maar het komt toch wat onbetrouwbaar over..
Alsof de slager mij een auto probeert aan te smeren.
In de politiek moet met erg vaak beslissingen maken over zaken waar men geen verstand van heeft. Ook in de rechtspraak gebeurt dit. Rechters zijn dan aangewezen op het aangeleverde bewijs en toelichting.
Dus het komt vaker voor dan je zou verwachten dat de slager je een auto poogt aan te smeren.

[Reactie gewijzigd door Shark.Bait op 23 juli 2024 03:46]

Dan is het toch juist goed dat hij aangeeft ruimte voor verbetering te zien, maar de sector om input vraagt?
Voor zover ik weet zijn het uitsluitend Amerikaanse en Chinese bedrijven die momenteel voorop lopen op het gebied van AI die sinds kort zeggen dat er regulering moet komen.
En nu komt de Nederlandse overheid ineens met precies dezelfde oproep. Toeval? Ja zou kunnen.
CGP Grey heeft een mooie uitleg waarom het voor machine learning niet uit te leggen is: linkje

Het zou wel fijn zijn als het uit te leggen is, vooral als er medicijnen of premie hoogtes worden bepaald.
Ik denk dat die modellen niet verder uitgelegd worden dan nu al het geval is. Bij premiehoogte is dat risicoanalyse van de verzekeraar (bedrijfsgeheim) en bij medicijnen is dat een simpel winstmodel waarin ze hun investeringen terug willen verdienen waarvan de details van die investeringen uiteraard ook bedrijfsgeheim zijn.

Het zal vooral zijn dat er bijv. met machine learning wordt uitgelegd welke databronnen er gebruikt worden en waar de besluitvorming ligt om tot bepaald resultaat te komen. Dus meer een beschrijving van het algoritme dan het daadwerkelijke algoritme. Dit om misbruik te voorkomen dat mensen te veel gestuurd worden.

Maar persoonlijk geloof ik er 0,0 van dat dit misbruik (wat al een enorm grijs gebied is) tegen zal gaan. Het is net als een groot deel van de privacywetgeving vooral symboolpolitiek.

[Reactie gewijzigd door cyble op 23 juli 2024 03:46]

Zo'n geheime risico analyse vind ik wel eng. Wie weet wat voor data ze binnen halen dan? Zitten ze bijvoorbeeld je facebook berichten te scrapen om te kijken of je een depressie hebt?
Welke idioot legt z'n hele leven open en bloot op Facebook dan? (oh wacht...)
Ik wilde dit filmpje net gaan plaatsen. Het beschrijft naar mijn idee precies waarom dit plan natuurlijk nooit gaat werken.
Dit soort automatisch regels toepassen software hoort geen beslissingen te nemen op allerlei gebieden, het ai noemen is vergezocht. Dat algorithmes je helpen met een reis zoeken prima maar dat ze beslissen over jou zorg aanvraag oid gaat veels te ver.
Misschien is "Ai!" de meest gehoorde uitroep nadat zo'n algoritme zijn werk gedaan heeft.
Ik ben nogal verbaasd door al deze negatieve, kortzichtige en pessimistische reacties hier. Ja, AI, en neurale netwerken zijn lastig te doorgronden. Maar dat verandert niets aan dat AI's steeds meer keuzes voor ons en de overheid gaan maken (kijk naar opsporing van toeslagenfraude, verzekeringen, zorg, etc.). Het lijkt mij wel degelijk fijn om inzicht te krijgen in hou AI's ongeveer werken (in de zin van, wat zijn hogere prioriteiten, op wat voor sets is de AI getraind, en weet ik veel wat je nog kan verzinnen). Zodat we meer dan alleen ons onderbuik gevoel kunnen gebruiken als we het gevoel hebben dat er iets niet deugd.
Motivatie van keuzes van ambtenaren en politici kunnen meestal achterhaald worden door Wet Openbaar Bestuur, al zitten daar natuurlijk ook de nodige haken en ogen aan (wat dus betekent dat daar ook zeker nog de nodige verbeteringen in structuur en standaardisatie ingevoerd).
Het zou mooi zijn als we ook algoritmes wat minder ondoorzichtig kunnen maken. En het is gewoon onzin om te zeggen dat dat niet mogelijk is, want mensen zijn slim en creatief genoeg, al zou de oplossing natuurlijk nooit 100% toereikend zijn.
Op zich vind ik het wel een lovend streven dat je weet hoe de AI werkt. Maar zelfs als je een standaard hiervoor weet te ontwerpen, die volgende week al weer achterhaald is dan niet eerder, dan blijf je dikke boeken met info hebben.
Wat Rutte dus ook niet wilt.

Niet negatief, maar onrealistisch streven van Rutte.
Ik begrijp je punt wel, en het is lastig, zeker. Maar dat we niet weten hoe een brein precies werkt, weerhoudt er ons toch ook niet om onderzoek te doen naar psychologie en neurologie. We weten genoeg dingen niet, maar een aantal belangrijke dingen over hoe hersenen dingen aanleren, abstracties maken, en wat invloed heeft leerprocessen krijgen we een steeds beter beeld van.

Het is inderdaad zo dat Rutte het een beetje (of heel erg eigenlijk) naïef overbrengt, want ten eerste dit heeft vooral met wetenschap te maken, en er moet eerst flink wat onderzoek gedaan worden voordat bedrijven en bestuursvormers met elkaar rond de tafel gaan. En ik denk inderdaad ook niet dat het mogelijk is om voor iedereen begrijpelijk te maken, maar daar zijn standaarden ook niet voor. Als je naar de HTML5 standaard kijkt, begrijp je daar ook de ballen van als je niets weet van webdevelopment.

Het is dus inderdaad niet zo simpel, maar het zou fijn zijn als we langzaam van dit Blackbox concept afkunnen. Anders kan je gewoon niemand aansprakelijk houden, wat politiek en beleidsvoering een nog groter media spectakel met nog meer afleiding maakt in plaats van dat we het over inhoud gaan hebben.

Hetgeen waar ik mij vooral over verbaasde bij alle comments, is dat iedereen zegt: "Het kan niet zoals Rutte het zegt." Terwijl hij gewoon een goed punt heeft, al is het nogal slecht verwoord. Met alle techneuten hier, die weten hoeveel invloed technologie op het leven heeft, zou ik denken dat dit een mooie plek is om ideeën uit te wisselen over wat oplossingen zijn. Er zijn hier namelijk genoeg mensen die er meer verstand van hebben dan Rutte.
-foutklik-

[Reactie gewijzigd door MrMonkE op 23 juli 2024 03:46]

Dan krijg je straks eerst een paragraaf aan uitleg voordat je de daadwerkelijke resultaten in Google krijgt te zien :+
Als zijn kabinet dat nou ook eens zou zijn, scheelt dat ons een hoop discussie. Dat dacht ik toen ik de titel las Offtopic, I know.

Misschien begrijp ik het hele doel van Neurale netwerken en AI verkeerd, maar zijn dat soort tools niet juist in het leven geroepen om 'niet standaard' antwoorden te vinden op vragen die we er op afsturen? Dat is volgens mij ook hetgeen waar bedrijven naar op zoek zijn met AI. Die gouden tip waar de gewone conventioneel denkende persoon niet op komt. Ik zie voorlopig hier nog geen standaarden voor komen.

[Reactie gewijzigd door HarmFull op 23 juli 2024 03:46]

Op dit item kan niet meer gereageerd worden.