Nederland krijgt een algoritmetoezichthouder

Er wordt een toezichthouder aangesteld die moet toezien op het rechtmatig inzetten van algoritmes. Dat staat in het coalitieakkoord van de formerende partijen VVD, CDA, D66 en ChristenUnie.

De partijen willen investeren in het beter beschermen van fundamentele burgerrechten online. Daarom gaat de overheid wettelijk regelen dat algoritmes worden gecontroleerd op 'transparantie, discriminatie en willekeur', zo staat te lezen in het regeerakkoord. Dit moet onder meer door betere samenwerking en samenhang tussen de al bestaande digitale toezichthouders, en door het aanstellen van een nieuwe algoritmetoezichthouder.

"De overheid geeft het goede voorbeeld door niet meer data te verzamelen en onderling te delen dan nodig en ontwikkelt regels voor data-ethiek in de publieke sector", staat in het akkoord. Ook krijgen burgers een digitale identiteit. Daarover schreef voormalig staatssecretaris Raymond Knops van Binnenlandse Zaken al in een visiebrief in maart.

Het gebruik van algoritmes door de overheid staat al langer ter discussie. Onder meer vanwege de toeslagenaffaire, maar dat is niet de enige reden. Maandag kreeg het Ministerie van Justitie nog de Big Brother Award Expertprijs van Bits of Freedom, onder meer vanwege etnisch profileren op basis van algoritmes. En in februari werd na onderzoek van de NOS bekend dat 25 Nederlandse gemeenten algoritmes gebruiken om zelfstandig fraude en criminaliteit op te sporen.

De wens voor een aparte toezichthouder voor algoritmes bij de overheid staat al langer op de agenda in de Tweede Kamer. Toenmalig D66-Kamerlid Kees Verhoeven pleitte voor een algoritmetoezichthouder in 2018. In maart 2019 werd gestemd voor de komst van zo'n algoritmetoezichthouder die moet toezien op het rechtmatig inzetten van algoritmes door de overheid.

Het is nog niet bekend wanneer de toezichthouder er komt en wat zijn formele bevoegdheden zullen zijn. Zo staat er niet letterlijk beschreven in het regeerakkoord dat de toezichthouder moet toezien op het gebruik van algoritmes bij de overheid. In de budgetaire bijlage van het coalitieakkoord is te lezen dat de algoritmewaakhond ondergebracht wordt bij de Autoriteit Persoonsgegevens en dat er per 2023 geld vrijgemaakt wordt voor deze toezichthouder. In 2023 gaat het om 1 miljoen euro, in 2024 om 2 miljoen euro, in 2025 3 miljoen euro en vanaf 2026 structureel om 3,6 miljoen euro. Dat komt bovenop het huidige budget van de AP.

Reacties (52)

Wat een gemiste kans dat dit niet breder wordt getrokken naar bedrijven. Wetgeving plus toezicht. Het hele idee dat alleen de overheid toezicht nodig heeft is volstrekt achterhaald. Kijk maar naar wat de invloed was van social media en hun bubbels op de Brexit, het bestormen van het capitool, de verkiezingen in de US maar ook op het welzijn van kinderen en ook volwassenen door gebruik van social media; er worden ongewenste effecten veroorzaakt door al dan niet ongewenste en/of derde partijen en algoritmes versterken het effect kwadratisch of meer. Het is al jaren tijd om hier iets aan te doen en dan wordt er helemaal niks over meegenomen. Zelfs geen onderzoek naar wat mogelijk zou zijn in de private sector. Zo blíjven we achterlopen.

Daarvoor moet die toezichthouder toegang hebben tot bedrijfsgeheimen van die bedrijven (algoritmen, data, AI modellen, trainingsdata, enz). En vaak ook tot die van leveranciers van die bedrijven.

Dat ga je niet zonder slag of stoot krijgen, dat moet via wet en regelgeving afgedwongen worden. Waarschijnlijk internationaal, want veel van die bedrijven zijn niet Nederlands. Dat kost dus tijd en vereist internationale politieke overeenstemming, die er natuurlijk niet is.

En een toezichthouder zonder die bevoegdheden heb je ook niets aan.

Kortom, toezicht op bedrijven is misschien gewenst, maar de weg om daar te komen loopt niet via het aanstellen van een Nederlandse toezichthouder.

Ik snap dat er meer voorwaarden zijn en dat een en ander via wetgeving moet. Precies de reden dat ik het al in mijn eerdere post benoemde Dat bedrijven niet Nederlands zijn hoeft niet persé in de weg te staan. De wet heeft daar voorzieningen voor en anders maken we die zelf in de vorm van wetgeving. Het is niet voor niks zo dat je bij Amazon Duitsland Nederlandse btw betaalt. Of dat het strafrecht zich middels artikel 2 tot en met 8 zich uitstrekt tot búiten de Nederlandse lands- en koninkrijksgrenzen. In het strafrecht is het bijvoorbeeld ook zo dat als gegevens/informatie beschikbaar zijn in Nederland en het kan ook redelijkerwijs worden aangenomen dat het op Nederland gericht is dan wordt het beschouwd als zijnde gepubliceerd in Nederland. Dus voor wat betreft de rechtsmacht kun je natuurlijk prima wettelijk regelen dat wetgeving ook geldt voor diensten, zijnde bijvoorbeeld websites, die zich richten op de Nederlandse markt. Wij bepalen nog altijd zelf of iets in Nederland geoorloofd is, niet het bedrijf dat zich geografisch buiten de Nederlandse rechtmacht bevindt.

Daarmee zou je ook als land zelf maatregelen kunnen nemen, zolang ze internationale verdragen maar niet overtreden. Nergens staat dat je iets niet mag als het niet in internationale verdragen staat. Wél vind ik dat je dit het beste in internationaal verband kan aanpakken, bijvoorbeeld in EU-verband. Met dat uitgangspunt kun je 2 kanten op:
1. Kijken wat je in de EU gedaan kan krijgen
2. Als dat niet veel blijkt te zijn of het gaat (naar verwachting) te langzaam dan kun je als land individueel alvast actie ondernemen en zo ook een voorlopersrol pakken.

Toezichthouder moet inderdaad bevoegdheden hebben. Wederom: wetgeving.

Ik zou niet weten waarom je dit niet nationaal zou willen en kunnen aanpakken, mocht blijken dat het via de EU (of andere internationele wegen) lang gaat duren. We hebben wel meer zaken op nationaal niveau geregeld die binnen de EU in andere landen anders geregeld zijn. De EU betekent niet dat iedereen dezelfde wetgeving heeft, al wil je natuurlijk wel proberen samen op te trekken. Maar dat sluit nationale wetgeving bij lange na niet uit. Mocht jij van wel vinden dan hoor ik graag waarom we bijvoorbeeld een eigen Burgerlijk Wetboek, Algemene Wet Bestuursrecht of Wetboek van Strafrecht en Strafvordering hebben.

Verder snap ik ook wel dat dit niet van vandaag op morgen nationaal geregeld is. Maar ook daarvoor geldt dat ik dit heb meegenomen in mijn eerdere post; het had allemaal kunnen starten met een onderzoek naar de (on)mogelijkheden.

Waarschijnlijk zal deze nieuwe toezichthouder voornamelijk toezicht gaan houden op bedrijven, net zo als de AP dit op dit moment al doet.
Ook past deze toezichthouder mooi in de eisen van de EU AI Act waar ieder land ook een toezichthouder voor algoritmen moet hebben. In de EU AI Act wordt vooral gekeken naar het toezicht door deze toezichthouder op bedrijven, en niet heel erg gericht op de overheid.

Lastige is soms bij dit soort nieuws dat nergens expliciet staat of het "voor de overheid" en/of "voor de markt" is, als er niets staat is het meestal voor beiden . De leadein dit artikel klopt dan ook niet helemaal.

Ik hoop dat de toezichthouder ook toezicht gaat houden op de overheid — daarom ben ik geen voorstander van de toezichthouder houder constructie onder de overheid.

Voor zo ver ik het lees is het en-en, en markt, en overheid.

En wat betreft de constructie raak je dan aan het onmogelijke van de term "overheid". De overheid waar we meestal over praten is het kabinet en de ministeries. Dit soort toezichtshouders rapporteren juist aan de kamer, en niet aan het kabinet. Men zorgt er dus voor dat er geen slager is die zijn eigen vlees gaat keuren, en gelukkig maar .

algoritmes versterken het effect kwadratisch of meer.

De definitie van een algoritme is zo onhandig breed dat bijna alles wat software aan personalistatie of maatwerk doet, er onder valt. Algoritmen zijn gewone, dagelijkse toepassingen. Net zoals vrijwel alle messen gewoon (keuken)gereedschap zijn, maar inderdaad ook als wapen kunnen worden gebruikt. Hetzelfde zie je bij algoritmen, auto's, etc.

Een roep onderzoek bij private bedrijven naar algoritmen zonder dat daar aanleiding voor is, is behoorlijk ironisch. Grappig. Dat is nou juist wat de privacy voorvechters en Bits of Freedoms van deze wereld niet willen.

Ik ben ook best benieuwd aan wat voor scenario's je dan denkt, want bedrijven boeit het over het algemeen niet wie hun producten of diensten afneemt. Discrimineren heeft voor hen geen voordelen. Hooguit zouden ze hogere prijzen kunnen rekenen aan verschillende groepen, maar dat gaat al snel opvallen en is funest voor de omzet.

De helft van de voorbeelden die je noemt zoals Brexit, Capitoolbestorming, verkiezingen beïnvloeden zijn politiek en op het gebied van social media netwerken, met gerichte reclames. Dat is een hoofdstuk apart wat bij een handjevol bedrijven als Facebook en Google speelt, maar natuurlijk altijd al bestond. In de Telegraaf staan anderen advertenties dan in het Financieel Dagblad. Met Voetbal International bereik je een andere doelgroep dan met Psychologie Magazine.

Ik roep niet om een onderzoek naar algoritmen dat bij bedrijven uitgevoerd wordt. Ik zou op z'n minst een wenselijkheids- en haalbaarheidsonderzoek willen zien op het gebied van regulering van algoritmes. Je maakt een heel terecht punt dat algoritmes niet inherent goed of slecht zijn. Gemeentes zouden ook algoritmes in kunnen zetten om te proberen mensen te helpen met schulden voordat ze de schuldsanering in moeten ofzo. Dan zou het positief gebruik zijn. Maar ze kúnnen wel op een slechte manier gebruikt worden.

Neem nu gemotoriseerde voertuigen. Inherent niet slecht of goed (nou ja, je kunt het hebben over uitstoot enzo maar dat even buiten beschouwing gelaten). Die kunnen hartstikke positief gebruikt worden. Vakantie, visite, ambulance, brandweer. Maar je kunt er ook schade mee aanrichten als je er niet goed mee rijdt. Dus dat reguleren we.

Ik wil niet zeggen dat we alles moeten goedkeuren voor het gebruikt kan worden. Maar je zou bijvoorbeeld kunnen kijken naar een meldplicht voor gebruik van algoritmes anders dan in het directe voordeel van de bevolking. Dat zou dus een verplichting op kunnen leveren voor de overheid maar ook voor bedrijven. En als er dan wél problemen ontstaan met een redelijke verdenking, dan mogen bedrijven de algoritmes ter beschikking stellen voor onderzoek.

Dat het bedrijven niet boeit of ze discrimineren kan goed. Wél hebben ze er belang bij onderscheid te maken. Dat kan best nuttig zijn. Maar in het geval van de bubbels die gecreëerd worden, bijvoorbeeld met betrekking tot corona, QAnon-achtige theorieën en dergelijke, om mensen zoveel mogelijk dezelfde content voor te schotelen teneinde mensen zo lang mogelijk te laten klikken want klikken is geld, daarvan kun je toch echt wel stellen dat dat schadelijk is omdat het grootschalig polarisatie in de hand werkt. Het gaat daarbij niet alleen om reclame maar ook filteren in content die een user te zien krijgt. Niet zodanig filteren dat een gebruiker zich een mening kan aanmeten op basis van verschillende perspectieve, maar zodanig filteren dat het voor FB en andere social media zoveel mogelijk geld oplevert. Dat iemand daarbij nog maar 1 perspectief te zien krijgt, maakt ze niks uit. Als ze maar geld verdienen. En dit is maar 1 voorbeeld. Algoritmes zijn (kunnen) véél meer (zijn) dan alleen bepalen op wie je welke reclame richt.

Nu noem ik maar even een optie he. Er zijn natuurlijk meer wegen die naar Rome leiden. Laten we nu dan ook eens een onderzoek doen of we wat betreft het gebruik van algoritmes door bedrijven naar Rome willen, hoe we er kunnen komen, hoe haalbaar die reizen zijn en hoe wenselijk. En dan kijken we daarna wel verder.

Als je van mening bent dat gebruik van algoritmes door bedrijven op geen enkele manier vandaag de dag problematisch is dan hoor ik dat ook graag, met onderbouwing, ik ben heel sterk anders van mening

[Reactie gewijzigd door JT op 16 december 2021 14:15]

Social media bedrijven zetten je in een ‘bubble’ met content die je wil zien, dat staat buiten kijf. Dat is een aparte categorie en dat moet je EU-breed aanpakken wil je een slag kunnen maken. Maar 99% van de bedrijven verkoopt een product of dienst. Verkoppt oliebollen of doet aan ramenwassen of teelt aardappels. Daarbij zie ik niet wat ze er mee opschieten om bijvoorbeeld te discrimineren op achternaam of zo. Dan verkopen ze alleen maar minder.

Wat een vreemde comments hier, er blijkt weinig begrip uit hoe een overheidstoezichtshouder werkt.

Een toezichtshouder zijn er in verschillende vormen. Er zijn toezichtshouders die boetes uitdelen bij overtreding van bepaalde wetten waar zij toezicht op houden. In dit geval zijn er nog geen formele wetten specifiek op het inzetten van algoritmes, waardoor je mag vermoeden dat deze toezichthouder meer lijkt op een ombudsman. Een ombudsman houdt onafhankelijk toezicht op een bepaald gebied en geeft ongevraagd en gevraagd advies over het onderwerp. Ook kun je vaak bij ombudsmannen contact zoeken om klachten in te dienen of om uitleg te vragen of via de ombudsman de politiek te bereiken.

Wat mij vooral opvalt is dat er een miezerige 1 miljoen beschikbaar is en niet volgend jaar maar pas in 2023. Wel zie ik dat de Autoriteit Persoonsgegevens ook iets meer geld krijgt, maar dat geld zal toch vooral moeten ingezet worden om de enorme achterstanden weg te werken. An sich al opvallend dat algoritmes alleen vanuit de lens van persoonsgegevens hier lijken te worden aangevlogen terwijl juist op het gebied van werkgelegenheid, digitale leefomgeving en opsporing de grootste uitdagingen liggen.

Hoop dat Tweakers dit onderwerp op de voet gaat volgen en hier verslag van doet.

En wie houdt er dan toezicht over de data, de input, die door het algoritme gebruikt wordt?
Als de input 'fout' is blijf je bezig met verkeerd profileren, al is het dan via een algoritme.

Algoritme is gebaseerd op input, beslissing en output.

Alle 3 de dingen moeten dus nagekeken worden.

Als geslacht/ras/etc. bijvoorbeeld een input waarde is, dan moet gekeken worden of dat ECHT wel nodig is.

[Reactie gewijzigd door Nimja op 15 december 2021 15:15]

Je voorbeeld over over bepaalde input 'ECHT wel nodig is' klinkt mij meer in de oren als een AVG dingetje (dataminimalisatie), en niet zozeer als een check die gedaan moet worden wat betreft het algoritme.

https://www.recht.nl/nieu...nimalisatie-onder-de-avg/

[Reactie gewijzigd door JoostTheHost op 15 december 2021 15:22]

Het opslaan van bepaalde gegevens in een systeem kan nodig zijn (met een geldige reden), maar dat wil nog niet zeggen dat je al die gegevens als input mag of zou moeten gebruiken bij een of meerdere algoritmes die zich ook in datzelfde systeem bevinden.

Tja, 'algoritmes' (maar eigenlijk vooral machine learning) hebben een 'data honger', hoe meer data je d'r in gooit, hoe meer consistent de output wordt.

Het interessante aan veel methoden van 'machine learning' of AI is eigenlijk dat niemand echt weet waarom bepaalde waardes d'r uit komen.

'Algoritmes' zijn veel logischer, geprogrammeerd door mensen en volgen een set aan regels/stappen. (Alhoewel je zou kunnen stellen dat AI/machine learning ook een algoritme is)

Per definitie is Machine Learning een verzamelnaam voor onder andere algoritmes, maar bijvoorbeeld ook statistische modellen. Machine Learning valt weer onder AI. Een vorm van ML kan een simpele lineaire regressie zijn, waar zeker bekend van is hoe de output te interpreteren valt. Ik zou nog verder willen gaan en zeggen dat wanneer je de output hiervan niet kunt interpreteren je niet snapt wat je aan het doen bent.

AI omvat Deep Learning, waarin de output soms niet goed of lastig te interpreteren valt, maar dit geldt niet voor een basis neural netwerk, waar je een activatie functie gebruikt om de output te bepalen. Het is inderdaad zo dat in een complex netwerk niet altijd duidelijk is hoe tot de tussenstappen gekomen wordt.

Daarnaast wordt de output niet “consistenter” als je meer data geeft. Wanneer je kijkt naar een simpel model zoals lineaire regressie kun je inderdaad stellen dat een maat zoals R2 ofwel de goodness-of-fit toeneemt. Dit is een eigenschap van deze statistiek. Maar er zijn andere statistieken die je kunt gebruiken, zoals R2-adjusted, maar bijvoorbeeld ook een confusion matrix.

Met andere woorden, wat je zegt is niet gehee juist en geeft precies aan wat het probleem is met mensen die denken te begrijpen wat “algoritmes” of AI inhoudt. Zo ook onze overheid. Zoals hiervoor gezegd is het meenemen of weglaten van bepaalde variabelen een AVG-kwestie die vraagt om inzicht en ethiek vanuit de modelleur en de gebruiker van het model (resp. Data Scientist/AI Engineer en overheid in dit geval). Wanneer meegenomen, vraagt dit om inzicht in discriminatie, transparantie en willekeur, zoals benoemd in het regeerakkoord. Het is per definitie dus niet zo dat het meenemen altijd zorgt voor een betere output, wanneer dit wel is, moeten deze drie punten in acht genomen worden.

Variabelen maken geen discriminerend model, de maker doet dat.

Zo makkelijk is het niet....

Het zijn vaak indirecte bewijzen.

Zo is 'postcode' niet discriminerend, evenmin als 'inkomen', of 'autobezit'

Maar als in een bepaald gebied veel mensen met een laag inkomen voor komen dan is iemand met een dikke Mercedes uit zo'n postcodegebied plots wel verdacht.

Want? Dit kan allemaal een keuze zijn he.

Als ik in een relatief goedkope buurt ga wonen in een klein huisje, maar het wel belangrijk vind om een leuke auto te rijden dan gaat dat toch helemaal niemand aan? Hoe is dat ineens verdacht?

Hoe is dat ineens verdacht?

Dat is nou net mijn punt: er worden gegevens aan elkaar geknoopt en conclusies getrokken die op het eerste gezicht kloppen, maar in werkelijkheid bijzonder discutabel zijn.

En dat is een goed punt. Ik zie het nu in de context waarop je reageert en dan is dat duidelijk idd.

Het is namelijk niet per se verdacht.

Aan kleine huisjes/ studentenkamers van woningcorporaties zitten vaak een max inkomen. Als de max 20k is en je hebt een auto van 200k dan valt dat op

Je valt dan "buiten" de Gauss kromme. Alles wat afwijkt is bijzonder en daarmee potentieel verdacht.

Inderdaad, er zijn helaas "beroemde" voorbeelden hoe algoritmes racistisch gedrag begonnen te vertonen zonder dat etniciteit een input parameter was.

Ik kan me het geval herinneren waarin afro-amerikaanse personen door een algoritme een veel hogere premie voorgeschoteld kregen dan andere mensen zonder dat etniciteit werd gebruikt. Het algoritme is dit gaan doenp door naar andere prijzen te kijken, achternamen, woonwijken etc. Op deze manier werd onbedoeld etniciteit toch een onderdeel van het profiel.

Als je dat niet wilt moet je dergelijke algoritmen/AI/Big data systemen verbieden. Onderscheid maken is namelijk het doel van dergelijke systemen. Doen ze dat niet, dan zijn ze niet effectief.

Links of rechtsom moet een dergelijk systeem vlaggetjes bij personen gaan zetten, gebaseerd op feiten waar de persoon niets aan kan doen, zelf niet verantwoordelijk voor is, of die in principe niet eens relevant zijn voor het beoogde doel. En als er op dat vlaggetje dan geageerd wordt, wordt er dus iemand benadeeld (=gediscrimineerd).

Nee, de systemen en hun eigenaren moeten toe staan dat ze extern getest kunnen worden op bias

Het is ook wel moeilijk, in de grote stad wonend moet ik meer betalen voor mijn motorverzekering dan toen ik nog bij mijn ouders woonde. Dat wordt niet als discriminerend ervaren, in de stad is risico groter dus meer premie. Als echter voornamelijk buitenlanders in de stad wonen dan is het een maatregel die indirect discrimineerd en dan is het misschien niet oke? Lastig om een grens te trekken.

Een algoritme is normaal niet gebaseerd op de output. De output is meestal de beslissing, of de basis daarvoor.
Op het moment dat de output en eventueel de beslissing en eventuele correctie weer als input gaan dienen om het algoritme verder te laten leren, spreekt men van kunstmatige intelligentie.

Wat mij betreft mag de toezichthouder zich gaan beperken op algoritmes die invloed kunnen uitoefenen op de persoonlijke levenssfeer. De algoritmes van Facebook, Google, Twitter, YouTube vallen daar niet onder.

Als er iets impact heeft op de persoonlijke levenssfeer dan zijn het wel de algoritmes van Facebook, Google, Twitter & YouTube.

De algoritmes van Facebook enz. hebben in principe weinig effect op je persoonlijke levenssfeer. Het doel van die algoritmes is juist om daar zo goed mogelijk bij aan te sluiten.
Onder algoritmes die impact hebben op je persoonlijke levenssfeer worden de algoritmes gerekend die echt gevolgen kunnen hebben op je privacy, financiële situatie, baankansen enz. Je hebt het dan over echte, (blijvende) impact op je leven, niet zozeer over de kortdurende effecten op de sfeer.

Een algoritme is normaal niet gebaseerd op de output. De output is meestal de beslissing, of de basis daarvoor.

?

De output lijkt me een basaal onderdeel van het algoritme, bij elk algoritme is performance van belang.

De output van een algoritme is altijd belangrijk. Daarvoor bouw je zo'n methode immers.
In het begin wordt een algoritme meestal wel gevalideerd. Dat kan door een aantal keer input te geven waarvan de uitkomst al bekend is. Aan de hand daarvan stel je de methode bij totdat de output min of meer gelijk is aan de werkelijkheid.
Na de validatie is een algoritme een vaste routine.
Op het moment dat je ook de output (met een oordeel daarover) weer als een (ander soort) input gaat gebruiken gaat het algoritme leren van zijn eigen uitkomsten. Daarvoor moet wel aangegeven worden hou bruikbaar de antwoorden zijn. Dit wordt dan AI genoemd.

Een algoritme wordt meestal wel gebouwd op een grote set van gegevens met input waarvan de output bekend is. De validatie vindt bij voorkeur plaats met een andere set gegevens, maar als dat niet kan, gebruikt men een random gekozen subset van de oorspronkelijke data.

Klinkt mij als een behoorlijke belemmering van innovatie. Mee eens dat je niet zomaar algoritmes kunt schrijven en de output zware belastingen gaat lopen heffen zoals in de toeslagenaffaire, maar op elk algoritme bij elk stukje moeten afwegen of het echt noodzakelijk is, tja, met die redenatie is een algoritme nooit nodig, dat kan een mens ook doen.

Innovatief zou zijn om je te focussen op de het positief ingrijpen.
Als je dat goed doet bespaar je ook veel, en laat je de "mens" de lastige dingen beoordelen.
Loop je nog steeds het risico dat de "mens" dan kan denken, het algoritme weet het niet dus zal er wel iets aan de had zijn, i.p.v. ik moet goed kijken dat ik dit zorgvuldig doe ...

Zijn er algoritmes die een mens niet uit kan voeren? Ik denk van niet.
Het punt is dat een mens het algoritme maakr en dus elk stukje af moet wegen.
Vervolgens voer je het geautomatiseerd uit zonder ethisch, maatschappelijk of whatever afweging te maken.

Ligt er maar aan wat voor blik mensen je ergens voor toe wil passen. Een algoritme kan in 1 seconde 1000 dossiers door,

Als je van te voren weet dat je software getoetst gaat worden dan zorg je ervoor dat de toetscriteria worden opgenomen in je ontwerp/architectuur en je testplan. Dat is de gebruikelijke gang van zaken.

Het lijkt me sowieso goed om bij elk stukje algoritme af te wegen of het echt noodzakelijk is. Dat is de core business van een developer. Als je dat niet doen dan krijg je een software gedrocht.

Misschien ook kijken naar hoe de data (input) is verkregen en op basis van welke wetgeving.

Ik kan me voorstellen dat wanneer banken bijvoorbeeld aan redlining hebben gedaan vroeger, wat destijds misschien legaal was om te doen. Deze verkregen data, demografie/hypotheek/inkomen/risico/kredietwaardigheid/etc. misschien al niet eens meer goed is.

Een neural net is geheel gebaseerd op input. Het leert de beslissing van de input tijdens training. Aan het algoritme zelf kan je de keuze niet altijd zien (m.u.v. hele kleine conceptjes als nn met 1 neuron om een boolean te simuleren)

Geen zorgen, er is een goed justitieel systeem waarmee burgers makkelijk de overheid aansprakelijk kunnen stellen en hun gelijk kunnen halen.

Het echte probleem in mijn ogen zijn dan ook niet de algoritmes; Als het hebben van twee paspoorten een indicator is voor fiscale delicten, dan moet je dat gewoon kunnen meewegen.

Het echte probleem (en het pijnpunt van de Kindertoeslagaffaire) is het opzettelijk en crimineel via de achterdeur vervolgens van burgers, die zich hier tegen niet konden verdedigen en die schuldig waren zonder bevonden zonder dat daar ook maar enige rechtspraak bij aan de pas kwam. Niet dat rechtspraak altijd zalig makend is, bij de Kindertoeslagaffaire bleek namelijk ook dat rechters standaard de kant van de aanklager kozen.

Algoritmes zaten niet fout, mensen zaten fout en dit is afleiding voor de buhne

[Reactie gewijzigd door Eonfge op 15 december 2021 15:29]

Het echte probleem in mijn ogen zijn dan ook niet de algoritmes; Als het hebben van twee paspoorten een indicator is voor fiscale delicten, dan moet je dat gewoon kunnen meewegen.

Alleen is het hebben van 2 paspoort vaak geen keuze. Net zo min als dat je eigen vader en moeder jouw eigen keuze zijn. Indirect is het dan een indicator voor afkomst, wat discriminerend is.

Algoritmes zaten niet fout, mensen zaten fout en dit is afleiding voor de bühne

Daar heb je de politiek voor!

Algoritmes zaten niet fout, mensen zaten fout en dit is afleiding voor de buhne

In hoeverre zijn deze algoritmes zelflerend?
En zo ja, in hoeverre is het gevolg van deze zelflerendheid nog te overzien/doorgronden door de makers?

Geen idee of dit hier speelt; laatst een interessante TED talk gevonden over zelflerende algoritmes bij de grote tech jongens en hun invloed op de gebruikers.

Sexy woord, algoritmetoezichthouder.

Maar het is eigenlijk inspelen op problemen die tevoorschijn (waren) gekomen bij de digitalisering van processen in de publieke sector. En op die digitale implementaties afgeven.

Het had IMO beter een procestoezichthouder kunnen zijn. Dat dekt de lading meer en beter. En dan wordt ervoor gewaakt dat een analoog proces ook niet verkeerd gaat lopen voordat het gedigitaliseerd wordt.

[Reactie gewijzigd door RoestVrijStaal op 15 december 2021 15:18]

Klopt. Bij het digitaliseren/automatiseren van analoge processen moeten veel keuzes die normaal impliciet in de hoofden van allerlei ambtenaren leefden opeens expliciet in code en regels gevat worden. Daar gaat het vaak fout. Of omdat de werkelijkheid erg moeilijk te vatten is in een paar simpele regels (terwijl ambtenaren bv. erg makkelijk een keuze kan aanpassen aan een complexe context), of omdat er slecht gecommuniceerd wordt met de developers die deze kennis moeten implementeren.

Aan de andere kant biedt digitalisering/automatisering een kans om (eindelijk?) deze impliciete analoge keuzes expliciet te maken. Er zullen zeker genoeg analoge processen zijn waarin nooit goed is nagedacht over hoe en waarom welke keuzes gemaakt worden; met als gevolg dat er in analoge processen ook al van alles fout/oneerlijk gaat.

Aangezien er steeds meer processen digitaal/automatisch gaan zal deze algoritmetoezichthouder hopelijk dus veel processen mogen doorlichten.

[Reactie gewijzigd door AgamemnonZ op 15 december 2021 15:41]

Helemaal mee eens!

We krijgen dus gewoon een AI toezichthouder.

Ja, een algoritme is vaak een stuk (logische) code geschreven door een programmeur. Waarbij de code een set regels volgt met een deterministische output.

Maar AI/Machine learning is een heel ander beestje, ook lastig te controleren maar m.i. is juist dat gevaarlijk.

Die toezichthouder moet dus toe gaan zien dat onbegrijpelijke algoritmes geen dingen doen die niet door de beugel kunnen.
Een mooi streven, maar het lijkt me in de praktijk een bijzonder lastige taak. Naast de complexiteit van de opdracht staat Rutte nou ook niet echt bekend om de ruime budgetten die toezichthouders krijgen.

Ik wens de betreffende toezichthouder veel succes ! (Maar geloof niet dat het veel oplevert)

Het is meer een toezichthouder met een erg vage opdracht. Wel leuk voor de buhne, maar erg lastig om invulling aan te geven lijkt mij.

Doe meteen even een algoritmetoezichthouder voor Facebook, Youtube en Twitter graag. Thanks.

Doe meteen even een algoritmetoezichthouder voor Facebook, Youtube en Twitter graag. Thanks.

Die kunnen direct door de algoritmepolitie voor de algoritmerechter gegooid worden en en dan in een algoritmegevangenis wegrotten.

Weet je wat het is, in mijn tienerjaren is heel die computer business van de grond gekomen. Ik kan me nog herinneren dat er toen door de specialisten beweerd werd dat met het automatiseren alles veel goedkoper, veiliger en makkelijker te beheren zou worden.
Ik denk dat nu onderhand het tegendeel wel is bewezen. Heel de automatisering van de wereld kost vele malen meer in ontwikkeling en zeker het in stand houden van een redelijke beveiliging van systemen. Om over privacy problemen maar niet te spreken. Hoe meer daar nadruk op gelegd gaat worden hoe meer geld het weer gaat kosten om nog wat privacy over te houden. AI systemen is leuk maar als de AI fouten gaat maken dan is het eind helemaal zoek. Mijn inziens zal de mens toch altijd nog moeten kunnen controleren of dit allemaal goed volgens afgesproken regels gaat (en geen uitzonderingen maken voor grote tech-bedrijven). Ik ben bang dat we onderhand op een punt belandt zijn waar dat laatste niet of nauwelijks mogelijk meer is (hoeveel geld je er ook nog instopt). Logisch is gewoon dat alle programmatuur (code) geschreven is door mensen en mensen zijn nu eenmaal niet perfect en maken denkfouten, schrijffouten en daarmee dus ook fouten in programmatuur. Ik hoop alleen dat er straks nog mensen zijn die echt op programmeer niveau nog uit kunnen zoeken waar de fouten precies zitten en ze op kunnen lossen.

Is een sort op leeftijd discriminatie? #algoritme #code #onbegonnenwerk