AP: Nederlandse gemeenten hebben slecht in beeld welke algoritmes ze gebruiken

Nederlandse gemeenten hebben vaak een slecht beeld van welke algoritmes ze gebruiken en welke impact die kunnen hebben. Dat stelt de Autoriteit Persoonsgegevens in een analyse over algoritmegebruik. De AP maakt zich ook zorgen over de snelle opkomst van AI van techbedrijven.

De privacytoezichthouder beschrijft de zorgen in de Rapportage AI & Algoritmerisico's Nederland, ofwel RAN, die zij ieder half jaar uitbrengt. De AP deed onder andere navraag bij gemeenten over het aantal algoritmes dat ze inzetten, bijvoorbeeld voor risico-indicaties. Driekwart van de gemeenten zegt 'onzeker' of 'heel onzeker' te zijn over welke algoritmes en AI-systemen er in de gemeente worden ingezet. Bovendien lopen de schattingen ver uiteen, van tien tot honderden algoritmes voor zelfs kleine gemeenten.

Een ander probleem met de inzet van algoritmes is dat gemeenten vaak niet goed doorhebben wat de impact daarvan is. "Gemeentes zagen de toepassing van AI-systemen tot voor kort primair als een technische kwestie en een efficiëntiemaatregel", schrijft de AP. "Dat is een probleem, vooral omdat gemeentes AI-systemen gebruiken in processen die mensen in kwetsbare posities treffen, bijvoorbeeld in het sociaal domein." Het ontbreekt ook aan transparantie, merkt de AP op: slechts twintig procent van de gemeenten deelt de inzet van algoritmes met bijvoorbeeld de gemeenteraad en colleges, rekenkamers of ombudspersonen.

Dat gemeenten zo slecht op de hoogte zijn van de inzet van algoritmes is om meerdere redenen opvallend. Ten eerste heeft er de laatste jaren veel focus gelegen op risicoanalysealgoritmes. Dat was al zo met SyRI en de Wet Gegevensverwerking door Samenwerkingsverbanden, die vaak onder vuur kwamen te liggen, maar zeker ook met de toeslagenaffaire, die deels voortkwam uit de inzet van discriminerende algoritmes. Nederlandse overheden hebben van die schandalen weinig geleerd, stelde de Autoriteit Persoonsgegevens ook al in zijn jaarverslag.

Ook speelt mee dat zowel vanuit de Nederlandse als Europese overheid regels zijn opgesteld rondom de transparantie van algoritmes. Nederland zette eind 2022 een algoritmeregister op, waar inmiddels 457 algoritmes en AI-systemen van Nederlandse overheidsinstellingen te vinden zijn. Het idee is dat overheden transparant zijn over welke algoritmes ze gebruiken, maar bij gemeenten ontbreekt dat overzicht dus nog, laat staan dat het in het centrale register is opgenomen.

In 2026 treedt bovendien de Europese AI-verordening in werking. Die verplicht overheden tot transparantie. Gemeenten zullen voor die tijd aan de eisen moeten voldoen, maar zeggen in de enquête van de AP dat ze ook nog grote behoefte hebben aan meer duidelijkheid over hoe ze met die verplichting om moeten gaan.

De Autoriteit Persoonsgegevens ziet verder risico's bij AI-modellen die grote techbedrijven introduceren. "Die worden in de concurrentiestrijd vaak halsoverkop gelanceerd", schrijft de toezichthouder. Dat levert allerlei risico's op, al gaat het in dat geval wel vaker om risico's op misinformatie, al is er ook gevaar dat dergelijke systemen worden misbruikt voor fraude en oplichting. De AP pleit daarom voor meer 'AI-veiligheidsinstituten', die momenteel al op meerdere vlakken in oprichting zijn.

Reacties (31)

[B Tender]

Wat ik mij afvraag: Is er een duidelijke definitie van 'algoritme' die de AP hanteert? Alleen in dit artikel komt de term 'algoritme' al 18 keer voor en het is een (container)begrip waar ontzettend veel mee geschermd wordt maar wat ik zelden gedefinieerd zie.

Voordat je als gemeente in beeld kunt hebben welke algoritmes actief zijn (geweest) is het natuurlijk randvoorwaardelijk dat begrip 'algoritme' allereerst duidelijk gedefinieerd en afgekaderd is.

Afhankelijk van hoe je 'algoritme' definieert is het allersimpelste VLOOKUPJE of IF-statement in die Excel-file uit 2018 in de temp-folder van de stagaire al een algoritme! Bijvoorbeeld bij de hier ter plekke uit mijn mouw geschudde definitie:

"Een algoritme is elke aangelegenheid waarbij met hulp van computerinterventie o.b.v. vooraf bepaalde parameters een bijdrage wordt gegeven of is gegeven aan het bieden van inzichten die leiden of leidden tot beslissingen of die rechtstreeks of indirect ondersteunen bij het nemen van beslissingen".

Zowel bij het ontbreken van een definitie van 'algoritme' als bij een heel ruime definitie van 'algoritme' kan ik mij uitstekend voorstellen dat het lastig is om zicht te houden op het aantal algoritmes dat actief is bij een gemeente.

[Reactie gewijzigd door B Tender op 22 juli 2024 13:26]

[TijsZonderH]

In dit rapport wordt geen exacte definitie gegeven nee. Bij de overheid in het algemeen gaat het in dit soort rapportages wel om algoritmes die voor een geautomatiseerd besluit moeten zorgen. Dat kan een risico-analyse zijn, maar je kunt ook kijken naar het enige algoritme dat de AP zelf in het algoritmeregister heeft opgenomen, namelijk deze waarbij datalekken automatisch worden ingeschaald op ernst.

Het is dus een vrij brede definitie, en eentje die voor dit soort rapportages eigenlijk onmogelijk te definiëren is. In het algoritmeregister van de overheid staan alleen algoritmes die op een of andere manier persoonsgegevens bevatten, maar ik weet niet zeker of dit rapport ook naar die definitie kijkt.

[Quintiemero]

Niet helemaal eens. Het register is een voorloper op een AI-act verplichting. De rijksoverheid heeft via pleio wel een standaard gepubliceerd maar doe gaat over het wanneer registreren. En de definitie is ‘voor nu sluiten we aan bij x en x. Dat is geen werkwijze, zeker niet voor de tijdsinvestering die van gemeenten wordt verwacht.

[TijsZonderH]

Het register is een voorloper op een AI-act verplichting

Dat klopt slechts deels. Het register werd eind 2022 opgesteld en was al langer in de maak als expliciete wens van de Tweede Kamer na het toeslagenaffaire. Toen ontstond er een vraag naar openbaring van algoritmes. De AI Act was toen wel al in de maak maar niet de belangrijkste reden om het register op te zetten.

[Floort]

Sterker nog: onder de AI Act komt er een centraal Europees register die (heel grof samengevat) vooral bedoeld is voor leveranciers. Het algoritmeregister dat wordt opgezet door BZK is bedoeld voor wat overheidsinstellingen gebruiken. Er is ook sprake van een plan om een apparte wettelijke verplichting op te zetten voor deelname aan dat register. Beide registers zijn qua doel en inhoud ook niet op elkaar afgestemd.

[Quintiemero]

En dat is exact wat er gebeurde’ er lag een rapport van algemene rekenkamer en daar was veel commentaar op omdat ze een hartstikke brede definitie hanteerde. Daarnaast is het een hartstikke grote tijdsinvestering, zeker voor kleine gemeenten (vergelijkbaar met Wpg-problematiek).

[Getest]

Ik mag hopen dat ze dezelfde definitie hanteren als het algoritmeregister en de Algemene Rekenkamer: Handreiking Algoritmeregister

[B Tender]

Ik heb deze opgezocht en schrik er behoorlijk van! Het verbaast me niks dat dat register nog niet echt van de grond komt:

‘Een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van
berekeningen om een probleem op te lossen of een vraag te beantwoorden.

Dit is een brede definitie die de maximale reikwijdte weergeeft van algoritmes die in
het Algoritmeregister kunnen worden opgenomen. Waar de definitie van de Algemene
Rekenkamer schrijft “om een probleem op te lossen of een vraag te beantwoorden”,
verstaan we daar in deze handreiking ook onder “om een taak of proces uit te voeren of tot
een besluit te komen”. In het uitvoeren van een taak of het komen tot een besluit kunnen
één of meer algoritmes voorkomen. Het is belangrijk om als organisatie zelf te kijken wat
een logische bundeling is van stappen waarin algoritmes actief zijn. Zie bijvoorbeeld het
TVL5 (tegemoetkoming vaste lasten) algoritme waarbij gekozen is om dit eenmalig te
beschrijven terwijl het in meerdere processen wordt ingezet. Deze afweging kan in elke
situatie weer anders zijn. Een organisatie kan dus zelf het best bepalen wat een logische
bundeling is en waarom.
Daarnaast hebben we het in deze handreiking over zowel Artificiële Intelligentie (AI)
als algoritmes. In figuur 2 zie je daar een visuele weergave van. De essentie is dat AI is
opgebouwd uit algoritmes. Maar niet alle algoritmes zijn AI. Beide kunnen impactvol zijn,
dat is de focus van het Algoritmeregister. In paragraaf 4 geven we meer handvatten om de
impact te kunnen bepalen [b]en of een algoritme moet worden opgenomen in het register

Deze definitie is IMO verschrikkelijk breed en ligt niet bijster ver af van hetgeen ik hierboven uit m'n mouw schudde als worst-case-scenario.

Ofwel... in potentie ongeveer elke VLOOKUP, SUM en IF in ongeveer elke Excelfile die circuleert of gecirculeerd heeft? Lees: Pakweg een miljoen algoritmes bij een kleine gemeente die op z'n minst geëvalueerd mogen worden of deze mogelijk, down the line directe gevolgen hebben gehad? Het scheelt dat je (logisch) mag bundelen maar het beschrijven van één gebundeld algoritme van 10 regels en instructies die een computer geautomatiseerd volgt is misschien nog wel complexer dan alle 10 de regels en instructies die een computer geautomatiseerd volgt separaat uitschrijven en evalueren. Zeker als binnen de bundeling van regels er 2 wettelijke basis X en mensenrechtentoets Y heben en 4 andere regels weer wettelijke basis U en mensenrechtentoets Z hebben.

Comform paragraaf 4 zijn er ook veel algoritmes die niet gepubliceerd hoeven worden, maar die in theorie wel alle 1 miljoen langs de meetlap van paragraaf 4 gelegd moeten worden... Afhankelijk van de interpretatie van paragraaf 4 valt er trouwens heel veel of heel weinig af... Als je met een butterfly-effect-bril naar algoritmes kijkt is er immers al heel snel sprake van 'directe gevolgen'. Als je met een 'excelletje is leuk maar de wethouder/ambtenaar maakt de beslissing en drukt op de knop'-bril kijkt dan is er zelden of nooit sprake van directe gevolgen van het algoritme.

Als ik bij de gemeente werkte en erover ging zou ik heel recalcitrant het algoritmeregister helemaal voldouwen met alle 'algoritmes' van één wat heftigere Excelfile. Een stuk of 100 'algoritmes' verder zou ik wat media tippen en de voorspelbare ophef vervolgens haar werk laten doen.

Nederland zette eind 2022 een algoritmeregister op, waar inmiddels 457 algoritmes en AI-systemen van Nederlandse overheidsinstellingen te vinden zijn.

Dat is denk ik nog geen 0.000001% van de bestaande algoritmes (kijkende naar de definitie) die er circuleren.

[Reactie gewijzigd door B Tender op 22 juli 2024 13:26]

[Quintiemero]

Ik hoop het niet want dat rapport is door iedereen keihard de grond in geboord en zorgde voor veel ophef en onduidelijkheid.

[bart1604]

Ik werk zelf op een IT afdeling van een gemeente. Bij ons wordt op dit moment AI geïntroduceerd. Aan een kant met co-pilot, wat van Microsoft zelf is. Hier heb je niet veel kennis voor nodig, ook niet als gebruiker.

Anderzijds zijn we bezig met het onderzoeken hoe we AI kunnen inzetten voor de burger. Denk aan een "gezicht" en de publieke hal waar burgers vragen kunnen stellen in alle talen en daar antwoord op krijgen in hun eigen taal. Bv, welke stappen moet ik doorlopen om een werkvergunning aan te vragen? Dit is overigens een stuk complexer, je zult hem zelf moeten bouwen en moeten voeden met de juiste data.

Ik kan natuurlijk niet spreken voor alle gemeentes, maar bij ons wordt de kennis vergaard door te gaan naar events en trainingen te volgen en "af te kijken" van andere organisaties die al verder zijn en hier kennissessies mee te houden. Ik durf dan wel te stellen dat bij ons de juiste kennis in huis is/komt.

[Floort]

Vergeet niet dat je al veel in huis hebt dat al onder de toepasselijke wettelijke definitie kan vallen. Een spamfilter die een verzoek van een burger weggooit kan geautomatiseerde besluitvorming met nadelige rechtsgevolgen zijn. Heb je als gemeente je spamfilter al in het algoritmeregister geregistreerd en daarbij ook de risico's in kaart gebracht?

Ik gebruik hier bewust een voorbeeld die veel mensen flauw lijken te vinden, maar wat wel veel voorkomt en wat echt wel als een hoog risico algoritme gezien kan worden afhankelijk van hoe het wordt ingezet. Maar denk bij 'algoritmes' niet alleen aan fancy nieuwe grote taalmodellen.

[Some12]

Oké… Dus hieruit concluderen we dat veel gemeentes, in essentie, niet eens weten wat ze doen.

[Floort]

Het is lastiger dan dat. Ook wat er wel geregistreerd is is vaak van gebrekkige kwaliteit. Ik zie veel onjuiste of misende informatie in de registraties van het register. Het kan aan mijn bias liggen omdat ik daar juist naar zoek, maar ik merk dat de fouten opvallend vaak in de richting van geruststellen en overschatten van overzicht zitten.

Ook vanuit het project om het register op te zetten merk ik spanning. Ik zie, op mijzelf na, geen bijdragen van burgers, academici, etc. die kritisch meekijken. Ik heb eergisteren voorgesteld om publiek bekende incidenten, bijvoorbeeld n.a.v nieuwsberichten, langs het register te halen en daarbij te kijken of het betreffende algoritme uberhaubt geregistreerd staat, of het risico dat zich heeft voorgedaan ook daadwerkelijk in kaart gebracht was en wat de burger heeft kunnen gebruiken aan de regsitratie om te kunnen begrijpen wat er fout is gegaan en wat eraan gedaan kan worden. Met als doel dus om constructieve feedback te geven over hoe het register en de registraties verbeterd kan worden. Dat is onmiddelijk afgeschoten omdat dergelijke feedback besloten gehouden moet worden. Dit staat in contrast tot andere ambtenaren die oprecht goede feedback willen. Maar ik merk een terugkerende en toenemende spanning als het gaat feedback over de daadwerkelijke effectiviteit van het register.

Dat is enorm jammer.

[kodak]

Maar ik merk een terugkerende en toenemende spanning als het gaat feedback over de daadwerkelijke effectiviteit van het register.

Dat klinkt als een soortgelijke spanning die juist zorgt dat AI wettelijk niet zomaar acceptabel is. Het is waarschijnlijk vooral een 'oplossing' zolang men zelf maar niet te veel verantwoordelijkheid hoeft af te leggen over het onbekende.

[Floort]

Als je zo snel ontwikkeld dat je het technisch nog net beheersbaar hebt zit je al vrij snel voorbij de grens van aantoonbare rechtmatigheid (art. 5(2) AVG). Veel is best goed rechtmatig te krijgen, maar pottenkijkers die opeen mee willen kijken en lastige vragen stellen waardoor je opeens totaal andere prioriteiten moet stellen is wel heel lastig.

[kodak]

In 1851 kregen gemeenten recht om eisen aan anderen te stellen wat betreft volksgezondheid. In 1886 werd schade aan de gezondheid aanrichten dan maar landelijk verboden. Ondertussen kwam er dan ook maar publieke transparantie bij. In 1909 kwamen er wettelijk minimale eisen. En sinds 1919 is er de warenwet dat bij verwerken van waren in het algemeen de volksgezondheid en eerlijke handel zeer belangrijk zijn. 70 jaar aan weerstand, alleen al om gezondheid lastig te vinden. We zijn inmiddels 170 jaar verder en als samenleving nog bezig om transparantie bij verantwoordelijkheid over basisrechten lastig te vinden.

[kdekker]

Weet jij dan zelf wel wat er bij je thuis aan algoritmes gebruikt wordt?

Dat bedoel ik niet als jij-bak, maar als je de internals van de software niet weet, of zelfs uberhaupt niet welke software op je apparaten draait, is het beantwoorden van die vraag heel lastig, misschien wel onmogelijk.

Ik snap dat de AP hier iets mee wilt, maar - ik ben zelf softwareontwikkelaar - zelfs voor eigen software is dit geen vraag die je 1-2-3 kunt beantwoorden. Want niet elk algoritme is interessant voor AP.

Dat heeft ook te maken met de definitie van algoritme. Op https://algoritmes.overheid.nl/nl staat:

Een algoritme is een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.

Dat is al heerlijk vaag, c.q. in een software die uit miljoen(en) regels bestaat, is zo'n beetje alles een algoritme. En als je software bouwt die nog op een manier integreren met iets anders (Google Analytics bijv), dan is het helemaal onmogelijk om te zeggen welke gegevens verzameld worden. En welke algoritmes daar op losgelaten worden (c.q. of gegevens doorverkocht worden en door anderen dingen mee gedaan worden). Zelfs geanonimiseerde zijn niet zo anoniem als je wellicht zou willen.

Het leek erop dat je de kaart van incompetentie trok (misschien heb ik het mis), maar dat is net iets te kort door de bocht. Maar goed, meer regels is meer wantrouwen. En meer regels is ook lastiger werkbaar. Waar de vicieuze cirkel ook wel weer rond is. Ik weet daar ook geen antwoord op. Als vertrouwen minder wordt, mede omdat zoveel gegevens/algoritmes misbruikt worden, c.q. er ook (te veel) misbruik is, tja, dan blijf je bezig in een soort rat-race.

[Reactie gewijzigd door kdekker op 22 juli 2024 13:26]

[kodak]

Het doel van het register is dat gemeenten verantwoordelijkheid nemen te beseffen dat AI niet zomaar toegepast hoort te worden. Omdat het anders te makkelijk rechten van anderen kan schaden zonder dat nog duidelijk te herstellen is. En in 2026 treedt bovendien de Europese AI-verordening in werking. Die verplicht overheden tot transparantie. Dus dit is de tijd dat men zich duidelijk hoort voor te bereiden voor transparantie te zorgen. Ik lees je daar weinig rekening mee houden. Natuurlijk kunnen ontwikkelaars, inkopers, gebruikers en wethouders dat lastig vinden, of de regels als wantrouwen af doen, maar dat doet geen recht aan de omstandigheden. Die zijn namelijk dat de overheid de verantwoordelijkheid anderen te beschermen niet zomaar kan afschuiven op leveranciers, of op het lastig vinden te weten wat men als 'oplossing' gebruikt. Het is al vrij ernstig dat er zelfs aparte wetgeving voor moet komen voor gemeenten zich daar misschien eens weer meer naar gaan gedragen.

[kdekker]

Ik snap de wens ook, is ook terecht, maar met name door misbruik van tech giganten en schandalen. In een klein bedrijf als het onze, met een omvangrijke code base is dit niet realiseerbaar zonder onevenredig grote aanslag om een serieus deel van de mankracht.

Daarnaast zijn algoritmes ook soms bedrijfsgeheim. Hier zit ook een spanningsveld. En een AI model is niet alleen een algoritme, maar ook de trainingsdata maken dat een model goed of minder goed werkt. Al zie ik niet direct dat het algoritmeregister louter op AI focussed.

Ik vrees dat als er verplichte regelgeving op dit gebied komt, het een wassen neus wordt, mede omdat het aandeel vanuit NL zeer beperkt zal zijn en veel algoritmes van buiten NL komen.

[marqvds]

Vergeet niet dat gemeenten (net als veel andere overheden en ook commerciële bedrijven) software gebruiken van leveranciers waarin al dan niet een algoritme zit verwerkt. En uit ervaring weet ik dat als je zo'n leverancier de vraag stelt welke algoritmes de software gebruikt je niet direct het antwoord krijgt wat je hoopt te krijgen.

[Floort]

Het merendeel van de geregistreerde algoritmen waarvan de eigenaar aangeeft dat openbare broncode beschikbaar is reageert afwijzend op verzoeken om de broncode in te mogen zien. Met als reden dat het bedrijfsgeheim van de leverancier is inderdaad. Ik merk dat er best vaak dus niet eens begrepen wordt wat het betekent om toegang te hebben tot broncode. Helaas moet ik soms escaleren tot een Woo-verzoek om daar achter te komen omdat op een eenvoudige vraag niet gereageerd wordt.

[Some12]

Eigenlijk zou iemand met tijd/geld/bedrijf eens een software pakket moeten maken (lees jatten van Node-Red) en een flow based programming ding moeten maken voor algoritmes. In plaats van dat software als totaal oplossing moet komen, het in losse modules van functionaliteit moeten opleveren. Mogelijk met een AI-prompt om zo’n chart te creëren uit semantische tekst.

[Some12]

“In het register staan algoritmes die een impact op mensen en invloed op beleid hebben", zegt Van Huffelen tegen Tweakers.

Dus gemeentes besteden besluitvorming uit… Geweldig…

[Quintiemero]

Algoritmeregister is nog niet verplicht, misschien om te benoemen. Daarnaast heel onduidelijk over welke algoritme wel of niet moet worden gepubliceerd. Ook verschilt de kwaliteit enorm. In veel contracten is ook niet bedongen dat leveranciers op een dergelijk niveau inzicht moeten geven.

Lang niet elke gemeente heeft überhaupt voor elk proces waar dat nodig is, een DPIA uitgevoerd. Dus zo gek is dit niet. Er zijn een paar project managers bij Rijksoverheid die het algoritmeregister erg pushen en ‘taart’ aanbieden. Maar het was vooralsnog best practice.

[DanielsWrath]

Ik heb in mijn korte tijd als ambtenaar hieraan proberen te trekken, maar het is hilarisch hoe het rijk erin staat. Er is geen beleid over hoe je überhaupt moet werken met een algoritme in het register, er lijkt nog geen verplichting te komen en daarnaast hebben veel overheden enorm weinig kennis en inzicht in hoe dit alles te werk zou moeten gaan. Ook binnen (destijds) mijn organisatie was veel weerstand en je merkte dat veel mensen het liefst niet alles delen en dat men toch alles uitbesteed en dat die partij maar verantwoording moet gaan schrijven.

[Pancake80]

Het algoritme register is op zich niks mis mee. Alleen het is absurd dat overheden deze moeten vullen.
Het is aan de leveranciers om te openbaren hoe hun software functioneert om een belastingdienst toeslagen affaire en ook wat bij de engelse posterijen is gebeurd te voorkomen.
Je kan dit soort werkzaamheden niet bij overheden beleggen omdat zij alleen de functionaliteit kennen. De technologie erachter zit vaak IP(intelectueel eigendom) op en dat weet men ook niet. Vaak worden besluiten al rekenkundig genomen. Denk aan drempel bedragen om ergens voor in aanmerking te komen. In principe is dat ook een algoritme. Een ander voorbeeld zijn beslisbomen. Op het algoritme register staat nog geen algoritme dat het DSO gebruikt (omgevingsvergunning aanvraag site)
300 gemeentes waarvan 60% dezelfde software gebruikt vullen nu individueel dit register in.
De wetgever heeft steekjes laten vallen.

[kdekker]

Lijkt me nog een uitdaging hoe je dat qua mankracht voor elkaar gaat krijgen. Zowel bij de overheid als bij leveranciers. En daarnaast nog: softwware is altijd in beweging. Als een bedrijf (of overheid) op dit gebied verplichte stappen moet nemen, dan vermoed ik dat er een zeer significant deel van de tijd aan 'algoritme register bijwerken' besteed moet worden. Dat is voor dezelfde prijs m.i. onmogelijk.

[Heaget]

Ik heb vooral het gevoel dat gemeentes niet technisch onderlegd genoeg zijn om te begrijpen wat voor algoritme of AI toepassingen ze gebruiken. Om nog maar te zwijgen over de werking daarvan.

Lijkt me heel relevant voor gemeentes om personen met adequate kennis hierover aan te gaan stellen en dit bij te laten houden of te verantwoorden. Want het is (in mijn ogen) te gek voor woorden dat het gebruik soms niet eens gedeeld word met de gemeenteraad en voor mijn gevoel komt dat door een gebrek aan kennis. Hoe leg je immers uit wat je gebruikt als je het zelf niet eens snapt..

[Piemol]

Naar ik aanneem worden er, nog zonder dat er algoritmes van toepassing zijn, ook talloze 'views' samengesteld met al gefilterde data in de evenzo talloze applicaties. Ik ben benieuwd of dat zo is, en of de gebruikers daar dan ook van op de hoogte zijn (wat zien we expliciet wel, en wat niet), en of dat dan allemaal in kaart is gebracht door de organisaties.

[CivLord]

Het is een illusie te denken dat er ooit een goed beeld komt van welke algoritmes in wat voor organisatie dan ook gebruikt worden.
Een algoritme is in de basis een automatische beslissing die software maakt op basis van bepaalde gegevens. En het soort algoritmes waar het hier om gaat zijn de algoritmes die beslissingen maken op basis van persoonskenmerken.

Een email-filter dat Miep en Ans van de klachtenafdeling gebruiken om klachten van mensen met een achternaam die begint met A t/m M aan Miep toe te delen en van mensen met en achternaam die begint met N t/m Z aan Ans, dan heb je al te maken met een algoritme dat op basis van een persoonskenmerk (de achternaam) een beslissing maakt. Dit soort algoritmes, op dit niveau, daar krijg je als organisatie nooit grip op. Nu lijkt dit algoritme erg onschuldig, maar wanneer Miep net iets meer servicegericht is en Ans mensen al snel vindt zeuren, kan het zomaar gebeuren dat mensen met een achternaam die begint met A t/m M vaker gelijk krijgen, of geholpen worden hun klacht te verhelpen dan mensen met en achternaam die begint met N t/m Z.

[bewerkers]

Ik heb net een kijkje genomen in het register. Heb twee algoritmes bekeken. Een over berekening waarde daling van huizen in Groningen en een ander over alimentatie in Rotterdam. Beiden hebben financiële impact op burgers en leken mij belangrijk.
Bij beide registraties staat een sumiere beschrijving van het doel en een link naar de website van de betreffende instelling.
Wat ik mis:

• requirements
• lijst van inputs en outputs
• flowcharts, tabellen, diagrammen en andere visuele documentatie
• broncode en unit tests
• welke onafhankelijke partij heeft het algoritme getoetst?
• privacybeleid

Her register is kennelijk er meer voor om duidelijk te maken dat een algoritme gebruikt wordt in een beslissing zonder ook maar iets over dat algoritme te zeggen. Puur black box dus. We moeten de partijen kennelijk gewoon vertrouwen.
Ik dacht dat het idee is dat algoritmes onafhankelijk getoetst kunnen worden, maar op deze manier schiet het dus niet op. Mogelijk wel een stap in die richting.
Of zie ik het verkeerd?

[Reactie gewijzigd door bewerkers op 22 juli 2024 13:26]