Provincie Noord-Holland wil algoritmes die het gebruikt, openbaar maken

Noord-Holland is van plan om alle algoritmes die het gebruikt openbaar te maken. Dat staat in de datastrategie 2021-2023. De provincie maakt gebruik van kunstmatige intelligentie en geautomatiseerde besluitvorming en gaat dat ontsluiten in een algoritmeregister.

De provincie gebruikt onder andere algoritmes en beeldherkenningssoftware voor het monitoren van biodiversiteit in natuurgebieden en bij oevers. Daarnaast experimenteert de provincie met kunstmatige intelligentie voor het ondersteunen bij het regelen van verkeersstromen en mobiliteit, en worden algoritmes gebruikt bij proeven rondom landbouw, regionale economie, infrastructuur, beheer en gebiedscontracten en gezonde leefomgeving.

In de datastrategie schrijft de provincie dat het vooralsnog vrijwel onzichtbaar is waar en hoe de provincie algoritmes inzet en of dit ook gebruikt wordt voor besluitvorming. Om ervoor te zorgen dat inwoners niet verrast worden, worden alle algoritmes en de keuzes die de provincies hierin maakt binnenkort ontsloten in een algoritmeregister. In 2021 en 2022 gaat de provincie de algoritmes inventariseren. Daarna volgt het register.

Ook werkt de provincie aan een opendataregister. Daarin moeten alle opendatasets komen te staan waar de provincie over beschikt en waarvoor die data gebruikt wordt. Die data moet beschikbaar worden voor inwoners van de provincie Noord-Holland in 2023. De provincie stelt daarvoor een speciale opendatacoördinator aan.

Reacties (45)

[unfold]

Ik heb het document even gelezen. Het ziet er op zich goed uit! Zelfs het Rathenau Instituut lijkt betrokken geweest te zijn? Er wordt in ieder geval verwezen naar hun onderzoeken, en ook naar initiatieven als TADA.city, een Nederlands initiatief dat ethiek in smart cities agendeert.

Wat ik wilde weten, maar wat me nog steeds niet duidelijk is: wil de overheid de gebruikte algoritmes enkel aanwijzen (zoals het algoritme register van de gemeente Amsterdam), of willen ze ook echt de code openbaren en designkeuzes beschrijven? In de praktijk vergt transparant zijn over AI namelijk meer dan een register:
- Om de werking van een AI model te kunnen controleren heb je eigenlijk toegang nodig tot al de gebruikte trainingsdata. Maar die is niet altijd te openbaren, bijvoorbeeld vanwege privacybescherming.
- Veel systemen bestaan uit aan elkaar geknoopte algoritmes. Partijen zoals Amazon en vele andere bieden "AI as a service". En dat soort diensten, die zijn niet transparant.
- Je hebt naast de data ook informatie nodig over het design proces, en de afwegingen die daarin gemaakt zijn. Bijvoorbeeld in welke verhoudingen de datasets gemengd zijn, maar net zo belangrijk: welke dataset niet gebruikt zijn, ook al kon dat wel. Dat is iets wat ik in het Amsterdamse register bijvoorbeeld enorm mis. Dat blijft nu hangen op wat minimale technische uitleg.

Omdat deze complexiteit niet wordt benoemd/erkend, ontstaat bij mij de vraag of de provincie het probleem écht doorziet.

Wat stukjes uit het strategie document die me opvallen:

Data vormt de basis. Data staat voor ‘gegevens’, objectieve registraties van toestanden of bewegingen in de fysieke of sociale werkelijkheid.

Oei. Wetenschappelijke data probeert van hoge kwaliteit te zijn, maar overheidsdata is geen wetenschappelijke data. Data zit in de praktijk vol fouten en biases. Later in het document wordt dit gelukkig wel erkend.

Onze realiteitszin: géén overspannen verwachtingen, behoedzaam leren en veiligheid voorop
Bij deze ambities past een gezonde dosis realiteitszin. Digitalisering gaat vaak gepaard met veel optimisme en enthousiasme. Dat willen wij ook uitstralen zolang digitalisering onze provinciale opgaven ondersteunt. Dus géén techniek omwille van de techniek. Wij hoeden ons voor overspannen verwachtingen

Echt super dat dit wordt benoemd! Ik geef hier op dit moment een cursus over, dus echt super om te lezen.

Actiepunt 1.5
Waar nodig en zinvol ondersteunen wij vanaf 2023 alle provinciale deelopgaven met dashboards, 3D-visualisaties en geografische informatie

Altijd weer die dashboards :-)

Naar verwachting wordt de WOB begin 2022 vervangen door de Wet Open Overheid (WOO). De WOO legt overheden een plicht tot actieve openbaarmaking op.

Interessant, maar ook een beetje scary. Hopelijk blijft de WOB ook gewoon bestaan, juist voor de dingen waarbij de overheid wat minder haast voelt om het te openbaren..

De wereld om ons heen verandert in razend tempo.

Elke generatie denkt dat. Maar hoe meet je dat? Het is een enorm subjectief statement. Er wordt door meerdere historici bijvoorbeeld beargumenteerd dat de periode 1900-1950 eigenlijk spannender was, met opkomst van Fordisme, de auto, radio, tv/film, enorme sprongen in de chemische industrie, en atoomsplitsing. Mijn punt is dat dit soort vage uitspraken vaak gebruikt worden om een gevoel van haast proberen over te brengen, iets dat je normaliter erg ziet bij Silicon Valley partijen. Want als de ontwikkelingen nu snel gaan, en de situatie uitzonderlijk is, dan is de implicatie dat de regels ook niet meer gelden.. De overheid zou op moeten passen met dit soort uitspraken.

Enfin: over het algemeen ziet dit er goed uit. Ik hoop dat ze in de praktische uitwerking goed blijven samenwerken met experts uit de ethiek en menswetenschappen. Mensen die door het technologie gejubel heen kunnen prikken. So far so good.

// edit: Voor de geïnteresseerden, hier is de richtlijn AI vanuit de overheid zelf.

[Reactie gewijzigd door unfold op 22 juli 2024 17:17]

[mr_obb]

Ik ben nu binnen een overheidsorganisatie met dit onderwerp bezig en het is best ingewikkeld om dit goed te doen. Er komen zoveel vragen op zodra je met algoritmes gaat werken, zeker als er persoonsgegevens betrokken zijn. Het komt vooral doordat er de laatste jaren een flinke omslag is gekomen in het denken over privacy en transparantie en de wet- en regelgeving op dit onderwerp vol zit van de open normen, waardoor je niet weet of je het nu goed doet of niet. Alleen jurisprudentie gaat hierin helpen.

Het eerste waar we nog continu tegenaanlopen is de doelbinding. Waar er tien jaar geleden eigenlijk niet eens discussie was, moet je nu vaak voorzieningen in de wet opnemen om (bijzondere) persoonsgegevens te mogen gebruiken voor een algoritme. Dit vraagt steeds aandacht, omdat men in de uitvoering gewend was dat vrijwel alles kon.

Een tweede issue is het bewustzijn bij besluitvormers. Het gebruiken van een algoritme brengt risico's met zich mee. Als opdrachtgever moet je je ervan bewust zijn wat die risico's zijn, hoe groot ze zijn en een afweging maken of het risico opweegt tegen de toegevoegde waarde van het algoritme. Tot op heden zie ik nog te veel dat een data analist keuzes maakt over de trainingsdata, bias etc. terwijl die keuze daar niet thuishoort.

En dan komt nog een lastig thema: transparantie en uitlegbaarheid. Zo'n algoritmeregister als in Amsterdam is voor 98% van de bevolking voldoende, maar jij en ik zien hele algemene beschrijvingen waar we niets mee kunnen. Wat is transparantie in een omgeving van fraudebestrijding? De trainingsdata beschikbaar maken kan niet, want het gaat om (bijzondere) persoonsgegevens. Het model openbaar maken kan ook niet, want dan werk je 'gaming the system' in de hand. Wat kan je wel openbaar maken? Welke gegevens je gebruikt, welk algoritme, welke keuzes er zijn gemaakt tijdens de ontwikkeling en wat het uiteindelijke model in grote lijnen doet.

Daarna is nog steeds de vraag hoe het model standhoudt in de rechtszaal. Dat zal afhankelijk zijn van of er sprake is van geautomatiseerde besluitvorming, of de burger in 'aanmerkelijke mate' wordt geraakt en de mate waarin de rechter uberhaupt in staat is om iets over algoritmes te zeggen.

Er zijn een aantal zaken die we nu al kunnen (door)ontwikkelen, zoals verifieerbare (open source) algoritmes, goede documentatiestandaarden, onafhankelijke reviews op alle keuzes tijdens het ontwikkelproces (parameters, keuze van trainingsdata etc) en besluitvorming beleggen waar het hoort. Maar over transparantie en uitlegbaarheid moeten we echt terug naar beleidsmakers en (in mijn ogen) politiek om te verhelderen wat de grenzen zijn.

[oNNoZeLe]

daar komt dan, helemaal aan het einde van alles, ook nog bij dat bijvoorbeeld gemeenten dit soort dingen (algoritmes) moet kunnen archiveren..

Dus we hebben nog wel een weg te bewandelen imho..

[WillySis]

Het openbaar maken van AI - algoritmes is mooi, maar in de praktijk zal niemand er veel uit kunnen halen. Dit soort algoritmes reageert namelijk vooral op de input. Afhankelijk van het type algoritme leert het steeds meer bij, of doet het aan een soort zelf-kalibratie.
Wanneer men hetzelfde AI - algoritme onafhankelijk van elkaar verschillende data geeft, zal het algoritme na verloop van tijd heel verschillend kunnen reageren. Onder verschillende data wordt in test omgevingen meestal verstaan dat een algoritme verschillende (random) delen uit één grote dataset krijgt, of dezelfde data in een andere volgorde. Dat laatste is vaak alleen mogelijk als er geen oorzaak/gevolg in de data kan zitten.

In het openbaar maken van AI - algoritmes schuilt ook een gevaar. Wanneer een algoritme wordt overgenomen en voor (iets) andere doeleinden wordt gebruikt, kan een algoritme totaal verkeerd uitpakken.

Als voorbeeld: Het meten van de drukte op een weg richting de duinen, geeft op het strand totaal andere resultaten in de te verwachten drukte, dan wanneer je een vergelijkbare weg richting de Veluwe zou monitoren om de drukte op een recratie-plas te kunnen voorspellen. In het oorspronkelijke model hoeft men nauwelijks rekening te houden met verkeer dat uit andere richtingen komt, of een andere bestemming heeft.
Ander voorbeeld: Als je belasting fraude op wilt sporen en je voert alleen gegevens in van mensen die in een wijk met inwoners uit een bepaalde inkomensklasse en etnische samenstelling, dan ben je eigenlijk aan het profileren en geef je een model een totaal ander doel dan waar je het voor wilt gebruiken.

In het eerste voorbeeld zie je na verloop van tijd wel als een model niet klopt, in het tweede geval krijg je uiteindelijk een groot aantal valse beschuldigingen die grote gevolgen voor personen kunnen hebben.

Ook leveranciers van software waar AI in zit zullen niet staan te springen om hun algoritmes prijs te geven.

Een register met de algoritmes is prima. Een goede beschrijving en een paar voorbeelden van input en output moet echter voldoende zijn. Alle algoritmes in een soort git-hub dumpen lijkt mij iets waar men niet aan moet beginnen. Zelfs bij een WOB aanvraag is het de vraag of je een algoritme moet vrijgeven, of dat je aan een onafhankelijke deskundige toegang moet verlenen tot het algoritme in de situatie waarin het wordt gebruikt.

[wildhagen]

Is dit niet ook wat riskant? Als je algoritmes openbaar maakt die bijvoorbeeld fraude of andere criminaliteit moet opsporen, wordt het dan voor potentiele fraudeurs/criminelen dan geen manieren gaan verzinnen om de algoritmes te omzeilen, waardoor de effectief ervan daalt?

Openheid an sich ben ik helemaal voor, maar het moet er ook weer niet voor zorgen dat het de pakkans voor criminaliteit verlaagt denk ik. Volgens mij schiet het dan het doel een beetje voorbij?

[bzzzt]

Ik heb persoonlijk liever een land waarin een paar mensen wegkomen met lichte economische delicten dan een land waarin je om ondoorgrondelijke redenen ineens een 'potentiële fraudeur' stempel krijgt waardoor je mogelijk zwaar gedupeerd wordt.

Als die algoritmes minder effectief zijn dan menselijk recherchewerk is het misschien tijd om er meer mensen op te zetten...

[Bor]

Als die algoritmes minder effectief zijn dan menselijk recherchewerk is het misschien tijd om er meer mensen op te zetten...

Dat is in the long run vele malen kostbaarder, minder efficiënt en kost veel meer tijd. Doorgaans komen er overigens altijd mensen aan te pas in een later stadium. Een algoritme mag nooit een beslissing met verstrekkende gevolgen nemen.

[Reactie gewijzigd door Bor op 22 juli 2024 17:17]

[The Zep Man]

Dat is in the long run vele malen kostbaarder, minder efficiënt en kost veel meer tijd.

Geld is niet het enige dat telt. Onschuldig tot het tegendeel bewezen is, is wat waard.

[Bor]

En dat kan met algoritmes ook. Zoals ik al aangaf is er altijd een menselijke factor ter controle bij opsporing.

[bbob]

De menselijke factor is dat die bewezen in de praktijk steeds meer waarde gaat hechten aan wat er uit het algoritme komt, gemakzucht.
Daarbij als het algoritme een bepaalde groep bovengemiddeld aanwijst kan er wel controle plaatsvinden maar wie zegt dat ook de controleur door de bevindingen van dat algoritme niet beïnvloed is.

Je hecht te veel waarde aan de menselijke factor die fouten in het algoritme er uit zal halen.

[CAPSLOCK2000]

Dat is in the long run vele malen kostbaarder, minder efficiënt en kost veel meer tijd. Doorgaans komen er overigens altijd mensen aan te pas in een later stadium. Een algoritme mag nooit een beslissing met verstrekkende gevolgen nemen.

Ik ben het niet met je oneens, maar het is wel makkelijker gezegd dan gedaan. We zullen heel erg goed op moeten letten dat het proces puur blijft. Mensen hebben de nijging om samen te werken en naar elkaar te luisteren. Ook als de ander een computer is. Als je er niet actief tegen in gaat zullen mensen handelen vanuit de aanname de computer meestal gelijk heeft en ze dus moeten zoeken naar bewijs dat de computer het hier verkeerd heeft. Dan ben je dus eigenlijk schuldig tot het tegendeel is bewezen zodra de computer jouw geval er uit heeft gepikt.

Als we daar niet heel bewust mee omgaan bestaat het risico dat de mens in het proces niet meer dan een stempelmachine wordt waarbij rechergewerk wordt uitgevoerd door de laagste bieder, in de stijl van het Facebook-moderatie-team; een groep laagopgeleide en slecht betaalde medewerkers die onder druk wordt gezet om maar zoveel mogelijk zaken per uur te behandelen.

Het hoeft niet zo te gaan, ik wil er geen doem-verhaal van maken want computers en algoritmes bieden enorm veel voordelen. Er is op zich niks mis met een politieauto met een navigatiesysteeem. Dat is ook een algoritme dat door de politie wordt gebruikt. Maar het is ook een goede waarschuwing want we kennen allemaal voorbeelden van mensen die blind de instructies van hun navigatiesysteem volgen en het kanaal in rijden. Ook bij zo'n navigatiesysteem is het eigenlijk de bedoeling dat de mens zelf beslist, maar dat is duidelijk niet altijd het geval.

[flippy]

Een algoritme mag nooit een beslissing met verstrekkende gevolgen nemen.

zeker nog nooit met een toko als het UWV kennisgemaakt neem ik aan?

[wildhagen]

Als die algoritmes minder effectief zijn dan menselijk recherchewerk is het misschien tijd om er meer mensen op te zetten...

Ik vind dat altijd een beetje makkelijk geroepen. Ten eerste moeten die mensen er wel zijn, en ten tweede, wie denk je dat dat gaat betalen? Dat gaat gewoon uit belastinggeld (lees, belastingverhogingen).

[Tintel]

Een ander probleem is dat de hoeveelheid regels & wetten zo groot wordt dat ze zichzelf nodig maken. OP een gegeven moment moet je afvragen waarom zo verschrikkelijk veel regels & wetten bestaan.

(ik heb gewerkt aan systemen die uitkeringen berekenden - was voor mensen al niet meer te volgen maar waarom zoveel regels/uitzonderingen....?)

[bzzzt]

Eigenlijk zouden we de kosten van dergelijke complexe regelgeving beter moeten kunnen kwantificeren. Misschien is zelfs een kleine toename van fraude goedkoper dan steeds maar weer regels op regels te stapelen...

[Tintel]

Het vaak niet eens om fraude tegen te gaan. Maar meer bedoeld voor een ogenschijnlijke eerlijke verdeling. Dus een alleenstaande moeder met een kind jonger dan 6 jaar kijgt een andere vergoeding dan een niet-alleenstaande moeder met een kind jonger dan 6 jaar.
Je kan je afvragen waarom dat verschillend moet zijn. Het argument: dan betaald haar partner wel mee, betekent dus dat het blijkbaar wordt beloond om alleenstaand te zijn. En vervolgens wordt soms gefraudeerd met wel of niet samen wonen.

[bbob]

Dus omdat het geld kost er te weinig mensen zijn moeten we algoritmes hun gang maar laten gaan.

Den Haag wordt nu al door modellen over van alles en nogwat geregeerd. die modellen kun je ook zien als algoritmes. In de praktijk blijken die er vaak naast te zitten, ze zorgen daarnaast voor star denken, tunnelvisie en te veel vasthouden aan model of algoritme. Dat het goedkoop is mag geen reden zijn om ze dan maar los te laten op van alles.

[Oon]

Ik heb persoonlijk liever een land waarin een paar mensen wegkomen met lichte economische delicten dan een land waarin je om ondoorgrondelijke redenen ineens een 'potentiële fraudeur' stempel krijgt waardoor je mogelijk zwaar gedupeerd wordt.

Eens. Algoritmes die goed werken zijn lastig te omzeilen, algoritmes die niet goed werken kunnen voor false positives zorgen.

Voor iedere persoon die het openen van deze informatie misbruikt is er ook weer iemand die vrijwillig een audit doet en een melding doet van problemen die dan opgelost kunnen wordne.

[B Tender]

En een algoritme 'inkoopfactuurtje onder EUR 9,90 behoeft geen autorisatie mits het bestaande crediteur is waarmee dit jaar al eerder zaken is gedaan'... Zoiets wil je toch niet op straat hebben? Er zijn altijd partijen die daar misbruik van willen maken.

Afhankelijk van je definitie van 'algoritme' gaat het trouwens over miljoenen algoritmes die openbaar gemaakt moeten worden: Van de inregeling van het spam-filter van de kantine-juffrouw tot de SUMIFS-formule die in het excelletje waarin de prijzenpot voor deelnemers aan de Songfestival-poule wordt gebruikt...
Van die miljoenen algoritmes zijn er waarschijnlijk 2 of 3 interessant, waarin 'de computer' zaken als etniciteit meeweegt in bepaalde beslissingen. Ik vermoed dat de provincie als beeld heeft dat het dergelijke (potentieel) kwalijke algoritmes niet toepast en met deze openbaarheid vooral willen laten zien 'kijk ons eens goed bezig zijn'.

Tot slot: als algoritmes minder effectief zijn dan menselijk recherchewerk... kunnen ze in mijn ogen nog altijd prima bestaan en is dat niet per definitie aanleiding om meer mensen op werk te zetten. Dat X minder effectief is dan Y (voor zover dat hier uberhaupt meetbaar is) maakt niet dat X geen bestaansrecht heeft, of dat X misschien zelfs niet veel wenselijker is dan Y. Naast 'effectief' heb je ook nog 'efficiënt' etc.

[bbob]

En een algoritme 'inkoopfactuurtje onder EUR 9,90 behoeft geen autorisatie mits het bestaande crediteur is waarmee dit jaar al eerder zaken is gedaan'... Zoiets wil je toch niet op straat hebben? Er zijn altijd partijen die daar misbruik van willen maken.

klopt i.p.v 1 factuur van 90 euro krijg je er nu 10 van 9 euro zonder autorisatie.
Hoewel daar kun je ook weer een algoritme voor hebben indien binnen x dagen totale factuurwaarde hoger is dan 9,90 alsnog autorisatie.

Denk alleen niet dat het om dit soort algoritmes gaat waar het artikel het nu over heeft.
Factuur is puur intern en heeft niets met iemand als persoon extern rechtstreeks te maken. Zodra het echter om informatie gaat die rechtstreeks met personen te maken heeft, lees burger is het iets anders.

[B Tender]

Dat zal inderdaad niet het algoritme zijn waarvoor het openbare algoritme-register bedoeld is. Dat zal primair opgericht worden voor transparantie in algoritmes als 'ALS [land van herkomst] <> Nederland EN [Uitkering] > 0 DAN vlaggetje' e.d.

Maar.... als je als gemeente roept 'wij gaan AL onze algoritmes in een register openbaar maken'... dan verwacht ik dat dit ze allereerst simpelweg niet lukt en het een valse belofte is, omdat er in mijn ogen bij een gemiddelde gemeente miljoenen algoritmes zijn (als je dit ruim definieert, zie mijn enigszins flauwe voorbeelden hierboven) en je nooit al die miljoenen algoritmes geinventariseerd krijgt, laat staan tijdig. Het alternatief: een persoon of commissie laten kiezen welke algoritmes je wel gaat publiceren en welke niet... maar dan zit je weer met subjectiviteit in het publiceren....

Misschien kunnen ze een algoritme maken die bepaalt of een algoritme in aanmerking komt voor publicatie. Ben wel benieuwd hoe dat algoritme zichzelf zou evalueren vervolgens.

[MSalters]

Het probleem wat wildhagen schetst werkt helaas twee kanten op. Als die algoritmes openbaar zijn, dan is er dus ook het risico dat iemand valse data over jou zou kunnen genereren. Een wraakzuchtige ex, bijvoorbeeld. Mara het zou ook kunnen dat fraudeurs opzettelijk valse leads generen, zodat de rechercheurs al hun tijd verspillen aan het controleren van onschuldige mensen en niet aan de echte fraudeurs toekomen.

[bzzzt]

Het algoritme kan dan wel openbaar zijn, de data hoeft dat natuurlijk niet te zijn.
Niet alle data is te genereren; stel dat het algoritme zegt dat mensen die in een bepaald postcodegebied wonen en een auto van meer dan een ton hebben verdacht zijn, gaan fraudeurs dan auto's uitdelen?

[KroeT]

Terechte vraag. Nu doen provincies weinig tot niets met het opsporen van fraude of criminaliteit. Wat het dichtstbij komt is het toepassen van de Wet Bibob, maar daar staan voor zover ik weet geen algoritmes voor op de planning. Het gaat bij die wet overigens wel om het 'voorspellen' van toekomstig gedrag gebaseerd op gedrag uit het verleden, want er wordt uiteindelijk een mate van gevaar bepaald dat (bijvoorbeeld) een vergunning zal worden gebruikt voor het plegen van strafbare feiten. Welke strafbare feiten in ongeveer welke mate meewegen bij zo'n oordeel en het uiteindelijke besluit staan gewoon in de wet zelf, dus een algoritme publiceren zal daar niet veel meer voorkennis opleveren dan criminelen nu al hebben door het lezen van het toetsingskader.

Voor gemeenten is je vraag ook relevant. Daar wordt actiever gestuurd op fraudebestrijding omdat er meer direct contact is met inwoners dan bij provincies, die in hun besluitvorming meer te maken hebben met rechtspersonen. Ik vind het als burger wel prettig om vooraf te weten aan de hand van welke lat mijn gedrag wordt gewogen. Maar als crimineel zou ik mijn gedrag inderdaad absoluut aanpassen op de interventies van de overheid. Dat gebeurt nu ook al natuurlijk. Georganiseerde criminelen kunnen in de toekomst misschien hun gedrag door hun eigen algoritmes laten bepalen, die zijn geschreven om in te spelen op de algoritmes van opsporende instanties. Een algoritme-oorlog. Fascinerend. Ik hoop dat de criminelen hun contra-algoritmes ook netjes publiceren.

[3raser]

Doet een provincie aan opsporing? Dat is meer een taak van de politie lijkt me.

[wildhagen]

Jazeker doen pronvincies dat, denk aan de Wet Bibob. Zo zullen er ongetwijfeld nog enkele voorbeelden zijn.

[KroeT]

Idd, de Wet Bibob, al wil ik bepleiten dat dat geen opsporingsinstrument is. Sommige provincies hebben beleid op misbruik en oneigenlijk gebruik van subsidies te signaleren. Daar gaat het veelal om steekproeven om te controleren of de verleende subsidies daadwerkelijk zijn besteed aan het doel waarvoor de subsidieregeling in het leven is geroepen. Met andere woorden: of de aanvrager wel heeft uitgevoerd wat er is afgesproken. Er is alleen nooit voldoende capaciteit om alles en iedereen te controleren, dus gebeurt dat vaak op basis van een risicoanalyse. Meer controles bij grotere bedragen bijvoorbeeld. Of meer controles bij bewezen kwetsbare branches. Het punt is dat die aannames zichzelf kunnen versterken waardoor alle aandacht blijft gaan naar die grote bedragen of die kwetsbare branches. Zie ook het onbewust racial profilen bij de politie. Een algoritme dat zelf leert en corrigeert voor die aannames is dus wellicht welkom en kan zelfs meer openheid verschaffen dan wat er in het brein van een ambtenaar omgaat. Kan. Wellicht. Misschien. Enzovoort.

[Dets]

Het is niet alleen het algoritme maar ook de waarde van de gebruikte parameters en de samenhang daar tussen die een rol spelen. Ik denk dat als ze een algoritme publiceren met:
ALS storting > [parameter waarde] DAN "Potentieel fraudeur" ANDERS "Keurige burger"
Je een goed beeld hebt van wat de bedoeling is. Algortimes worden gebruikt om afwegingen te maken en het is continu de balans zoeken. Zet je in het voorbeeld dat waarde te laag heb je zoveel werk dat je dat nooit aankunt, zet je 'm te hoog dan is iedereen een keurige burger.
Verder is het publiceren wel goed omdat dan ook te verifiëren is of er geen ongeoorloofde profilering wordt toegepast op afkomst, religie etc.

[Reactie gewijzigd door Dets op 22 juli 2024 17:17]

[bytemaster460]

Met kunstmatige intelligentie is het juist mogelijk om het fenomeen “fraude” te herkennen en niet de afzonderlijke methodes om fraude te plegen. Goeie algoritmes kun je dus best openbaren.

[oks]

Het probleem is dat de crimineel dan veel makkelijker wegkomt met de fraude die hij pleegt. Niemand snapt hoe het algoritme werkt ook de maker niet. Dus hoe kun je dan crimineel gedrag herkennen laat staan vervolgen. Je volgt een verkeerde gedachte trein, en je stapt te vroeg uit ;-)

[kodak]

De pakkans verlaag je niet zomaar door duidelijk te zijn welke beslissingen er wel of niet gemaakt worden. Meestal weten criminelen dat nu waarschijnlijk al als die niet gepakt willen worden. Natuurlijk kan je daarbij twijfelen of ze niet te veel extra weten, of meer potentiële criminelen hiermee iets gaan weten. Aan de andere kant kan je net zo goed stellen dat miljoenen mensen kunnen bijdragen om de fouten daarin te herkennen en op te laten lossen. Dus hoe wil je aantonen dat door publicatie er minder criminelen gepakt worden?

[kikkervis]

Beetje een inkopper, maar het lijkt mij niet meer dan redelijk. Ben er zo i zo van overtuigd dat de overheid veel meer openheid moet geven. Nu moet er eerst een Wob-verzoek gedaan worden en kan uiteindelijk bijna alles openbaar gemaakt worden.

Daar gewoon een stuk transparanter te zijn kan er bespaard worden en iedereen die het wilt kan het meteen inzien. Zeker in dit geval van alogritmes maar ook als je als overheid eigen software maakt zou dit er ook helpen om betere software te krijgen. Er is altijd wel iemand die er in gaat lopen kijken. Denk zelfs dat dit indirect ook nog tot betere software van de programeurs in dienst van de overheid zou leiden. Als je weet dat je code openbaar wordt, denk je misschien twee keer na voordat je die ongedocumenteerde quickfix er even in propt.

[Verwijderd]

Nu moet er eerst een Wob-verzoek gedaan worden en kan uiteindelijk bijna alles openbaar* gemaakt worden.

* en zwartgelakt

Ben blij dat dit initiatief er is, meer transparantie meer beter

[Quintiemero]

Verschilt ook per instantie, recentelijk gewerkt aan de afhandeling van een groot Wob-verzoek en daar zoveel mogelijk openbaar. Waar andere instanties hetzelfde onderwerp niet eens in behandeling nemen…

[The Zep Man]

Zeker in dit geval van alogritmes maar ook als je als overheid eigen software maakt zou dit er ook helpen om betere software te krijgen.

Public Money, Public Code is een initiatief dat hierop inspeelt. Niet alleen voor software die de overheid maakt, maar ook voor software die de overheid laat maken.

[Reactie gewijzigd door The Zep Man op 22 juli 2024 17:17]

[ViTO_xp]

Zoals iemand boven mij al vermeldt, het nut van het Wob verzoek is er. Maar als het ff kan dient dit m.i. een laatste redmiddel (lees: paardenmiddel) te zijn, want in de verwerking hiervan gaat zoveel tijd en (belasting)geld zitten. Als de duidelijkheid en transparantie al aan de voorkant zit, om via de achterkant te moeten gaan grasduinen.

zo i zo

Even offtopic, maar moest dit twee keer lezen en meen dat je 'sowieso' bedoelt. Is dat bewust of toch een gevalletje automatische aanpassing (invoer via smartphone) ofzo?

[kikkervis]

:-) Nee, gevalletje dyslectisch en geen spellingscorrectie gebruikt.

[koentjuh1987]

men zal niet klakkeloos alles publiceren maar bepaalde algoritmes kun je prima beschikbaar stellen.
Dan ben je namelijk nog steeds afhankelijk van bepaalde databronnen die enkel in gesloten systemen zitten.

[Saint2Saint]

De provincie geeft hiermee dus invulling aan het rapport van de Nationale ombudsman uit maart van dit jaar: Een burger is geen dataset

En dat mag ook wel, ik hoop dat er snel meer overheidsinstanties volgen.

[michielRB]

Alleen zo jammer dat het 'de burger' niets kan schelen wat voor dataset er dan ook over hem of haar bestaat. Zie het gemak waarmee persoonlijke data wordt vrijgegeven aan FB/WA/Insta, Google, Microsoft, Twitter etc...

Als ik mensen aangeef dat ik geen WA heb, krijg ik een vreemde blik terug. Een enkeling roept nog: 'stoer'.
De gemiddelde mens in Europa zegt dat er bezorgdheid is over privacy. Maar als het er op aankomt om privacy daadwerkelijk te omarmen dan gaat niemand over naar privacy vriendelijke alternatieven. Ze lopen allemaal met dikke lagen boter op hun hoofd,

[Nathilion]

Gaan ze dan ook de algoritmes die ze hun medewerkers aanleren openbaar maken? En doel ik op de 'analoge' algoritmes die al hun medewerkers, al dan niet bewust, gebruiken om bestuursbeslissingen te maken. Die lijken mij nou vele malen interessanter dan een paar regels aan computercode.

[CAPSLOCK2000]

Ik vind het een prima initiatief maar ook een hele kluif.

Alle software bevat algoritmes, je kan zelfs argumenteren dat alle software alleen maar uit algoritmes bestaat, honderden per programma. Ik denk dat men vooral denkt aan "kunstmatige intelligentie" als ze het over algoritmes hebben. Helaas is die term nog vager en minder goed omlijnd.

Dan is er de vraag hoe ze er achter gaan komen welke algoritmes er gebruikt worden. Dat staat typisch niet vermeld. Welke algoritmes gebruikt Alexa om stemmen te herkennen? Welke algoritmes gebruikt Apple om gezichten te herkennen? Welk algoritme gebruikt Spotify om muziek te kiezen? Hoe bepaalt Facebook welke post bovenaan staat? Allemaal algoritmes en die software bedrijven gaan echt niet publiceren hoe hun software precies werkt.

Een tweede probleem is dat veel "AI" systemen niet alleen een algoritme gebruiken maar ook dataset met voorbeelden en een leerproces. Alleen het algoritme zegt niks over hoe het uiteindelijk werkt. Dat is alsof je algoritme is "ga naar de bibliotheek, lees een boek en doe wat er in staat". Een duidelijk algoritme*, maar als je niet weet welk boek er in de bibliotheek staat dan heb je geen idee wat de uitkomst gaat zijn. Je zal ook moeten controleren of die dataset eerlijk is. Ik ken een voorbeeld van beeldherkenningssoftware die voorwerpen moest herkennen maar in werkelijkheid had geleerd om de hand van de programmeur te herkennen die voorwerp vast hield, in plaats van het voorwerp dat herkend moest worden. Dat werkte prima in de test maar in praktijk ging het helemaal verkeerd.

Het derde grote probleem is de controleerbaarheid. Dat lijkt me haast onmogelijk zonder volledige toegang tot het systeem. Iedereen die ooit iets met software heeft gedaan is dat er altijd bugs zijn en dat die vaak heel subtiel zijn. Als in het algoritme staat dat algoritme X gebruikt wordt, hoe komen we er ooit achter of dat ook echt waar is en of het algoritme foutloos is geimplementeerd?

De vraag of het gekozen algoritme geschikt is voor de taak is ook een heikel punt, maar daar kunnen we in ieder geval over discussieren aan de hand van dat register. De effectiviteit is in veel gevallen nog wel vast te stellen. Een algoritme dat bijvoorbeeld gesproken woorden verstaat kun je testen en meten hoe goed het is. Lastiger is de vraag of de beslissingen redelijk zijn of worden gemaakt op grond van twijfelachtige aannames. Als het algoritme zegt dat je een crimineel bent op grond van het formaat van je schedel, is er dan iemand die zegt "ho, er is al lang wetenschappelijk aangetoond dat frenologie (schedelmeteriij) niet werkt, dit algoritme doet onjuiste aannames". Ik ben bang dat iedereen braaf zal zeggen "de computer heeft altijd gelijk".

* Er zijn er die argumenteren dat een algoritme per definitie altijd een duidelijke en vaste uitkomst heeft. Maar met die stricte definitie heeft dit hele algoritmeregister weinig zin, dus ik ga voor de "moderne' interpretatie: "moeilijke dingen die de computer doet".

[Raafz0r]

Ik ben benieuwd hoe ze dit willen aanpakken. Bij het gemiddelde random forest of NN model heb je maar weinig aan een lijstje van de parameters en de wegingen.

Belangrijker is om te weten welke data wordt gebruikt voor trainen, hoe deze wordt gefilterd etc. En vervolgens wat de uitkomsten van het model zijn en hoe het model is getuned qua verhoudingen sensitiviteit en specificiteit.

[Bulkzooi]

Whahaha.. wat een onzin: 20 jaar de roep om Open Source negeren en nu een algorithmeregister voorstellen.

Die zitten met hun hoofd in de wolken..

[b.maalman]

Gaan ze dat ook doen voor alle NOx uitstoot voor alle vluchten over Noord-Hollland?
Volgens de provincie is maar 2% van de stikstof van "overig verkeer" waaronder luchtvaart valt. Dat geloofd toch niemand.