Het risico bestaat dat burgers worden gediscrimineerd als de overheid algoritmes gebruikt. Toch zijn er op dit moment geen 'black box'-algoritmes in gebruik, concludeert de Algemene Rekenkamer in een rapport.
De Algemene Rekenkamer deed onderzoek naar de inzet van algoritmes bij de overheid. In het onderzoek concludeert de instantie dat de overheid veel algoritmes gebruikt, maar dat die voornamelijk simpel zijn en voor simpele doelen worden ingezet. Nergens is er een zogenaamde 'black box' waarbij de werking van het algoritme onduidelijk is; de Rekenkamer kon van alle algoritmes achterhalen hoe die werken. Daar moet de overheid ook in de toekomst wel op blijven letten, waarschuwt de instantie. De transparantie moet altijd in de ontwikkeling naar voren komen, zeker bij het inkopen van algoritmes van private partijen.
De overheid gebruikt geen zelflerende algoritmes, zegt de Rekenkamer. Het gaat alleen om lerende algoritmes. In de meeste gevallen worden die gebruikt om zaken te automatiseren. De Rekenkamer noemt als voorbeeld een algoritme dat op basis van een als-dan-beslisboom bepaalt of een huiseigenaar recht heeft op subsidie voor een Rijksmonument. Er zijn bovendien nergens algoritmes in gebruik die aan geautomatiseerde besluitvorming doen. Er komt altijd nog een ambtenaar aan te pas die de uitslag controleert en bevestigt, ook bij algoritmes die aan 'risicovoorspelling' doen. Toch liggen er daar wel risico's, waarschuwt de Rekenkamer. Bij dergelijke algoritmes is het bijvoorbeeld mogelijk dat die in strijd zijn met de wet en discrimineren. "Ook bestaat de kans dat het advies van het algoritme de uiteindelijke beslissing van de medewerker beïnvloedt", staat in het rapport.
In die laatste categorie liggen de meeste risico's. De burger 'staat daarbij niet centraal'. Het is voor hen onduidelijk waar ze terecht kunnen als ze vragen hebben over algoritmes waarin hun data voorkomt, of daar bezwaar tegen willen maken. "Wij bevelen het kabinet aan om burgers op een logische plek inzicht te geven in welke data worden gebruikt in welke algoritmes, hoe die algoritmes op hoofdlijnen functioneren en welke impact de uitkomsten daarvan hebben", schrijft de Rekenkamer. De overheid zet de algoritmes in voor zichzelf. Daarbij is wel aandacht voor privacy, maar te weinig voor ethische kwesties.
De Rekenkamer tekent bij het onderzoek wel aan dat dat beeld mogelijk niet volledig is. Het overzicht is afkomstig van beschrijvingen die het bij ministeries zelf had opgevraagd.
De Rekenkamer zegt ook dat er op dit moment geen manier is voor overheden om toezicht te houden op welke algoritmes wel en niet kunnen worden ingezet. Daarom heeft de Rekenkamer zelf een toetsingskader opgesteld. Daarin staan onder andere ethische vraagstukken of vragen over privacy van burgers.
Algoritmes bij de overheid liggen al jaren onder een vergrootglas, met name het Systeem Risico Indicatie of SyRI. Ook gebruikte de Belastingdienst algoritmes om risicoprofielen op te stellen van mogelijke kinderopvangtoeslagfraudeurs, maar dat leidde tot etnische profilering en vervolgens de toeslagenaffaire. In de aankomende verkiezingen zijn algoritmes een belangrijk punt. De meeste politieke partijen pleiten voor meer openheid van algoritmes bij de overheid, en veel partijen willen daar een aparte toezichthouder voor hebben.