Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Nederlandse inlichtingendiensten lopen hoog risico op misbruik van algoritmes

De inlichtingendiensten AIVD en MIVD hebben nog onvoldoende waarborgen voor het veilig gebruik van algoritmes. Er zijn 'hoge risico's' dat zulke algoritmes worden misbruikt, schrijft de toezichtcommissie Ctivd.

De bevindingen staan in de halfjaarlijkse voortgangsrapportage van de Commissie Toezicht op de Inlichtingen- en Veiligheidsdiensten, de Ctivd. De commissie controleert of de AIVD en MIVD de Wet op de Inlichtingen- en Veiligheidsdiensten naleven. Voor het rapport keek de commissie voor het eerst naar 'gda, of geautomatiseerde data-analyse' bij de diensten.

Hoewel zulke geautomatiseerde data-analyses ook simpele zoekacties naar persoonsgegevens kunnen zijn, gaat het in veel gevallen om algoritmes die de diensten inzetten om data te analyseren. Zulke profilering of bigdata-analyse is een wettelijke algemene bevoegdheid, waarbij geen specifieke toestemming nodig is van de minister. Ook hoeft de inzet niet getoetst te worden door de tib, de Toetsingscommissie Inzet Bevoegdheden. Er is volgens de Ctivd een 'hoog risico' dat de algoritmes voor de data-analyses te snel worden ingezet, zonder de juiste waarborgen.

Een van de problemen is dat er bij de inlichtingendiensten geen duidelijk beleid is omtrent de vraag wanneer een procedure een geautomatiseerde data-analyse is. "Dit brengt het risico met zich mee dat gegevensverwerkingen die nu ten onrechte niet als gda worden aangemerkt, niet gebonden zijn aan de benodigde waarborgen", schrijft de commissie in haar rapport.

Mede daardoor is er een hoog risico dat de inlichtingendiensten ze te vaak inzetten, zonder de afweging te maken of daarvoor een wettelijke grondslag is. Zo'n analyse moet namelijk een duidelijk doel hebben. In de wet staat ook dat de inlichtingendiensten geen maatregelen mogen nemen op basis van enkel de uitkomsten van zo'n algoritme - daar moet ook altijd een menselijke beoordeling aan te pas komen.

Maar omdat het begrip van gda's te vaag geformuleerd is bij de diensten, bestaat er risico dat dit toch gebeurt, en dat medewerkers voor hun onderzoeken 'niet vooraf de benodigde afwegingen maken'. Bovendien hebben de diensten niet voldoende zicht op wanneer algoritmes in zoektechnieken worden ingebouwd, en hebben de betrokken personen niet genoeg inzicht in hoe die werken en of dat naar behoren gaat.

De Ctivd bracht dinsdag de tweede voortgangsrapportage uit sinds de Wiv op 1 mei 2018 in werking trad. In december 2018 werd een eerste rapportage uitgebracht waarin verschillende grote risico's voor de diensten werden aangemerkt. Daarin stond te lezen hoe de diensten te weinig waarborgen hadden voor het feit dat zij 'zo gericht mogelijk' moesten aftappen. Veel van die risico's zijn sindsdien verlaagd. "De AIVD en MIVD zijn doordrongen van de noodzaak van interne controle op de naleving van de wet", schrijft de commissie nu. De meeste 'hoge risico's' die tijdens de eerdere rapportage werden ontdekt, zijn nu teruggebracht naar de status 'gemiddeld' of 'beperkt'.

Door Tijs Hofmans

Redacteur privacy & security

11-06-2019 • 12:00

56 Linkedin Google+

Reacties (56)

Wijzig sortering
Ligt het nou aan mij of zijn we weer terug in de beginperiode dat PC's big business waren? :?
Er is in ieder geval één cruciaal verschil: in de beginperiode van PC's waren dit veredelde kaartenbakken. Hier kwam al snel een query-mogelijkheid bij ("geef mij iedereen met de naam 'Janssen' geboren voor 1980"), maar het was nog steeds de gebruiker van die kaartenbak die beslissingen nam en ook later kon uitleggen hoe hij tot die beslissing gekomen was.

Algoritmes gaan nog wat stappen verder; die zeggen "Pietje is verdacht", de gebruiker van het systeem neemt die verdenking 1:1 over. En als dan aan de gebruiker wordt gevraagd waarom hij Pietje verdenkt, dan komt 'ie niet verder dan "het systeem/algoritme zei dat".

Als je niet volledig doorgrondt hoe een algoritme werkt is de kans groot dat het op andere factoren gaat selecteren dan de bedoeling is. Zo kan een algoritme die drugsdealers moet vinden zo maar enkel naar de achternaam gaan kijken en daar alle mensen met een Antiliaanse (bijv.) achternaam flaggen, terwijl het idee van het algoritme was dat deze dat zou doen op basis van de inhoud van belastingaangiftes*.

offtopic:
Je kan je afvragen of een belastingaangifte gebruikt zou mogen worden om at random te zoeken naar drugs dealers (ik denk het niet), maar was even het beste voorbeeld wat ik kon bedenken.
Algoritmes gaan nog wat stappen verder; die zeggen "Pietje is verdacht", de gebruiker van het systeem neemt die verdenking 1:1 over. En als dan aan de gebruiker wordt gevraagd waarom hij Pietje verdenkt, dan komt 'ie niet verder dan "het systeem/algoritme zei dat".
Ja, dat is dus een beetje misbruik van het woord 'algoritme'.
Elk computerprogramma is een algoritme.
En een SQL query is ook een algoritme.
Alle gestructureerde opdrachten waarmee je iets bereikt zijn gewoon algoritmes.
Een rekenmachine is ook niet meer dan een set algoritmes.

Nu wordt het woord 'algoritme' dus geassocieerd met big data en 'evil' en ondoortastelijk. En dat is volkomen onterecht. Het wood algoritme is een enorm breed begrip.
Als je niet volledig doorgrondt hoe een algoritme werkt is de kans groot dat het op andere factoren gaat selecteren dan de bedoeling is.
Dus als jij een SQL query doet moet je begrijpen hoe SQL die query op atomair nivo gaat uitvoeren?
En als jij twee getallen op elkaar deelt op een rekenmachine moet je weten hoe je moet staartdelen?
Of gebruik je het woord 'agoritme' hier gewoon te breed en moet je nog specificeren om wat voor soort algoritme het gaat? :)
Het artiekel doet dat in ieder geval niet. Dat begint gewoon uit het niets over algoritmes zonder verdere context, alsof algoritmes enkel op 1 ding van toepassing zijn.
Een algoritme is een set van stappen om een bepaade procedure uit te voeren. Een algoritme is gelaagd. Een SQL query is een algoritme. Het vewerken van de query is een ander algortime. Over elke laag doe je aannames. Een van de aannames is dat een SQL query eenduidig is uit te voeren en met een specifiek resultaat terug komt. Daarbij is de aanname dat de omgeving die de query uitvoert geen bugs bevat of crasht.

Een probleem met queries is al dat de data niet consistent, onvolledig of corrupt is. Dan kan de query ook foute resultaten opleveren. Je moet dus wel weten wat de consequenties zijn van die data.

Bij een AI met een fuzzy network, heb je ook een algoritme. Maar daarvoor geldt dat de mens niet weet hoe de beslissing tot stand is gekomen.
People are stupid. En maar achter de zakken met geld aanhollen. Geen flut verstand van dataananalyse, geen vraagstelling, geen hypothese, maar andere onderzoeker x had 'mooie resultaten' met big data en algoritmes en dus moeten zij het ook gebruiken want dan innoveren ze ook mee.

Een hoop onderzoekers denken niet vreselijk veel verder dan dat, en gaan het subsidievoorstel op basis hiervan schrijven. Je noemt het dan exciting opportunities en new technology en data driven approach en machine learning en iedereen knikt ooh knap ja gaaf.

Tenenkrommend! Algoritmes! :-) rrrrrr.

Ik ken bar weinig onderzoekers die echt de elegantie en de kracht van AI snappen. Wat ze wel snappen, is dat het hip is.

De zorg uit het artikel lijkt me volkomen terecht en kan je ook op alle universiteiten plakken.

[Reactie gewijzigd door Znorkus op 11 juni 2019 20:00]

Ach, of je 't nu een algoritme of stappenplan of systeem of methode noemt: die kunnen allemaal uitermate simpel of uitermate complex zijn.
Het gaat er hier in elk geval om dat er blijkbaar algoritmes/stappenplannen/systemen/methodes gebruikt worden die wat ingewikkelder zijn dan 't simpelweg optellen van twee getallen. En dat die algoritmes/stappenplannen/systemen/methodes die momenteel gebruikt worden, zodanig gemaakt zijn dat ze misbruik in de hand werken. Derhalve moeten de huidige algoritmes/stappenplannen/systemen/methodes dus blijkbaar op de schop.
Een goede methode zou zijn: ze openbaar maken (op hun website plaatsen o.i.d.). Dan kan eenieder meekijken, en beoordelen of 't wel eerlijke algoritmes zijn. Dat dwingt tot 't maken van eerlijke algoritmes (immers: iedereen kan meekijken).
Waarschijnlijk valt 't niet onder 'wet van openbaar bestuur' vanwege 'de veiligheid', maar ja... wie controleert de controleurs? De Ctivd dus :). Moeten we de controleurs van de controleurs ook kunnen controleren? Wel als die controleurs teveel aanschuren tegen de AIVD en MIVD zelf (bijv. als een deel van de Ctivd bij AIVD of MIVD zelf vandaan komt: dan heb je belangenverstrengeling, zoals bij de Reclame Code Commissie waarbij de helft + één uit de industrie zelf komt).

[Reactie gewijzigd door kimborntobewild op 11 juni 2019 16:56]

Dus als ik die info pas krijg op het moment dat de ctivd het openbaar maakt en exact hetzelfde stuk zou schrijven zou het geen propaganda zijn, maar nu wel? Embargo's gebeuren in de journalistiek aan de lopende band, om uiteenlopende redenen. De term 'propaganda' vind ik behoorlijk beladen en eerlijk gezegd ook een beetje beledigend. Het is niet zo alsof we netjes opschrijven wat de ctivd wil.
Reactie kort samengevat, voor mensen die geen rant willen: Bovenstaande is een stroman antwoord, ik beweer namelijk niet wat Tijs hier weerleg, en dat hij iets beledigend vind of iets vaker gebeurt is al helemaal geen argument.

Ik snap dat ik nu een gigantische faux-pas maak door met een auteur in discussie te gaan, maar dit is echt absurd! Iemand probeert nieuws te duiden en je doet het af met goedkope truukjes.

Je legt mij woorden in de mond, een stroman, en dat is eerlijk gezegd ook een beetje beledigend. Helemaal omdat je er ook nog even een schepje er bovenop doet, propaganda gaat niet over 'netjes opschrijven wat X wil'. Het gaat om controle over het verhaal als geheel, het sturen van berichtgeving.

De waarschuwing dat er nieuws komt is ruim vooraf. Indirect wordt duidelijk gemaakt dat alle concurrenten dat ook weten, dus meteen handelen is nodig. Nieuwe feiten zijn er alleen niet, er is dus nog nog niks van het 'nieuws' te schrijven. Je kan alleen maar vragen stellen over reeds bekende zaken. En dat is informatie die vaak uit dezelfde bron komt! Degene aan wie je de vragen stelt heeft zo ook goed zicht op hoe je iets gaan benaderen.

De voorbereiding en alle vooraf geschreven inhoud van het uiteindelijke nieuwsbericht gaat dus sowieso niet over dingen waarop de instantie niet op voorbereid is. Dat is al een zeker mate van controle.

Echte informatie komt pas enkele uren voor het 'nieuwsmoment'. Dit is niet genoeg tijd voor serieus onderzoek op basis van de nieuwe feiten, en iedereen weet van elkaar dat ze stipt om 12.00 moeten publiceren, want oud nieuws in geen nieuws. Maar de context waarin de nieuwe informatie zal worden geplaatst, is al grootendeels bepaald door het vooronderzoek.

Je kan als journalist wel beledigd zijn van de beschuldiging, maar door mee te werken aan dit soort contructies in plaats van er keihard tegen te protesteren, geef je de overheid die jij moet controleren, juist een stukje controle over jouw werk. Controle vooraf hé, laten we vooral duidelijk maken dat dit geen zichtbaar ingrijpen na afloop is. De cyclus kan dus straffeloos herhaald worden om zichzelf te versterken.

Hopelijk snap je nu waarom de link met propaganda word gelegd, ondanks dat je niet letterlijk een boodschap aan het overnemen bent. Zeg ik nu dat je een verlengstuk van de staat bent? Nee. Is dit stuk propaganda. Geen idee, ik heb geen vergelijking ;)

We passen de term propaganda niet toe op commerciële partijen omdat niemand ooit hoeft te twijfelen aan hun doelen. Politieke actoren zijn compleet iets anders. Die embargo's kan je dus niet 1 op 1 vergelijken.

[Reactie gewijzigd door Cio op 11 juni 2019 22:27]


Om te kunnen reageren moet je ingelogd zijn


OnePlus 7 Pro (8GB intern) Microsoft Xbox One S All-Digital Edition LG OLED C9 Google Pixel 3a XL FIFA 19 Samsung Galaxy S10 Sony PlayStation 5 KPN

Tweakers vormt samen met Tweakers Elect, Hardware.Info, Autotrack, Nationale Vacaturebank, Intermediair en Independer de Persgroep Online Services B.V.
Alle rechten voorbehouden © 1998 - 2019 Hosting door True