NCSC krijgt via api toegang tot Have I Been Pwned-data voor monitoring

Het Nederlandse Nationaal Cyber Security Centrum gaat samenwerken met Have I Been Pwned en kan daardoor alle databases van de site scannen op de aanwezigheid van mailadressen van ambtenaren. Dat zegt de beheerder van de site.

Het Nederlandse NCSC is de 24e overheidsorganisatie die samenwerkt met Have I Been Pwned, zegt Troy Hunt. Het NCSC betaalt niet voor de toegang. Het gaat om volledige, gratis toegang op api-niveau tot de databases van de site, zegt Hunt.

Have I Been Pwned heeft al enige tijd een api om gegevens uit zijn databases te kunnen ophalen. De api is onder meer in gebruik voor het maken van apps voor mobiele platforms en het maken van bots voor bijvoorbeeld Discord die gebruikmaken van de gegevens van de site. Toegang tot de api is voor makers van bijvoorbeeld apps betaald.

Het NCSC kan met de toegang monitoren of mailadressen van ambtenaren en politici voorkomen in de databases en hen daarna snel waarschuwen. De site verzamelt gegevens uit datalekken en maakt ze doorzoekbaar, waardoor gebruikers kunnen nagaan in welke datalekken hun gegevens voorkwamen. Tweakers publiceerde enkele maanden geleden een interview met Troy Hunt over Have I Been Pwned.

Reacties (36)

Voor de volledigheid het NCSC krijgt toegang tot een gewhiteliste lijst domeinen om te doorzoeken. Zo kunnen ze simpel door alle overheids domeinen zoeken. Het is dus niet zo dat de overheid nu kan gaan lopen zoeken naar ieder zijn e-mail in de dataset.

Overigens kon de overheid dit al lang zelf doen. Maar dan had het dit per domein moeten doen (via https://haveibeenpwned.com/DomainSearch ). Echter met enkele honderde domeinen word dat een heel gedoe.

Het is dus niet zo dat de overheid nu kan gaan lopen zoeken naar ieder zijn e-mail in de dataset.

Dat is natuurlijk waar, maar vergeet niet dat HIBP niet meer is dan een verzameling van bekende database dumps die op internet rondzwerven.

Je kan er dus wel van uitgaan dat zowel de overheid als andere partijen aan beide kanten (goed en slecht) die dumps voor een zeer groot deel gewoon in handen hebben. De meesten zijn namelijk helemaal niet moeilijk te vinden.

Wat Troy Hunt heeft gedaan is enerzijds alles bij elkaar zetten en anderzijds alles netjes in een database zetten maar hij is geen bron op zich van deze data. Het filteren op de domeinen is dan vooral symbolisch wat mij betreft. En scheelt natuurlijk ook een hoop dataoverdracht.

[Reactie gewijzigd door GekkePrutser op 6 juli 2021 02:27]

Nobel dat die api gratis is, maar ik zou zeggen laat overheden betalen. Budget is er toch wel.

Edit: zoals @beany aangeeft is de reactie wat kort door de bocht, hier de redenering erachter:

Ik zie liever dat ze een dienst zoals deze wat betalen omdat die ook een publieke functie heeft. Zo krijgt die ook wat meer zekerheid van bestaan, zonder dat individuele burgers er voor hoeven te betalen. Plus dat het regelen van toegang en consumeren daarvan vast een heel project is geweest met externe consultants dus dat heeft de burgers toch al het nodige gekost. Dus nobel dat Hunt dit gratis aanbied voor overheden, maar een kleine bijdrage had niet onsympathiek geweest en voor de overheiduitgaven een nauwelijks meetbaar effect.

[Reactie gewijzigd door Jogai op 5 juli 2021 10:33]

Het is een zeer sympathiek idee maar zal stranden op bureaucratische redenen: waar is het contract van meneer Hunt met de verplichte SLA, waarom heeft hij de inkoopvoorwaarden nog niet geaccepteerd, mogen we nog een VOG en een modelcontract (want hij is zzp'er) en we wachten nog op de afdeling Aanbesteding voor de vraag of we dit wel mogen inkopen bij zo'n direct geselecteerde leverancier.

Ik heb zelf wel eens geprobeerd een training (met gratis boeken voor de deelnemers) bij de overheid weg te zetten, dat ging namelijk precies zo. Ik heb er toen van gemaakt dat men de boeken inkocht (even snel de vaste boekenprijs omhoog) en daarna een gratis training kreeg. Dat kan wel namelijk.

Dat budget komt uiteindelijk bij ons vandaan he...

En we willen dat de overheid veilig is.

Dat is een ander argument, waar ik het overigens mee eens ben, dan 'er is toch wel budget'.

Toen ik dat schreef was ik ook al op de hoogte dat het budget door de burgers betaald is. Maar had idd wel wat meer toelichting kunnen schrijven. Naar mijn mening wordt het belastinggeld verspild aan allerlei nutteloze zaken of overhead. Ik zie liever dat ze een dienst zoals deze wat betalen omdat die ook een publieke functie heeft. Zo krijgt die ook wat meer zekerheid van bestaan, zonder dat individuele burgers er voor hoeven te betalen. Plus dat het regelen van toegang en consumeren daarvan vast een heel project is geweest met externe consultants dus dat heeft de burgers toch al het nodige gekost. Dus nobel dat Hunt dit gratis aanbied voor overheden, maar een kleine bijdrage had niet onsympathiek geweest en voor de overheiduitgaven nauwelijks effect, en op de belastingbetaler al helemaal niet.

maar misschien moet je je dan inlezen in deze dienst, api toegang, welke ondermeer nodig is voor integratie in apps (maar bijvoorbeeld ook nodig is als je je eigen password manager host/gebruikt).
de kosten zijn niet heel hoog an sich maar het gemiddelde verbruik per user is dat ook niet,

Er zullen natuurlijk bedrijven zijn zoals lastpass of een van hun concurrenten etc die mogelijk gebruik maken van hibp - maar die zullen dan vermoedelijk wel wat meer mogen neertellen.
Het probleem dat ik heb met deze regeling (gratis voor overheden) is dat lang niet iedereen in nederland al een account heeft bij deze dienst, dan krijg je dus dat een relatief zeer klein aantal gebruikers moeten opdraaien voor het profijt van een hele overheid. Terwijl dit soort kosten dus de hele maatschappij dienen en daardoor dus ook door de hele maatschappij betaald zou moeten worden. laat dus iedereen in Nederland voortaan 10ct per jaar meer belasting betalen en onze overheidsgegevens zijn een stuk veiliger dan voorheen (lees: er kan sneller worden ingegrepen bij een mogelijk lek).

In dit opzicht vind ik Hunt dus vrij onverantwoordelijk, dat je geen winst wilt maken ten koste van overheden is één maar een kosten-vergoeding laten varen is gewoon onverantwoord het zorgt alleen maar dat de dienst duurder moet worden en er dus minder mensen voor gaan betalen. Dit is slecht voor het voortbestaan van één van de belangrijste online diensten van dit decenium op het gebied van online veiligheid.

We willen allemaal dat de overheid veilig is. En de zorg betaalbaar is. En het klimaatprobleem wordt aangepakt. En we niet in de file staan. Maar hoeveel van elk, dat is een politieke keuze, inclusief bijbehorende budgetten.

Waarbij het grootste probleem is dat niemand echt geld uit wil geven, ook al word onze leefomgeving zovel beter.

Het zou geld goed besteed zijn. HIBP biedt iedereen ter wereld gratis en simpel een mogelijkheid om te controleren of je credentials ergens zijn gestolen. Troy Hunt steekt er zijn hart en ziel in en heeft al meerdere aanbiedingen afgewezen omdat de 'dienst' dan een commercieel randje krijgt.

Het is dus een publieke dienst zonder kleine letters momenteel. Dat moeten we zo houden...

Dat wel maar dan komt het geld tenminste bij mensen / bedrijven die het verdienen.

Troy heeft dit een paar keer besproken in zijn podcast. De redenering is niet dat het geld er niet is. Maar het los krijgen. Of een nieuwe service gebruiken etc. gaat gepaard met een enorme papieren molen. Door het gratis te maken haalt hij gewoon een hele hoop opstakels weg.

Ze zouden trouwens al bij vrijwel al deze data kunnen als ze voor elk domain de domain search gebruiken https://haveibeenpwned.com/DomainSearch maar dat is ook veel werk.

Kortom het is een service die hij aanbied. Enige vereiste die hij stelt is dat hij er publiekelijk over mag praten.

Nobel dat die api gratis is, maar ik zou zeggen laat overheden betalen. Budget is er toch wel.

Dan loop je wel de kans dat je op een gegeven moment een "wie betaalt bepaalt" situatie kan krijgen.

Lang geleden dat ik een functie als uitzendkracht vervulde bij een overheid en beschikte over mailadres. In mijn werkinstructies stond duidelijk vermeld wat ik wel en niet mocht en de straf voor per overtreding.

Daarop mijn vraag hoe komen die "mailadressen van ambtenaren" en meer in zulke vage "databases" die ik wel eens voorbij zie komen op bv sites als "pastebin"?

Ook bij de (rijks) overheid zijn de regels aan verandering onderhevig. Daarnaast: tussen de 546 websites waarvan de adreslijst op deze site staan, zijn er genoeg die gewoon wel gebruikt kunnen en mogen worden.

Lang geleden waren de regels anders.
Maar ook toen mocht je het waarschijnlijk voor een 'gerenommeerde' service als LinkedIn gebruiken. (We weten allemaal hoe lek dat was.)

gewoon GDPR dienst van het domein verwittigen op dezelfde manier als de gebruiker? (Desnoods eens per dag/week)

Kan best wel geloven dat de overheid email adressen gebruikt die het niet in een database wil hebben staan. Dan is dit een goed alternatief.

waar denk je dat die api toegang tot geeft (of bedoelde je dat mijn voorstel een goed alternatief was?)

Mijn gedachte was meer dat HIBP zelf een database bij houd om te weten welke domeinnamen gecontroleerd moeten worden.
Ook daar zal de overheid niet al haar email adressen in kwijt willen.
Misschien wat vergezocht, maar een van de weinige redenen waarom te niet de standaard manier zouden willen gebruiken.

Het is belachelijk dat elke amateur en security researcher over een groter dataset kan beschikken dan Troy Hunt momenteel heeft en dat een overheid dit niet eens zelf kan organiseren...

De queries die onze overheid doen en die Troy en wie dan ook kan zien zijn interessant voor inlichtingendiensten, maar dat heeft men niet bedacht bij Nationaal Cyber Security Centrum.

[Reactie gewijzigd door AntiSpam op 5 juli 2021 19:51]

Misschien helpt dit een beetje: https://haveibeenpwned.com/NotifyMe

De systeembeheerder van jouw werkgever kan gratis van diezelfde API gebruikmaken. Of je werkgever een overheidsinstantie is of niet doet daarbij niet terzake.

Iedereen kan gewoon de site gebruiken om te kijken of zijn of haar emailadressen voorkomen in de databases. Dit gaat er alleen over dat de overheid geregeld heeft dat overheidsemailadressen automatisch gechecked worden om als er emailadressen voorkomen in een lek er hopelijk maatregelen getroffen kunnen worden voor die gegevens voor een aanval gebruikt kunnen worden.

Zie niet in wat dit met je andere opmerkingen te maken heeft.

(offtopic) al heb je met wachtgeld wel een punt, hier is voor iedere Nederlander een WW regeling voor, deze hoort ook gewoon met dezelfde voorwaarden voor politici te gelden. vooral dat wachtgeld niet gekort word op basis van andere inkomsten is natuurlijk van de zotte.

"Omdat ze blijkbaar de burgers(die het allemaal betalen) niet beschermen en alleen ambtenaren wel."

Elke werkgever beschermt zijn werknemers? Dus wat jij stelt is dat een overheidsorgaan deze bescherming niet exclusief mag aanbieden aan zijn werkgevers? Dit is dan alleen weggelegd voor commerciële bedrijven? Waar slaat dat nou weer op?

"Alleen als je bij de overheid werkt heb je het goed, wachtgelden, hoge lonen"

Je weet dat Nederland 915.000 ambtenaren telt? Jij doelt nu op een handje vol hooggeplaatste ambtenaren die in het nieuws zijn gekomen, waarop jij jou mening baseert. Vergeleken de commerciële sector verdienen ambtenaren helemaal niet zo veel hoor. Vooral bij de grootste werkgever van Nederland (de politie) kiezen veel medewerkers voor een lager loon omdat ze de maatschappelijke bijdrage belangrijker vinden.

Je kan altijd solliciteren.

Wanneer je je graag irriteert kan niemand je tegenhouden.
Maar het gaat hier natuurlijk niet om het wél beschermen van de mailbox van de ambtenaar en niet die van de burger. Het gaat om het beschermen van de gegevens van de burgers die in de mailbox van de ambtenaar staan. En het gaat hier om niet alleen om mailboxen, maar om allerlei via internet benaderbare systemen.

Ik denk dat je je eens in moet lezen over werken bij de overheid. Als iemand die (lang geleden) als DBA bij een overheid heeft gewerkt kan ik je vertellen dat ik in het bedrijfsleven aanzienlijk meer ben gaan verdienen. Zo goed verdien je absoluut niet als ambtenaar voor het het type werk en de werkdruk die daar had. 99,9% van de ambtenaren heeft trouwens totaal geen wachtgelden.

Waar komt dit nou weer vandaan?

Ik vermoed zo dat ze de werk-mail adressen van ambtenaren monitoren, en niet privé mail adressen. Dus als je wil dat jouw werkgever dat ook doet, ga met hem in gesprek. Maar het is dan dus puur werk gerelateerde welke bescherming de ambtenaren krijgen.

Hoe hadden jullie dat anders gezien? Elke burger moet zijn privé mail adres bij de overheid opgeven zodat ze een waarschuwing kunnen krijgen als een wachtwoord gelekt is? Zou je dat echt willen? Gezien je ook gewoon zelf je e-mail adres direct bij de bron kan opgeven als je een waarschuwing wil...

Misschien moet je dit iets meer in perspectief zetten. Om wat voor systemen gaat het bij ambtenaren en welke rol of functies hebben deze ten opzichte van de burger met welke systemen zij werken.

En ja natuurlijk moet ook de burger goed beschermd zijn. En wellicht moet er meer inzichten gegeven worden vanuit de overheid voor zulk soort diensten om ook de wat minder technische gebruikers op de hoogte te stellen. En wellicht is dat je punt. Zoals je kan lezen aan de rest van de reacties op jouw reactie zie je dat al een hoop op de hoogte hiervan zijn met betrekking tot hun privé zaken.