Codebase van Have I Been Pwned wordt op termijn opensource

De codebase van Have I Been Pwned wordt op termijn opensource gemaakt. Dat meldt oprichter Troy Hunt. Have I Been Pwned is een zoekmachine waarmee gebruikers kunnen controleren of hun e-mailadressen zijn betrokken bij een datalek.

Troy Hunt schrijft in een blogpost dat de beslissing om de codebase opensource te maken er al langer aan zat te komen. De codebase wordt niet in een keer opensource gemaakt, zo meldt Hunt. "Have I Been Pwned is niet in een staat om de zichtbaarheid in GitHub in een keer aan te passen, maar het moet wel zover komen."

Vooralsnog kiest Hunt er dan ook voor om 'de juiste delen van de codebase op het juiste moment' te publiceren. Op termijn moet alle mogelijke code openbaar zijn. De gegevens uit datalekken die Have I been Pwned bezit en de manier waarop hiermee wordt omgegaan, worden niet zozeer openbaar gemaakt. Dit is onder andere vanwege juridische- en privacyoverwegingen.

Hunt noemt verschillende redenen voor het opensource maken van de code. Zo wil hij 'zo transparant mogelijk' over het ontwerp van de dienst zijn. Ook hoopt de ontwikkelaar onder andere de zorgen van enkele gebruikers te verhelpen. Zo vroegen mensen zich bijvoorbeeld af of zoekopdrachten via Have I Been Pwned werden opgeslagen om een database met e-mailadressen op te bouwen, schrijft Hunt. "Dat doe ik niet, maar op dit moment komt die bewering neer op 'vertrouw me'." Door de code openbaar te maken kunnen mensen dit zelf verifiëren.

Ook hoopt Hunt dat andere mensen nu kunnen helpen bij het onderhouden van het project, zodat dit niet alleen van hem afhankelijk is. Hunt meldt daarnaast dat het onderhouden van de website hem veel tijd kost, en dat hij hierbij hulp nodig heeft. Om deze reden zocht Hunt aanvankelijk een koper voor de website, maar die zoektocht werd eerder dit jaar gestaakt. Door de code openbaar te maken, hoopt Hunt dat de gemeenschap hem kan helpen bij het onderhouden van de datalekkenzoekmachine, bijvoorbeeld bij het oplossen van bugs en het implementeren van nieuwe ideeën.

Reacties (42)

Fantastische kerel.

Die kerel reisde ondertussen de wereld door van de ene conferentie naar de andere. Antwoorde tussendoor op dm’s op twitter terwijl hij smiddag’s lunch pauze had tussen zijn training (waarvan ik er eentje heb gevolgd vandaar dat ik het weet). De korte momenten dat ik hem in persoon kon spreken kwam hij over als iemand die in zijn hoofd met 100 dingen bezig was terwijl hij op automatische piloot onze vragen beantwoorden terwijl hij een sandwiche of 2 binnenstak voordat hij weer verder moest met zijn training. Bewondering voor die man, maar zou het geen dag kunnen volhouden wat hij doet.
Helaas is zijn huwelijk wel op de klippen gelopen maar zou ook oprecht niet weten wanneer hij daarvoor echt tijd had.

Klinkt als een regelrechte workaholic en met de meeste verslaafden gaat dat niet lekker met een huwelijk.

Tja, je bent óf met je vrouw/man, óf met je werk getrouwd.

Choose wisely...

Workaholic? Want?

De man in kwestie kan ook simpelweg enorm veel plezier hebben in zijn werk. Zoveel, dat hij daar een stroom aan energie uit kan halen die anderen zich niet voor kunnen stellen. Daarnaast lijkt hij enorm behulpzaam ingesteld te zijn.

Volgens mij heeft iedereen wel eens dingen, hoe klein ook, waaruit ze (al dan niet bewust) enorm veel energie putten. Ga er maar vanuit dat deze man dat gevonden heeft en er zijn geld mee kan verdienen.

Omdat die misschien verslaafd is aan werken?

Ik weet wat onder workaholic verstaan wordt. Je geeft echter geen reactie op mijn vraag waarom dat volgens jou zo is. Omdat @miyapow156 iets verteld?

Ik vermoed een extreme passie voor security in combinatie dat hij zijn voldoening haalt om mensen iets bij te leren om zo iets bij te dragen aan de wereld. Geld is voor hem absoluut geen motivatie. Anders had hij gewoon haveIbeenpwned verkocht aan de hoogste bieder (ook al was het een bedrijf dat dit zou uitmelken op een slechte manier dat het ten onder zou gaan). Dan lag hij nu met zijn toenmalige vrouw en zijn kinderen op een privéstrand. In de plaats daarvan heeft hij extreme selectie rondes gemaakt om een goede opvolger te vinden, die dan uiteindelijk op niets is uitgedraaid omdat elk bedrijf dit hoe dan ook zou uitmelken op een manier waar hij geen vrede mee kon nemen (hij is community minded).
Het zijn keuzes die hij heeft gemaakt en een workaholic werkt in veel gevallen om zo snel mogelijk op een privéstrand te liggen. Er is dus iets meer dan gewoon een workaholic aan hem.

Dank voor je reactie. Dit was ook meer de richting waarin ik zelf dacht.

Iemand verslaafde (wat workaholic min of meer is) noemen zonder de persoon te kennen gaat mij wat te ver. Ik weet ook niet of een workaholic het echt doet om zo snel mogelijk op een privéstrand te liggen (waarbij ik begrijp dat dit een voorbeeld is). Een workaholic zal vermoedelijk het werk altijd en overal mee naar toe nemen.

Hoe de relatie was met zijn vrouw weten we ook niet. Misschien was het door haar dat hij is gaan reizen?

Maar hoe dan ook, hij is wel een slag apart en mensen die niet enkel voor het geld (of macht om nog maar wat anders te noemen) bezig zijn zouden we meer kunnen gebruiken in de wereld.

Ja natuurlijk, mijn ervaring met workaholics is ook enkel in mijn omgeving dus dat kan een verwrongen beeld zijn.

En goede opmerking over dat hij misschien begon te reizen door zijn vrouw. Kan zeker een reden zijn.

Uiteindelijk gaan we nooit het volledige verhaal weten maar ik neem wel aan dat geld niet voor hem het aller belangrijkste was.

Ja ik zeg toch ook klinkt als?

Klopt, fair enough. Op mij kwam het "klinkt als" niet als mogelijkheid maar als vaststelling over.

Nee ik ken die beste man niet persoonlijk. Hoorde alleen een omschrijving die overeenkwam met workaholic

Ik vind het ook zo opvallend hoe HIBP gewoon nog een hobbyproject voor hem is en niet zijn fulltime baan.

Ik dacht dat er een organisatie achter zat.... 1 persoon ... inderdaad wat een fantastische kerel.

Fantastisch initiatief natuurlijk maar wel een kanttekening:

Zo vroegen mensen zich bijvoorbeeld af of zoekopdrachten via Have I Been Pwned werden opgeslagen om een database met e-mailadressen op te bouwen, schrijft Hunt. "Dat doe ik niet, maar op dit moment komt die bewering neer op 'vertrouw me'." Door de code openbaar te maken kunnen mensen dit zelf verifiëren.

Hoe kun je verifiëren dat de code die hij deelt ook daadwerkelijk de code is die de website gebruikt? Ook dat is gebaseerd op vertrouwen.

.edit: In het geval dat een emailadres clientside wordt gehashed voordat het naar de server wordt gestuurd is dat natuurlijk sowieso al te verifiëren.

.edit2: Ik heb het even gecontroleerd. Waar hij voor het controleren van wachtwoorden een uitgebreide beveiligde methode op touw heeft gezet (met clientside hashing en waar slechts een deel van de hash naar de server wordt gestuurd), gaan email-adressen dus wel gewoon ongehasht naar zijn server. Gek eigenlijk dat ie dat niet gewoon op dezelfde manier doet.

[Reactie gewijzigd door .oisyn op 7 augustus 2020 14:47]

Dat geldt uiteindelijk voor alles wat je zelf niet compileert. En dan moet je de compiler ook nog vertrouwen...

Het verschil is dat iets wat je zelf draait hoe dan ook verifiëerbaar is, terwijl de code die draait op een andere machine dat niet is. Het opensource maken van zijn website is feitelijk gewoon een wassen neus wat deze specifieke reden betreft; het biedt geen enkel hard bewijs. Zeker niet gezien het feit dat het nog betrekkelijk lang duurt. Nou zie ik Troy Hunt absoluut als een integere man en niet iemand die die adressen verzamelt, dus wat dat betreft vertrouw ik 'm wel. Ik vond dit gewoon een beetje een dooddoener. "Vertrouw je me niet? Hier is een stukje source code, maar je kan lekker niet controleren of ik die ook echt gebruik"

En imho ook absoluut niet de belangrijkste reden om dit te doen - dat is om collaboratie makkelijker te maken.

[Reactie gewijzigd door .oisyn op 7 augustus 2020 14:41]

precies, ik kan ook source code bouwen en openbaar maken, nul check of die gebruikt wordt. Ik vertrouw deze site zeer zeker niet. Beetje simpel om actieve accounts te vinden op deze manier.

Zoek voor de grap eens (bv hier op Tweakers) naar Troy Hunt. De berichten die je dan vindt zouden je mening waarschijnlijk doen veranderen.

Waarom zou dat mijn mening veranderen? No way dat ik mijn emailadres gaat activeren op die site

Tenzij een ander in je omgeving dat doet voor je.

The Ken Thompson Hack?
https://wiki.c2.com/?TheKenThompsonHack

Stel je hasht de emails client-side en stuurt de hele hash naar de server, is er eigenlijk niet zo veel extra beveiliging bijgekomen, tenzij je ook de email volledig gehashed op slaagt. Maar dan werkt de notificatie service niet meer. Als HIBP de hash samen met de plain text opslaat, is er geen extra beveiliging.

Als je het net zoals met de paswoorden doet via k-anonymity zit je met het probleem dat je meer data terug krijgt dan je hebt gevraagd. Ik vermoed (maar heb geen bewijs) dat de afweging is gemaakt dat dit te riskant is. Stel een evil persoon heeft een heel grote (anders werkt het niet) lijst met emails, de attacker hasht die allemaal en groepeert de hashes per eerste k-karakters. Per groep moet die nu maar 1 request sturen, in plaats va email per email.
Ik heb echter geen idee hoe groot dit voordeel in de praktijk zou zijn. Wel heeft HIBP al wat last gehad met pogingen tot misbruik, waardoor de email API ook (miniem) betalend is geworden.

Als HIBP de hash samen met de plain text opslaat, is er geen extra beveiliging.

Als het hem te doen is om het verzamelen van e-mailadressen, dan is ie toch helemaal niet geïnteresseerd in e-mailadressen die in de database staan? Die heeft hij al. Hij is dan juist geïnteresseerd in de adressen die er niet in staan. En dan helpt een hash weldegelijk.

Stel een evil persoon heeft een heel grote (anders werkt het niet) lijst met emails, de attacker hasht die allemaal en groepeert de hashes per eerste k-karakters. Per groep moet die nu maar 1 request sturen, in plaats va email per email.

Ja, en dan? Wat heeft een attacker aan de informatie die hij terugkrijgt?

[Reactie gewijzigd door .oisyn op 7 augustus 2020 19:52]

Hij is dan juist geïnteresseerd in de adressen die er niet in staan. En dan helpt een hash weldegelijk.

Heb je gelijk in, ik was even dat stukje vergeten Ik was meer aan het denken aan bv. logging, zoals welke (bestaande) emails iets opzoeken enzo, daar helpt die hashing dan niet tegen.

Ja, en dan? Wat heeft een attacker aan de informatie die hij terugkrijgt?

Blijkbaar zijn er toch mensen die het proberen te misbruiken, er zal toch iets van waarde inzitten https://www.troyhunt.com/...he-have-i-been-pwned-api/ .
Met k-anonymity kan je (indien je echt veel emails zou hebben) dan wat requests besparen om zo onder de radar te blijven. Maar omdat de volledige hash opsturen toch niet erg is, heeft k-anonymity geen zin.

Dat vroeg ik me ook af. Maar het maakt het wel mogelijk om de code lokaal te draaien. Al moet je dan wel zelf achter de datasets aan, want het lijkt me dat die wegens veiligheid niet worden meegeleverd.

Ik hoor het al. Je kunt het gelijk voor hem implementeren zodra het opensource is.

Dat kan ik, maar hij is daar zeer zeker zelf capabel genoeg voor . Er is waarschijnlijk een technische afweging gemaakt waar ik de details niet van weet.

.edit: ik heb 't 'm maar gevraagd.

.edit2: zijn antwoord:

Because it wouldn’t really make any difference to privacy if I have the source email address anyway (which I do on about 50% of searches)

[Reactie gewijzigd door .oisyn op 7 augustus 2020 23:11]

Er valt dus toch nog ongeveer 50% meer privacy te winnen ...

het zou mooi zijn als ICANN het project onder hun vleugels zouden nemen, maar gezien de status (onderdeel van het depart of commerce van de VS) is dat momenteel niet wenselijk. Het W3C zou eventueel ook nog wel wenselijk zijn en anders inderdaad geheel open source, maar daarmee heeft hij natuurlijk nog geen funding/hulp

Liever niet ICANN (.org sale?). Misschien Mozilla? Of een opzet zoals Let's Encrypt met voldoende sponsors.

Eigenlijk heb ik liever dat het bij Troy Hunt blijft. Hij bewijst elk jaar opnieuw zijn integriteit, eerlijkheid en openheid. Zijn blogposts zijn telkens heel leerrijk en zijn wekelijkse videos zijn interessant en open.

Ik volg hem al enkele jaren en heb in die tijd veel bijgeleerd.

[Reactie gewijzigd door AndrewF op 7 augustus 2020 12:39]

Eigenlijk heb ik liever dat het bij Troy Hunt blijft. Hij bewijst elk jaar opnieuw zijn integriteit, eerlijkheid en openheid.

Hij is dan ook director bij Microsoft. Daar horen die karaktereigenschappen bij, anders krijg je niet zo'n functie.

Je bedoelt Microsoft Regional Director. Dat is een titel, geen functie, die MS aan derden geeft vanwege hun inzet, kennis en expertise op het gebied van software, uiteraard met name met MS software. Ze zijn verder onafhankelijk van Microsoft.

quote: https://www.jamesserra.co...rosoft-regional-director/

First off, they don’t work for Microsoft. A Microsoft Regional Director (RD) is an unbiased third-party evangelist of Microsoft products and services. Regional Directors are members of an elite, worldwide group of technology thought-leaders known for their national and international speaking tours, their authorship of books, articles and blogs, and their business acumen. Regional Directors are well-versed on the totality of the software industry. They are recognized for their achievements in communicating the benefits of emerging technologies

[Reactie gewijzigd door .oisyn op 7 augustus 2020 17:07]

Liever niet ICANN (.org sale?). Misschien Mozilla? Of een opzet zoals Let's Encrypt met voldoende sponsors.

de .org verkoop lijkt me dan ook te commercieel geïnspireerd te zijn geweest, mede daarom dat ik hun positie momenteel betwijfel, maar ni sé zijn ze daar een onafhankelijkere organisatie in dan de Mozilla Foundation.

Eigenlijk heb ik liever dat het bij Troy Hunt blijft. Hij bewijst elk jaar opnieuw zijn integriteit, eerlijkheid en openheid. Zijn blogposts zijn telkens heel leerrijk en zijn wekelijkse videos zijn interessant en open.

Ik volg hem al enkele jaren en heb in die tijd veel bijgeleerd.

ik denk dat Hunt zelf bang is dat hij niet genoeg kan doen en dat dit in de toekomst een risico vormt voor de integriteit van de site.

Een van de belangrijkste services beschikbaar, ook weten veel mensen hier (nog) niet van.

+1 voor transparantie!

PS: Hoe heeft deze man geen Patreon of iets vergelijkbaars?

Geen idee, maar denk dat deze man al een goed inkomen heeft. Terecht trouwens.

Met al die lezingen die hij geeft kan je prima rondkomen ja

https://haveibeenpwned.com/Donate

Komt net terug van die site. En we zijn weer verblind ;-P

Hunt lijkt echt iemand met integriteit. Erg verfrissend in een wereld waar dat te koop lijkt te zijn.

voordeel is, als de code straks opensource is en er iemand ook een opensource-dataset begint, ben je eindelijk van die hibp-abonementen af. ik snapte wel dat hij geen honderden euro's gaat steken in die dienst maar voor non-commercieel gebruik had het bedrag wel wat lager gemogen ook omdat je vaak minder queries nodig hebt ...

ik kwam die beperking bijv tegen toen ik bitwardenRS wilde proberen.