'Snowden gebruikte eenvoudige webcrawler-software'

Klokkenluider Edward Snowden heeft volgens Amerikaanse bronnen relatief eenvoudige 'webcrawler'-software gebruikt om tal van geheime documenten te verzamelen. Snowden zou niet zijn gehinderd tijdens zijn werk.

De door Snowden gebruikte webcrawler, eenvoudige en breed verkrijgbare software, zou toegang hebben gehad tot tal van documenten en in hoge mate geautomatiseerd zijn werk hebben gedaan. Volgens The Times of India heeft de klokkenluider toegang gehad tot 1,7 miljoen geheime NSA-documenten, waarbij de krant uitgaat van bronnen die nader onderzoek doen.

Volgens NSA-onderzoekers heeft Snowden geen geavanceerde trucs gebruikt om geheime documenten buit te maken. De door Snowden gebruikte webcrawler zou door het gebruik van hyperlinks een groot aantal geheime documenten hebben verzameld.

De webcrawler-software van Snowden en zijn 'inzamelwerk' lieten naar verluidt, tijdens Snowdens werk als systeembeheerder bij de NSA, enkele malen een alarmbel afgaan. Desondanks wist hij tal van documenten buit te maken.

Reacties (149)

[mindcrash]

Over de tool die Snowden heeft gebruikt: Nee geen HTTrack; Ook geen wget trouwens. Chelsea Manning gebruikte wget en Snowden gebruikte volgens de pers veel "geavanceerder" gereedschap. Geloof het of niet, maar het overgrote deel van mijn Twitter feed gaat prat op... curl.

[Reactie gewijzigd door mindcrash op 23 juli 2024 06:38]

[lagefrequentie]

Fijn dat deze mijnheer zijn nek heeft uitgestoken voor het feit wat iedereen wist maar niemand kon bewijzen. Nu dat we het allemaal weten; Is de wereld nu slechter of beter geworden. Voor hem in ieder geval een stuk kleiner.

[Edgarz]

Alhoewel de opinie misschien zal zijn dat het goed is om te weten zijn er in de gepolariseerde wereld (nee, de wereld is nog steeds geen happy village) vele partijen zeer dankbaar voor deze informatie die hen jaren werk bespaart. De prijs voor het weten zullen we wellicht nooit kennen, maar eenzijdige openheid (al dan niet geforceerd) heeft nog nooit tot barmhartigheid geleid tussen rivalen.

[sumac]

Je kunt het ook omkeren: eenzijdige alwetendheid zal ook niet tot barmhartigheid leiden. Ken je de uitdrukking "in het land der blinden is eenoog koning"? Je hebt enerzijds de "normale" spionage tussen landen, en die is misschien enigszins geschaad. Anderzijds is er de spionage van de burger, en het is denk ik een heel goede zaak dat dit is uitgekomen.

[Edgarz]

Die grenzen lopen al sinds mensenheugenis door elkaar. De 911 daders waren immers voor het blote oog ook gewone burgers. Spionage van de burger zou pas schadelijk zijn als er ondemocratische dingen met die data zou gebeuren. En dat is nog door niemand aangetoond. En daar zijn democratische processen voor ingericht. Misbruik is nooit geheel uit te sluiten helaas, net zoals een juiste werking van de democratische controles. Maar simpelweg het recht op privacy verkiezen boven preventieve veiligheid zou er op termijn wel een toe kunnen leiden dat we in een substantieel minder veilige (en misschien minder langdurige) samenleving verder moeten. De prijs voor het opeisen van privacy is dat je een groter risico loopt om nog meer verworvenheden kwijt te raken.

[Dannydekr]

Het is een belangrijk puzzelstuk in de bewustwording van het belang van privacy en 'vanzelfsprekende' vrijheden. Sowieso wisten velen mensen al dat het gebeurde, maar termen als 'aluhoedje' waren niet vreemd als je er over sprak. Nu is dat anders, aangezien de massa er van op de hoogte is er niets meer te ontkennen valt.

Of de wereld beter of slechter wordt is aan de mensen zelf. Snowden heeft ervoor gezorgd dat alle informatie boven water is gekomen, het is aan de ontvangers van die informatie om te oordelen en actie te ondernemen.

Voor mij persoonlijk veranderd er niet veel, aangezien ik het allang wist dat het op deze schaal gebeurde. Mijn gedrag zal niet veel veranderen ten opzichte van voorheen. Hoewel, ik gebruikte altijd Dropbox, nu heb ik een goed beveiligde VPS met Seafile welke goede encryptie ingebouwd heeft. Dit wilde ik al een tijdje doen, maar de Snowden onthullingen hebben me over streep getrokken.

[Kain_niaK]

Ik heb jou even op +3 gezet zodat lezers tenminste een relevante reactie er makkelijk uit kunnen filteren, de rest ging allemaal over de spelfouten in het artikel.
Boven jou stonden 4 relevante reacties op +1 maar die krijg ik niet meer hoger met mijn modpowers.

En nog even ontopic: Je hebt gelijk, niemand die overtuigd is dat er nauwelijks nog volledige privacy op internet mogelijk is kan worden weggezet als een complot denker.

De enige oplossing, ook volgens Snowden in dit recente TV interview in Duitsland, is het internet stap per stap beter beveiligen.


Hopelijk kunnen we langzaam genoeg bewustwording creëren en worden de tools die echt werken voor anonimiteit en privacy op internet een stuk beter en makkelijker te gebruiken. Dan kunnen zij die het willen in ieder geval een deel van hun online identiteit beginnen af te schermen. Later kunnen we dit hopelijk ook gaan implementeren in mobiele telefoons. Ik maak me er niet te veel zorgen over maar vind het een hele enge gedachte dat het voor een een hele zooi mensen in deze wereld mogelijk is om precies te zien waar ik de laatste 10 jaar allemaal geweest ben. (door de metadata van mijn mobieltje)

Stel dat de overheid je ooit als een gevaar voor de samenleving beschouwd ook al zijn ze dat zelf en heb jij helemaal gelijk. Waar ga je je verstoppen? Je kunt naar geen enkele plaats gaan waar je ooit geweest ben (met je mobiel) en naar familie of vrienden al helemaal niet.

Momenteel maak ik me hier geen zorgen over ... maar wat over 20 jaar wanneer de wereld weer totaal anders is. Iets wat nu niet strafbaar is of waar je niet voor vervolgd word ... dan misschien wel.

En dat is ook mijn grootste enge gedacht. Al die data die er nu al is ... keurig geanalyseerd zodat iemand met Xkeyscore alles wat ik ooit online gedaan heb kan traceren ... of elke plaats waar ik ooit geweest ben met mijn mobiel kan vinden ... weet wie mijn vrienden zijn ... wat mijn seksuele voorkeur is ... hoe ik mijn emoties uit (ik componeer muziek) ... wat mijn angsten zijn .... wat ik leuk vind om te doen. Kortom ... als "ze" willen dan kunnen ze dieper in mijn leven spitten dan ik zelf momenteel kan. Want ik maak wel eens een account aan op een forum en vergeet het dan.

Nogmaals, nu is er niks aan de hand. Maar over 20 jaar .... die data ... zal nog wel ergens opgeslagen zijn. Die data is van onschatbare waarde en geen enkele machthebber zal zo stom zijn om hem weg te gooien. Zelfs als gaan ze deze gigantische hoeveelheid data ooit verwijderen (op sommig plaatsen word er 20TB 3 dagen bijgehouden voor analyse en dan weer opnieuw 20TB) er zal wel iemand een kopietje maken van het meest relevante gedeelte. Wie deze macht heeft ... wie zou die vrijwillig opgeven? Niemand ... en dus wat zou er gebeuren wanneer onze huidige samenleving in elkaar begint te storten en Nederland een stuk grimmiger word? Het zal wel niet zo erg moeilijk zijn om uit te zoeken wie in Nederland al langer fantasietjes koestert voor een opstand of wat dan ook.

En dat is het hele ding. Die data, die gigantische hoeveelheid profielen van mensen in de wereld. Onschuldige mensen .... maar toch allemaal geprofileerd. Op het moment dat Amerika bijvoorbeeld besluit dat jij een gevaar vormt voor hun. Wat ga je doen als je een online verleden hebt van 20 jaar? Ze kunnen in principe dan achter je gedachten komen, de manier waarom je denkt, en probeer dan maar eens stand te houden ... wanneer je vijand jou kent ... maar jij de vijand niet.

[mashell]

Is de wereld nu slechter of beter geworden.

Er is geen verschil. De NSA zal niet ophouden haar werk te doen. Ook de andere geheime diensten gaan gewoon verder met waar ze mee bezig waren. Een paar politiekers roepen "foei" , een paar activisten roepen "schande", een paar wereldvreemden roepen "geef die man een nobelprijs" maar in de praktijk gebeurt er niks.

[Techneut]

Genoeg over die spelfouten. Maar inhoudelijk, wat is er zo bijzonder aan die dat gegeven dat er eenvoudige software zou zijn gebruikt. Ik meen (of er is me iets ontgaan) begrepen te hebben dat hij door zijn functie over de benodigde al dan niet ingewikkelde inlogcodes beschikte. Dan lijkt me de gebruikte software maar bijzaak. Kortom, wat is de nieuwswaarde van dit bericht?

[Blokker_1999]

Ik denk vooral het feit dat enerzijds er alarmsignalen zijn afgegaan zonder dat iemand er naar gekeken heeft en anderzijds dat alle documenten vanuit een eenvoudige webbased interface benaderbaar zijn gebleken.

[Mizgala28]

Oftewel heeft de NSA flinkt geblunderd of iemand hielp Snowden, het lijkt mij stug dat 1 persoon dit allemaal in zijn eentje voor elkaar krijgt.

[EnderQ]

Nee het is juist waarschijnlijker dat het een solo actie was. Hij kreeg geen weerklank bij aankaarten misstanden, de kans dat een ander iemand volledig op een lijn zit wat belangen betreft is zeer klein. Hij was voor het loonstrookje systeem beheerder maar deed andere dingen bron: http://en.wikipedia.org/wiki/Edward_Snowden

[Verwijderd]

Hij heeft iig de zwakke plekken in het systeem aangetoond dus wat dat betreft deed hij zijn werk wel erg goed.

[TheMadd]

Ik denk dat dit artikel duidelijk wilt maken dat het met een relatief eenvoudig programma gemakkelijk voor hem was om al deze informatie te bemachtigen. Volgens: http://www.nu.nl/tech/369...met-simpele-software.html is hij ook ondervraagd door zijn meerdere en kon hij gebruik maken van deze eenvoudige software omdat ze bezig waren met een veilligheids upgrade. Deze werd als laatste geïnstalleerd in de vestiging van Hawaii waar Snowden actief was. Hierdoor kon hij dus gebruik maken van deze relatief eenvoudige software.

[ChaoZero]

Blijf het maar een raar verhaal vinden.

Volgens nu.nl zouden er backups gemaakt worden i.v.m. een upgrade.
D.m.v. een crawler?
Server-side scrips hoeven dus niet opgeslagen te worden?
Hoezo zou dit 'handiger' zijn met een crawler dan een snapshot/file-copy + database dump?

Dit nieuwsbericht (het verhaal; het artikel zelf is hierboven al afdoende gebashed..) klopt van geen kant. Niets qua concrete info en dat wat er geconcludeerd kan worden is _in mijn optiek_ ronduit ongeloofwaardig en vanuit technisch perspectief zeer onwaarschijnlijk.

[TheMadd]

Nee volgens nu.nl gaf Snowden aan dat hij bezig was met een back-up, ze noemen het ook een plausibel verhaal , hij was daar dus niet echt mee bezig

[j-phone]

Toch wel, een backup van 1,7 miljoen documenten

[RoestVrijStaal]

Mij lijkt me dat het artikel aantoont dat intern bij de NSA net zo laks met procedure fouten wordt omgegaan als elders bij bedrijven en publieke lichamen.

Denk eens erover na; Snowdens crawler heeft een aantal keer de alarmbel af laten gaan, maar geen haan die ernaar kraait. Falend procedurebeleid intern in een bedrijf of publieke lichaam is dit erg, maar in een geheime dienst is het nog erger.

[Durandal]

De nieuwswaarde is dat al die top secret NSA documenten die Snowden gevonden heeft blijkbaar gewoon onbeveiligd en aan elkaar gehyperlinkt op intranet stonden.
De NSA heeft dus enorm geblunderd mbt hun beveiliging.

[halofreak1990]

"Kortom, wat is de nieuwswaarde van dit bericht?"
Dat dus voor de zoveelste maal bevestigd wordt dat de NSA van IT beveiliging geen kaas gegeten heeft. Voor een 'National Security Agency' zijn ze veel te amateuristisch. Lijkt wel een stelletje puberale scriptkiddies.

[Mizgala28]

Als je bekijkt hoeveel gegevens zij hebben verzameld en hoe, dat is niet echt iets wat je amateuristisch noemt.

[halofreak1990]

Ja, maar als je bekijkt hoe makkelijk een externe hulp (Snowden) erbij kan...
Dat ze daar zo naïef zijn dat ze mensen niet screenen bij binnenkomst, getuigd nou niet echt van het professionalisme wat je bij zo'n instantie zou verwachten.

[mashell]

Dat ze daar zo naïef zijn dat ze mensen niet screenen bij binnenkomst, getuigd nou niet echt van het professionalisme wat je bij zo'n instantie zou verwachten.

Je kunt alleen screenen op wat iemand in het verleden gedaan heeft niet op wat iemand in de toekomst gaat doen.

[halofreak1990]

Het gaat er om dat ze screenen wat er in- en/of uitgaat, zowel aan personeel als objecten (USB-sticks, bijvoorbeeld)

[Mizgala28]

Ben wel met je eens wat dat betreft, maar zie het zo door hun geblunder weten wij waar hun mee bezig zijn.

[Techneut]

Ik bedoelde met mijn vraag over de nieuwswaarde enkel dat ook met de meest geavanceerde beveiliging het met het voor het grijpen liggen van de inlogcodes het een peuleschilletje is om toegang te krijgen. Dàt lijkt me het kardinale punt, dat gemakkelijke toegang hebben. Daarbij vergeleken is de gebruikte software in mijn ogen maar bijzaak. Dit "nieuwsbericht" lijkt echter het accent te leggen op de eenvoudige software, alsof dat echt de openbaring van het jaar is.

Edit: Wat betreft onderstaand bericht van Kittop:
Natuurlijk begrijp ik dat wel terdege, maar dat sluit commentaar leveren op het overigens matige artikel niet uit. Daarom begon ik ook met "genoeg over die spelfouten". Hoewel een overdaad aan spelfouten de aandacht voor het onderwerp waarover het gaat behoorlijk, zoals hier blijkt, kan afleiden.

[Reactie gewijzigd door Techneut op 23 juli 2024 06:38]

[WokeBroke]

met een web crawler kan je niet echt een netwerk doorzoeken... Waren alle documenten via de browser beschikbaar ofzo?

[GoT]

Dat doen heel veel bedrijven oa Sharepoint wordt veel gebruikt in het bedrijfsleven.
Nu zal de NSA waarschijnlijk geen MS apps gebruiken, maar een eigen ontwikkelde app.

[VisionMaster]

Waarom zouden ze dat niet gebruiken? Het is goedkoper om bestaande software te pakken waar het kan. Of dit aan de orde is tov dit artikel is een ander punt. In het NY Times artikel werd gesproken over "Wikis". Ik gok dat ze hiervoor eveneens iets bestaand gebruiken en eventueel hebben uitgebreid.

[Rinzwind]

Omdat sharepoint een wanproduct is waar in ieder geval eindgebruikers en content makers niet blij van worden

[Patrickkkk]

Meestal ligt dit aan de inrichting.

Sharepoint is zeker geen perfect product en heft zijn voor en tegens. Maar om het nu als wanproduct af te doen.... Ik heb implementaties gezien welke zeer goed waren, alsmede implementaties waar iedereen maar een beetje aanprutst. Voor in groot deel is het de inrichting van de sites en structuur hiervan (en het inperken van de rechten) om een logische indeling te krijgen.

De standaard instellingen van Sharepoint zijn helaas meer gericht om iedereeen lekker van alles aan te laten knooien.

Ik ben zelf geen Sharepoint ontwikkelaar of voorvechter maar ik zou het niet direct afschilderen als wanproduct.

[Zyppora]

Nu zal de NSA waarschijnlijk geen MS apps gebruiken, maar een eigen ontwikkelde app.

Hoezo niet? Ze weten precies waar alle backdoors zitten, die hebben ze er zelf namelijk in laten zetten

[Verwijderd]

Dan eisen ze de broncode op, fixen het en compileren hem zonder die fouten.

[Verwijderd]

al komt het artikel van de paus ,
de enige waarde van dit artikel is het meer in discrediet brengen van de NSA.
dont get me wrong, de NSA is er niet om "de mensheid te dienen" maar er zijn andere alfabet organisaties die minstens even rot zijn.

het interview van Snowden (link hieronder) geeft ons tot op heden de beste kans om de waarheid te vernemen ipv alles via de paplepel binnen te krijgen.

http://www.liveleak.com/view?i=f93_1390833151

[mae-t.net]

De NSA is er juist wel om de mensheid te dienen. Dat dat niet altijd even goed lukt, of dat het volstrekt onduidelijk is of en hoe het lukt, of dat ze verwerpelijke methodes gebruiken, doet daar niet aan af.

[Verwijderd]

Vanaf een afstandje zou je kunnen concluderen dat de NSA een losgeslagen organisatie is waar iedereen van alles doet wat hem/haar goed dunkt. Maar als je er wat dieper in duikt dan zou je kunnen concluderen dat het een onderdeel is van het Amerikaanse imperialistische systeem om hiermee hun strategisch voordeel op informatievergaring te behouden en ze zich wel moeten bedienen van deze draconische maatregelen.

[rob12424]

De NSA verzameld data voor service voor andere agentschappen (zoals CIA enz.) Die data moet dus makkelijk maar vooral snel toegankelijk kunnen zijn. Tuurlijk is er beveiliging, maar snowden was een ""man in the middle"" als je weet hoe en waar je moet zoeken dan vindt je met een normale crawler genoeg daar. Immers de Crawlers van de NSA zelf hebben waarschijnlijk al het meeste voorwerk gedaan en om dan met een normale crawler de metadata uit te pluizen is niet zo moeilijk lijkt mij?

[Hakker]

zou toch wel heel knullig zijn als hij met Httrack zo de NSA leegtrok.

[fazertje]

Zo werkt het bij mij op het werk ook, rechten niet goed afgeschermd op file nivo.
Ik kan bv div mappen niet in, maar als ik via sharepoint een zoek actie doe, zit ik zo in de docs van bv.HR
En mijn oude chef zie altijd, je moet zelf achter je info aan, maar zo wordt het wel erg makkelijk.
.....

[Risce]

Ik proef hier de suggestie dat Snowden iets simpels heeft gedaan door gewoon allerlei bestanden op een schijf te gooien, staat lijnrecht tegenover dit artikel in Rolling Stone, waar duidelijk wordt dat Snowden heel secuur te werk gegaan is juist, vooral met het categoriseren van de documenten en de presentatie er van.

http://www.rollingstone.c...aked-the-secrets-20131204

[gassie123]

Ik kan niet uitblijven met een comment. Ik vind het geniaal om te lezen hoeveel spelfouten er in zitten/zaten. Maar tweakers heeft dat afgeschermd met het feedback systeem zodat naderhand niemand meer ziet dat het mis was. Alleen hebben ze geen rekening gehouden met comments.

Beetje sneu dit.

On-topic: Als hij alarmbellen heeft laten rinkelen waarom reageren ze daar dan niet op? Als het anti-terreur is dan falen ze wel hard.

[Durandal]

Omdat het bij de NSA dus is waar het bijna overal is; als je een probleem tegen komt ben je een zeur en moet je je kop houden, anders ben jij het probleem.
Of zoals ze daar zeggen: Don't rock the boat.