Google geeft toe fouten in software te hebben gehad

De zoekmachine Google heeft tegenover Voelspriet.nl toegegeven recentelijk een beveiligingsfout te hebben gemaakt bij het uittesten van nieuwe software. Bij het experimenteren met het zoeken naar informatie op beveiligde https-pagina's kwam privacy-gevoelige informatie van de website terecht in de index van Google. De fout lag in het feit dat de zoekrobot bij het afstruinen van een site het documentje robots.txt negeerde. Dit bestand is bedoeld om aan nieuwsgierige zoekmachines aan te geven welke informatie niet dient te worden geïndexeerd:

Woordvoerder Nathan Tyler van Google tegenover Voelspriet: ,,We hebben een bug in onze nieuwe technologie ontdekt. Het systeem herkende de robots.txt-bestanden niet op https-servers. We hebben de bug opgespoord en alle https-pagina's verwijderd uit de Google-index en de cache.''

[...] De afgelopen dagen regende het echter klachten bij Google van bezorgde webmasters over de beveiligingsfout. Ze dachten met de robots.txt Google buiten de deur te kunnen houden. Google betreurt het beveiligingsincident. ,,We waren een nieuwe technologie aan het testen.'', aldus Nathan Tyler van Google. En dan kan er wel eens wat mis gaan.

Met dank aan wrcveen die ons voorzag van de tip.

Reacties (26)

[Verwijderd]

Tja, gewoon bedrijfsrisico. Er zijn altijd onverwachte dingen die kunnen gebeuren bij het testen, daarom test je je software ook.

Maar ze lossen het tenmiste op en brengen het nieuws naar buiten, aan die openheid van zaken kunnen nogal wat bedrijven een puntje zuigen.

Gewoon je fouten toegeven geeft de mensen nou eenmaal meer vertrouwen dan achteraf eens zeggen dat er al die feit een lek in de software zat.

[Pwigle]

Van wie is de fout nou ? Van de diegene die gevoelige info op het net zet, die is fout bezig..
Als jij je private content vetrouwd dmv en robot.txt te plaatsen, dan ben je ook niet goed bezig..

Google zegt sorry voor iets wat (IMHO) niet hun fout is.

[arjankoole]

beide

Google had iets voorzichtiger mogen zijn, maar goed, beta-q software heeft z'n grappen en grollen. (iedereen die zelf programmeert weet precies wat ik bedoel )

de webmaster is echter hoofdverantwoordelijke: hoe haal je het in je hoofd om zulke gigantisch gevoelige infomatie (gezien de klachten en stress moet dat wel) zomaar open en bloot op een https:// site te kleppen. iedere spider die zich niet aan robots.txt kan dus zo aan belangerijke gegevens komen.... sheesh.

[wicher|IA]

de webmaster heeft het toch niet voor niets op een https-server gepleurd

is dus ZEKER niet open en bloot dacht ik
en dus moet een zoekmachine er ook niet in gaan neuzelen

[SveNRG]

Eigenaren van websites beschermen hun privacy met een
standaarddocument, robots.txt.

Het bestand robots.txt is geen beveiligingsmiddel of privacybescherming. Dit bestand is ooit in het leven geroepen om drukke servers te ontlasten door zoekbots meteen naar de belangrijkste pagina's van een website te dirigeren. Kortom een middel om de performance te verbeteren.

Alleen slechte webmasters (en daar zijn er kennelijk heel veel van, getuige het grote aantal privacygevoelige documenten dat Google heeft geïndexeerd) gebruiken robots.txt ook ter beveiliging. Dat is dom, want de betreffende directories zijn ook mét een robots.txt nog steeds openbaar, alleen niet terug te vinden via een zoeksysteem dat zich aan de robots.txt-standaard houdt.

[Roland684]

En om te voorkomen dat links gevolgd worden de helemaal niet gevolgd hadden moeten worden door een robot omdat ze bepaalde acties tot gevolg hebben. Denk bijvoorbeeld aan een robot die alle links om producten te bestellen volgt of om een menu op alle mogelijke manieren in en uit te klappen.
Niet dat hij tot een daadwerkelijke bestelling zal komen, maar er zijn oneindig veel manieren om je winkelwagentje te vullen en het is een beetje omzinnig om dat allemaal te laten aflopen door een robot.

[Verwijderd]

hmm

[Raafz0r]

,,We waren een nieuwe technologie aan het testen.'', aldus Nathan Tyler van Google. En dan kan er wel eens wat mis gaan.

Normaal test je toch in een gesloten omgeving, zodat je alle bugs er uit kunt halen? Als je het meteen voor iedereen beschikbaar maakt is het eigenlijk geen testen meer, maar op goed geluk gebruiken.

[Beaves]

Natuurlijk is het mogelijk om alles in een gesloten omgeving te testen, alleen gaat het testen dan veel langer duren en de kans bestaat dat je niet alle "unexpected feature's" er uit krijgt dan wanneer je het publiek maakt.

Dat doen o.a. alle grote software bedrijven toch ook, die brengen ook beta's uit van software omdat er dan veel sneller en beter getest kan worden over het algemeen.

Alleen moet het dan wel duidelijk zijn voor de consument dat het een beta betreft, maar dat zit over het algemeen wel goed.

[Verwijderd]

ja, maar dat doe je toch niet als het gaat om gevoelige informatie ???

Met enige moeite bleek het mogelijk rechtstreeks toegang te krijgen tot betaalde informatie. Zo hebben gebruikers van I-Pay hun gebruikersnaam en wachtwoord in https-pagina's gezet die door Google per ongeluk toch zijn geïndexeerd. Daardoor was ondermeer betaalde software gratis te downloaden.

LOL

[Verwijderd]

Vertrouwen op een robots.txt file is natuurlijk wel heel erg dom als er gevoelige informatie op een site staat. Afgezien van zoekrobots die zich wel of niet aan regeltjes houden is het dus ook gewoon mogelijk voor een normale gebruiker om deze informatie op te vragen, mits deze de URL kent waar de gevoelige informatie bestaat. En we weten allemaal dat deze vorm van 'beveiligen' totaal niet werkt. Dit is net zoiets als de sleutel van je voordeur onder de deurmat leggen en hopen dat niemand de mat optilt. Erg dom dus. Gevoelige informatie zet je in een beveiligd deel van je site, je zet er een password op of laat alleen IP adressen toe van machines binnen je organisatie. Dit laatste is al iets meer risicovol.

[leuk_he]

"hacker" spiders, en die zijn er als we de recente incidenten over het wegspideren van email adressen bekijken, lezen juist de robots.txt om gebieden te vinden op sites die eigenlijk niet toegankelijk zijn, en soms zelfs niet gelinkt.

robots.txt als beveiliging gebruiken is dus wellicht een tikje onveilig. ofwel: een bordje verboden toegang(zonder hek) lokt juist bepaalde mensen.

[WhiteDog]

I love Google!

Google.com coffee mug inkoop actie?

[Qwerty-273]

Google zal ongetwijfeld getest hebben op een lokaal netwerk in het begin, echter als men tevreden is en het een waarde geeft van "jah dit ziet er goed uit" dan wordt het tijd om eens in een echte situatie te testen.

Als daar perongeluk bv het statement met robots.txt niet overhebben genomen of perongeluk negeren dat zijn kleine foutjes. Waar ze zoals nu toch hun excuses hebben voor aangeboden, dat is toch al heel netjes gedaan.

Verder is google een goede zoekmachine (al staat er tegenwoordig wel meer en meer onzinnigheid in)

[Verwijderd]

Dit is onzin, 'zoiets kan gebeuren'
Ja sorry mevrouw, ik ben met mijn auto over uw kind heen gereden, terwijl ik iets aan het testen was (zonder handen rijden of whatever)
Dat slaat dus echt nergens op, testen doe je in een afgeschermde omgeving, je zorgt dat je testresultaten binnenshuis blijven vooral als je niet zeker bent dat het goed werkt.

[Verwijderd]

Nou, als je toevoegt dat de kinderen met een bordje "Niet doodrijden" om hun nek losgelaten waren op de Bundesbahn gaat je analogie beter op...

[Roland684]

Welke informatie is nou gevoelig genoeg om via een secure verbinding te versturen maar wel publiek genoeg om geïndexeerd te mogen worden door een publieke search-engine?

[Verwijderd]

wat dacht je van ledenlijsten ?
adressen informatie ??

hehe en gebruikersnamen / wachtwoorden (zie vorige reply)

[The Noid]

Dat soort dingen zet je op een password beveiligde pagina, niet zomaar publiek op een https server.

[Verwijderd]

Het is toch behoorlijk onveilig dat je via google gevoelige info kan achterhalen... het is niet aan google maar aan een ontwerper van een website om z'n boel te beveiligen

als iemand zin heeft om zichzelf omhoog te modden hier op t.net zal niemand boos op hem zijn, maar op de eigenaar/s van t.net...

brengt me trouwens op ideeen

[Verwijderd]

...het is niet aan google maar aan een ontwerper van een website om z'n boel te beveiligen

daarom bestonden die robot.txt bestanden die de nieuwe google "technologie" negeerde.

[Verwijderd]

daarom stonden die robots.txt bestanden ja... maar als jij bestanden op je computer hebt die niemand mag zien zet jij dan een text file in de map waar die bestanden staan waarin staat: "blijf aub van m'n prive bestanden af"... nee natuurlijk niet... je zet het in een beveiligde map waar alleen jij in kan komen..

[Verwijderd]

Zoiets kan gebeuren

Ik heb ook een keer gehad dat mijn connectscript naar mijn MySQL db op de site te zien was

Kan me er niet echt druk over maken

verder Google is echt Goed!