'Oudere verkorte url's Google en Microsoft vatbaar voor misbruik'

Door middel van 'brute force' is het mogelijk om verkorte url's te herleiden tot privé-urls, ontdekten onderzoekers van de Cornell Tech-universiteit in de Verenigde Staten. De onderzoekers keken onder andere naar verkorte Google Maps-, Microsoft OneDrive- en Bit.ly-adressen.

De wijze om de url's te raden is simpel; er worden verkorte url's tot en met zes tekens geraden, totdat er een werkende gevonden wordt. De onderzoekers hadden op die manier via trucs malware kunnen verspreiden, schrijft Wired. Dit hadden ze kunnen doen via bijvoorbeeld Microsofts OneDrive. Ook hadden ze kunnen uitvinden wie bij Google Maps achter de opgevraagde routes naar bijvoorbeeld een abortuskliniek of verslavingszorg zat. Na het onderzoek, maar voor publicatie, stelden de onderzoekers Microsoft en Google op de hoogte. Google heeft het aantal tekens bij Maps sinds 15 september verhoogd naar elf of twaalf en Microsoft heeft de service helemaal uitgeschakeld. Wel zijn oude verkorte url's voor OneDrive nog toegankelijk.

De onderzoekers kregen het idee om het onderzoek te doen nadat ze erachter waren gekomen dat bepaalde Google- en Microsoftdiensten gebruikmaakten van Bit.ly's url-verkorter om url's te genereren van slechts zes, op het oog willekeurige tekens. Dat aantal is zo klein dat het relatief gemakkelijk is om willekeurig url's te genereren en die te bezoeken en te analyseren. Een van de onderzoekers zegt tegen Wired dat het met een niet heel groot aantal machines al mogelijk is om de hele adresruimte te scannen en te zien wat er achter de url's zit.

Het probleem zat vooral in het feit dat Google en Microsoft de dienst gebruikten om verkorte url's te genereren die leidden naar semiprivate documentatie. In het geval van Microsoft genereerden de onderzoekers 71 miljoen url's, waarvan er 24.000 live stonden. Zo'n zeven procent van de bezochte Drive-bestanden of directories bleek door de onderzoekers aan te passen. Op die manier hadden kwaadaardige bestanden aan directories toegevoegd kunnen worden. Als die vervolgens naar een lokale pc zouden synchroniseren, zou het een manier zijn om malware te verspreiden.

Bij Google Maps bleek tien procent van de 23 miljoen gegenereerde url's te herleiden tot een locatie of routebeschrijving. Meer dan 16.000 van de routes leidde naar een ziekenhuis. Andere kaartendiensten vertoonden dezelfde problemen, maar op veel kleinere schaal.

Reacties (42)

Fun fact, Archive.org's archive team warriors hebben al enkele jaren een project dat exact dit doet: van URL shorteners alle URL's brute force af gaan om er achter te komen waar ze precies naartoe linken.

Idee hier achter is dat Archive.org zo veel mogelijk websites wil archiveren/conserveren, en als een verkorte URL die op een site staat op een latere datum niet meer doorgelinkt wordt, dan hebben ze hun eigen kopie van waar naartoe gelinkt moet worden.

Met name bitly was meer irritatie dan nuttig, referals, foute sites, alles verpakt in een niets vermoedende url. Natuurlijk staat het wat netter, maar ik klikte er standaard toch al nooit meer op, of via zo'n link-checker om te zien waar dat ding heen ging.

Altijd bit.ly urls opnenen met een + erachter https://bitly.com/1gFphtp+ dan zie je waar de url heen verwijst.

[Reactie gewijzigd door jLing op 15 april 2016 16:54]

Goeie!! Dank hiervoor.

Toen die dingen net in opkomst waren zag je ze ook overal, ook hier op tweakers.net in reacties op de frontpage en op het forum . Dat gaat het doel dan ook compleet voorbij, want dat hier lange links in staan boeit natuurlijk geen ene zier. En het wekt alleen maar irritatie op omdat niet makkelijk te zien is waar de link naartoe gaat.

[Reactie gewijzigd door .oisyn op 15 april 2016 15:36]

Precies, ik heb er echt een bloedhekel aan. Enige plek waar het nut heeft is Twitter of zo. Niet dat ik daar wat mee doe, maar je zit daar waarschijnlijk met de harde 140 karakter grens(ook voor URL's denk ik??)

Twitter kort intern de link in tweets af naar een t.co-adres van 23 karakters. In de tekst is wel de hele link te zien, maar voor de lengte van je tweet maakt dat niet uit.

Dat deden ze ook pas later. Bit.ly is juist zo populair geworden door Twitter.

Zelfs op Twitter heeft het tegenwoordig geen zin meer voor je karakter limiet, "google.com" en "http://tweakers.net/nieuws/110373/oudere-verkorte-urls-google-en-microsoft-vatbaar-voor-misbruik.html" tellen beide mee als een vast aantal tekens (ik geloof momenteel 24) in een tweet. Dus er bit.ly/blabbla van maken geeft je niet meer tekens.

Voor bedrijven is het wel nog zinnig omdat ze dan kunnen doormeten of je op de links naar sites die geen eigendom zijn van het bedrijf klikt die ze delen. Links naar eigen websites zouden ze gewoon met utm codes o.i.d. moeten meten.

Ik vind bitly en dergelijke links eigenlijk ook link(pun intended), je weet echt totaal niet wat er achter zit. Wat mij betreft kom je minimaal via een pagina waarop je de eindurl kan zien en dan pas beslist of je doorgaat.

Ik klik er in elk geval met frisse tegenzin op, liever helemaal niet, maar soms kan je bijna niet anders.

URL Shorteners zijn in sommige situaties handig (bij beperkte ruimte bijvoorbeeld, in onderwerp van WhatsApp groep om maar eens wat te noemen, of op Twitter natuurlijk), maar verder niet zo zinvol. En al helemaal geen manier om iets te beveiligen. Alles waar een link naar is is bereikbaar.

Er zijn ook diverse sites die claimen dat hun gegevens veilig zijn omdat 'privacy-gevoelige' data achter een link met semi-willekeurige tekens zit. Ik heb daar wel eens bugreports over ingestuurd bij bedrijven maar dat wordt over het algemeen weggewuifd: "Ja, maar, als je die link niet hebt kun je er niet bijkomen." Ja, duhhhh..

Als ik het artikel lees is hier niets bijzonders aan; je kunt niet gericht zoeken naar een bepaalt doel maar kunt alleen 'ontdekken' welke verkorte URL's er in gebruik zijn en waar die dan wel naar toe wijzen. Niets bijzonders IMO.

Voor Facebook zijn ze soms noodzakelijk. URL's met een redirect er in (proxy.domein.nl/login?url=http://www.databank.nl/ bijvoorbeeld). Facebook codeert namelijk de url waar naar doorgestuurd wordt met de bekende %xx codering. Veel proxies vinden dat echter niet fijn en dan krijg je een foutmelding i.p.v. dat je kunt inloggen voor een bepaalde site.

Enige oplossing: URL verkorten met bit.ly of vergelijkbaar.

Sommige URL shorteners zoals bit.ly zijn er ook om statistieken te zien van wie er op klikt (aantal & geografische data). Dit kan om bepaalde redenen ook handig zijn (zeker langs de business kant).

[Reactie gewijzigd door SmokingCrop op 15 april 2016 16:18]

Dus ze hebben een hoop miljoen links bekeken en 16.000 komen er bij een ziekenhuis uit. Ja, dus? Je weet toch niet wie er naar dat ziekenhuis is gegaan , waar zit hier het probleem?

Eh, je kan toch zien waarvandaan de route is gepland? Een ziekenhuis is an sich niet gevoelig, maar bepaalde klinieken natuurlijk wel...

Staat dat niet in een of ander behulpzaam optioneel veld?

Zo'n zeven procent van de bezochte Drive-bestanden of directories bleek door de onderzoekers aan te passen

Is dat een probleem van de bit.ly/verkorte url functionaliteit of is dat een probleem van de oerdomme Drive gebruiker die zijn files open zet voor jan en alleman? Ik gok het laatste. DAt betekend dus dat bit.ly/verkorte url's niet gevaarlijk zijn maar dat achterliggende systemen verkeerd gebruikt / zo lijk zijn als een mandje.

[Reactie gewijzigd door Webgnome op 15 april 2016 15:33]

Dat geldt misschien wel voor Drive, maar niet voor Maps. Je wilt toch een route kunnen delen zonder dat je daar ingewikkelde authenticatie op hoeft te zetten. Dat wil nog niet zeggen dat alle niet-werkende links dan maar direct een 404 geven waardoor een crawler binnen no-time ontdekt welke links het nog wel doen.

Dat geldt misschien wel voor Drive, maar niet voor Maps. Je wilt toch een route kunnen delen zonder dat je daar ingewikkelde authenticatie op hoeft te zetten. Dat wil nog niet zeggen dat alle niet-werkende links dan maar direct een 404 geven waardoor een crawler binnen no-time ontdekt welke links het nog wel doen.

Wat zou een een niet bestaande url dan moeten terug geven?

Niet werkend is wat anders dan niet bestaand.
Niet werkend kan inhouden dat deze niet voor iedereen werkt en waar authenticatie voor nodig is.

Zijn daar niet 401 en 403 voor?

Een random route, dan is het voor een hacker veel moeilijker om te zien of er potentieel interessante informatie in de route zit.

Hoe wil je dat dan afvangen of je een hacker bent?

Maakt dat wat uit? Dat als je een fout maakt in de url je een totaal andere route krijgt? Het doel is toch obfuscation, niet om te bepalen of het request rechtmatig was.

een pagina zonder de statuscode 404, maar gewoon "niet gevonden" op de pagina Voorkomt een hoop problemen zoals dit, al verdient dat ook niet de schoonheidsprijs

Ik vraag me af of het voor een crawler verschil uitmaakt of hij een "404" te verwerken krijgt of een "niet gevonden".

Als er steeds 1 factor hetzelfde is op die pagina is het doodeenvoudig een crawler te schrijven die hier rekening mee houdt.

Ja, Google kan dit onderscheid maken en als je aangemeld bent bij webmastertools krijg je er ook nog netjes een melding van dat je niet bestaande pagina's een 200 status teruggeven, en of dat wel de bedoeling is

Nou maak ik zelf geen gebruik van OneDrive en dat soort diensten maar dut valt toch allemaal wel wat mee? Het lijkt me dat je mensen moet autoriseren om toegang tot jouw drive te krijgen. Blijkbaar doen mensen dat niet goed waardoor deze 'kwetsbaarheid' ontstaat. Nu kan je random adressen proberen van 11 tekens, duurt wat langer maar de 'Kwetsbaarheid' is er niet minder om. Toch?

Je kunt in OneDrive een map of bestand delen met alleen een link. Er hoeft verder niet ingelogd te worden. Je kunt ook delen via iemand MS Account waarmee eerst ingelogd moet worden. Daarnaast bepaal je of iemand mag bewerken of niet.

Ik heb bijvoorbeeld gisteren een link, niet bewerken met mijn leraar gedeeld voor het inleveren van een opdracht.
Ik maak nooit gebruik van de URL-Shortner, en dan krijg je ellendig lange urls die je niet met een paar pc raad. De mogelijkheden zijn namelijk oneindig veel, geen beginnen aan.

Het gaat niet om authenticatie, maar security-by-obscurity die door de brute-forcebaarheid niet heel obscure bleek. Stel dat jij een filmpje uit je OneDrive publiekelijk deelt in de vorm van een 'deelbare link' en die voor het gemak in de korte versie laat genereren, dan is die link (en je filmpje) eenvoudig te vinden doordat je alle mogelijke links uit kan proberen binnen korte tijd.

Het klopt dat het niet minder kwetsbaar is, want je hoort privé zeken te beperken tot diegenen die toegang nodig hebben. Wat echter niet heel duidelijk wordt gemaakt door de aanbieders die zulke korte links juist voor 'het gemak' hebben. Gemak voor crawlers dus.

Ik snap het denk ik niet helemaal. Mensen dachten dus blijkbaar dat als je bit.ly of een andere shortener gebruikt je gegevens veilig zijn?

De onderzoekers hebben dus gezocht welke korte url's naar een onedrive/dropbox/filesharing link wees? Ik zie het niet als een beveiligingslek, maar als een feature

Uit de privacy policy van bit.ly:

Much of your activity on and through the Services is public by default. This includes, but is not limited to:

The original URLs you have shortened, their corresponding Bitly Links, the time and date those URLs were shortened,

Geen verrassingen hier toch?

Of snap ik het nou vekeerd? Als ik hier een link plaats naar een open FTP-server op mijn pc, is Tweakers dan vatbaar voor misbruik?

[Reactie gewijzigd door Joran op 15 april 2016 15:27]

"Mensen dachten dus blijkbaar dat als je bit.ly of een andere shortener gebruikt je gegevens veilig zijn?"

Mensen verwachten niet dat ongebruikte urls zo snel te filteren zijn dat je gemakkelijk achter alle gebruikte doorverwijzingen kan komen. Dat is niet zozeer onveilig, maar zeker bij Maps is het niet een fijn idee dat als je een link genereert die automatisch vindbaar is door crawlers. Maak dan de niet bestaande links traag of met een random result, zodat je het niet kan filteren.

Nee, het zat 'm er eerder in dat die links konden worden gegenereerd om met specifieke mensen te delen (per e-mail bijvoorbeeld), en zo in principe het idee gewekt wordt dat de toegankelijkheid van die links dus nogal beperkt zou blijven.

Nu blijkt dus dat met een klein beetje processing power al die links af te struinen zijn, waarmee je er dus opeens mee geconfronteerd wordt dat niet alleen de mensen met wie je die link opzettelijk bij die data kunnen, maar ook anderen.

*shrug*

Nog steeds niet verrassend voor iemand met een beetje inzicht in de materie, maar een beetje gênant als je zonder verder bij stil te staan vanuit Onedrive-interface je persoonlijke foto-albums op die manier met je naasten hebt gedeeld, om eens wat te noemen.

Dat dit kan is in principe een deel van het design, maar het probleem zit hem er in dat mensen zich dat misschien niet zo goed realiseren en het voor verkeerde doeleinden gebruiken. Je moet er eigenlijk niet vanuit gaan dat iets wat je publiekelijk en zonder verdere beveiliging op internet publiceert nooit door iemand gevonden zal worden, ook al geef je de URL alleen aan bepaalde mensen.

Misschien zou het nuttig zijn om een soort standaard te verzinnen waarmee diensten op een eenduidige en duidelijke manier kunnen aangeven wanneer een gebruiker iets publiek publiceert, net zoals we het SSL icoontje hebben in de browser om aan te geven dat de verbinding 'beveiligd' is.

[Reactie gewijzigd door Jeroen op 15 april 2016 15:27]

Samenvattend: een url naar een publiek (bewerkbaar) gedeelte van (One)Drive heeft zo weinig mogelijkheden dat deze simpel te brute-forcen is. Maar in beginsel is het de gebruiker die e.e.a. publiek heeft gemaakt.

Het zijn niet de mensen maar Het probleem zat vooral in het feit dat Google en Microsoft de dienst gebruikten .Dan kan je als mens er weinig tegen doen,lijkt me.Het is een kwetsbaar beveiliging`s lek .
Maar eigenlijk al achterhaalt ,want het is door Microsoft en Google aangepast.Alleen one drive nog,zoals in het artikel staat.
Ik vind zoiets wel altijd nuttig om te weten,en je hoort het steeds meer.Jammer genoeg bijna altijd achteraf,"maar dat is logies" ,zou Cruijff gezegd hebben .