Microsoft weer online, kritiek van experts

De oplettende lezer was het vast niet ontgaan dat de webservers van Microsoft een tijdlang uit de lucht geweest zijn. Voor wie het gemist heeft, hier kun je het eerste artikeltje hierover nog even nalezen. Inmiddels loopt alles weer, Microsoft blijkt een flink probleem gehad te hebben met de domeinnaam-servers, zoals al werd verondersteld. Maar ook de kritiek barst los, vooral op de structuur van het netwerk en de kennelijke kwetsbaarheid daarvan:

The focus of their concern is that Microsoft may have placed key domain name servers on a single network, making them vulnerable to a directed attack. If these servers are disabled, a surfer's browser cannot locate a specific Web site.

"Someone should really be embarrassed," said Paul Robertson, director of vulnerability assessment at security service provider TruSecure, who examined Microsoft's network configuration using security tools.

[...] "The domain name system is the most widely deployed distributed database," he said. "It is recommended to spread around the different copies of your data. We don't see customers of that size putting all their servers on the same (network) segment."

Onvoldoende beveiliging en redundancy als oorzaak dus. Daar zal ongetwijfeld op korte termijn wat aan gedaan gaan worden, dus dit soort 'foutjes' zullen wel niet zo vaak meer voorkomen . Het hele verhaal kun je hier nog even nalezen. Dank aan Capedro voor de tip.

Reacties (41)

[garp]

En voor degenen die de Microfoft kant van het verhaal willen lezen: http://www.microsoft.com/info/siteaccess .htm

At 6:30 p.m. Tuesday (PST), a Microsoft technician made a configuration change to the routers on the edge of Microsoft's Domain Name Server network.

The mistaken configuration change limited communication between DNS servers on the Internet and Microsoft's DNS servers. This limited communication caused many of Microsoft's sites to be unreachable (although they were actually still operational) to a large number of customers throughout last night and today.

edit:
2 zielen, 1 gedachte

In het artikel in de post gaat het niet echt over de storing/fout en-sich, maar meer over het ontwerp van de indeling in subnetten van de M$ dns-servers. Wat dus blijkt is dat de primaire en secundaire dns op hetzelfde subnet zitten. In het geval van een routerstoring is de kans dus erg groot dat de secundaire (backup) dns ook niet bereikbaar is. Dat is behoorlijk ontwerp uiteraard, maar komt vaker voor dan je denkt. Kijk maar eens naar de ip's van de dns-servers van xs4all bijvoorbeeld.

[PanMan]

Kijk maar eens naar de ip's van de dns-servers van xs4all bijvoorbeeld.

Ok, naar gekeken. En een traceroute gedaan...

De ene:
(s-ipm13.s340.xs4all.net ok)
(No rDNS)
(ge-0-2-0.6.xr1.s340.xs4all.net ok)
(ge-1-3-0.xr1.pbw.xs4all.net ok)
(ge10-0-0.cr1.pbw.xs4all.net ok)
(ns.xs4all.nl ok)

En de ander:
(s-ipm13.s340.xs4all.net ok)
(No rDNS)
(ns2.xs4all.nl ok)

Ze zitten dus achter compleet andere hops, en dus w.s. ook op andere locaties!
Bovendien hebben ze voor hun eigen host ook nog een 3e DNS, bij RIPE. Het lijkt me dus dat de DNS bij hun niet zo snel mis zal gaan....

[garp]

offtopic:
Jouw trace loopt wat vreemd; toch heb je tot op zekere hoogte gelijk. De laatste router is idd een andere. Dat RIPE-adres hebben ze omdat ze ook onder ip-v6 te bereiken zijn. (ns.ripe.net AAAA IPv6 address = 0:0:0:0:0:ffff:c100:c1)


E:\>tracert ns.xs4all.nl

Tracing route to ns.xs4all.nl [194.109.6.66]
over a maximum of 30 hops:

1 <10 ms <10 ms <10 ms 192.168.1.253
2 10 ms 10 ms 20 ms 195.190.240.128
3 10 ms 30 ms 10 ms iawxs5.wxs.nl [195.121.0.89]
4 10 ms 30 ms 20 ms fe4-1-0.7.cr1.pbw.xs4all.net [194.109.11.153]
5 20 ms 20 ms 20 ms ge10-0-0.cr1.pbw.xs4all.net [194.109.5.38]
6 20 ms 20 ms 30 ms ns.xs4all.nl [194.109.6.66]

Trace complete.

E:\>tracert ns2.xs4all.nl

Tracing route to ns2.xs4all.nl [194.109.9.99]
over a maximum of 30 hops:

1 <10 ms <10 ms 10 ms 192.168.1.253
2 10 ms 10 ms 30 ms 195.190.240.128
3 20 ms 20 ms 30 ms iawxs5.wxs.nl [195.121.0.89]
4 20 ms 20 ms 20 ms fe4-1-0.7.cr1.pbw.xs4all.net [194.109.11.153]
5 20 ms 20 ms 20 ms ge-0-3-0.xr1.s340.xs4all.net [194.109.5.22]
6 10 ms 20 ms 30 ms ge5-0-0.cr2.s340.xs4all.net [194.109.7.34]
7 10 ms 20 ms 20 ms ns2.xs4all.nl [194.109.9.99]

Trace complete.

[flymuts]

At 6:30 p.m. Tuesday (PST), a Microsoft technician made a configuration change

Lang leve MCSE ...

[_JGC_]

Dat is behoorlijk ontwerp uiteraard, maar komt vaker voor dan je denkt. Kijk maar eens naar de ip's van de dns-servers van xs4all bijvoorbeeld.

Dat is ook het geval bij chello: 212.142.28.66 en 28.130: op hetzelfde subnet en ook altijd tegelijk down. Ws zelfs op dezelfde machine...

Daarom is het leuk om bv de DNS van surfnet te gebruiken als primaire DNS en die van chello als secundaire... Moeten ze bij M$ ook gaan doen

[whigger]

Vreemd dat Microsoft zelf naar buiten brengt dat het geen security gerelateerde fout was, maar een technisch probleem [namelijk met de routerconfiguratie]:

http://www.microsoft.com/info/siteaccess.htm

[TheGhostInc]

Op zich was het ook een technisch probleem, maar doordat het hele DNS niet meer werkte bij Microsoft is dit dus ook meteen security probleem, omdat dan namelijk iemand maar 1 'ding' hoeft te hacken om het al plat te krijgen.

[Jit]

Waar men even voor het gemaak overheen leest is dat de opmerking van die beveiligingsexpert niet zozeer de oorzaak van de problemen van gisteren aanduidt als wel een toestand van het netwerk zoals die nu al enige tijd bij MS bestaat. Namelijk dat er mbt de DNS een single point of failure is. Die kan door letterlijk elke vorm van fouten worden getriggerd. Ook de door MS zelf aangehoouden oorzaak.

Die beveiligingsexperet wijst ze echter op iets dat ze heel snel mogen aanpassen, omdat ook hacker op een dusdanige manier de boel aardig kunnen verstieren. Dat dat tot op heden nog niet gebeurd is is eigenlijk puur toeval. Niemand verwacht dat een dergelijk bedrijf zo'n toestand zou laten bestaan. En nu iedereen weet van het bestaan van deze zwakte... 't moeilijkste is nu alleen nog maar om op die ene server in te breken.

* 786562 Jit

[Verwijderd]

toch vreemd al die kritiek. MS zelf heeft meer dan honderdduizend webpagina's online staan dus als er een keer wat mis gaat zeurt een hele meuten weer. poe zeg wat erg. Ik vind het weer zo'n opgeblasen anti MS kritiek van mensen die weer eens jaloers zijn dat ze het toch wel even runnen die ms mensen.

[Verwijderd]

hoge bomen vangen veel wind zo ook M$.

[Verwijderd]

Alle grote IT bedrijven(oa. Ms) klagen dat andere bedrijven hun netwerken niet voor elkaar hebben en Microsoft heeft hun eigen netwerk nog niet eens voor elkaar...
toch wel erg belachelijk

[belal]

Zojuist hadden wij op kantoor het fenomeen dat we geen .com sites meer konden bereiken.

Probleem bleek niet bij ons te liggen maar bij de DNS-sen op het internet. Effectief konden we MS, CISCO, LEGATO, NAI en vele anderen niet bereiken.

Vermoedelijk is het probleem van MS dan ook niet een MS probleem maar ligt het veel algemener. Na enig dokteren op het internet bestaat bij mij en een aantal collega's het vermoeden dat er een klein probleem is geweest bij de hoofd .COM DNS server.

Als ik het goed heb word dat ding door internic US beheerd, maar dat weet ik niet uit mijn blote hoofd

[EfBe]

Het heeft niets met 'onvoldoende' beveiliging te maken. Een routertable was 'fucked up'. Zie het CNet artikel.

Overigens is het puur giswerk of het netwerk ook daadwerkelijk zo in elkaar steekt als de 'experts' doen geloven. Immers de DNS servers zijn met een ander subnetmask dan 255.255.255.0 gewoon in 2 subnets te splitsen, en dan nog: ookal zijn ze opeenvolgend, over de fysieke locatie en de verbinding naar buiten zegt het niets. Het is zeer waarschijnlijk dat de IPnr's zijn gemasked in de firewall om attacks juist te voorkomen.

Naja, iedere zelfverklaarde 'specialist' heeft wel een mening, ik vind het vooral grappig dat het gehele verhaal van een complete 'hack' van DNS tenslotte uitmond in een verkeerd gepatchte routertable

[michelr]

"At 6:30 p.m. Tuesday (PST), a Microsoft technician made a configuration change"

moet dat niet zijn:
"At 6:30 p.m. Tuesday (PST), a recently fired Microsoft technician made a configuration change"

[smerik]

Vertel mij eens waarom iedereen gister zat te zeuren dat ze niet op hotmail konden, terwijl ik met @home in Enschede wel op hotmail kon

[raptorix]

Omdat die misschien minder snel hun tables update als ander providers, of juist heel snel maar ik ga uit van het eerste.

[garp]

Dan zaten er waarschijnlijk verouderde gegevens in de cache van de dns-servers van @home, of in de cache van je pc

[Scorpion]

Omdat de locale informatie van je provider waarschijnlijk later is geupdate. (De informatie wordt bij je ISP weg gehaald, en niet altijd meteen bij de "hoofd"-server) Best kans dat je er 'savonds ineens niet meer opkon, vanwege een automatische update van de informatie.

[Kahlan]

Vreemd. Wellicht onthoudt de @home proxy de IPnummers en hoeft hij geen nieuwe DNS query te doen?

[Verwijderd]

We zullen de ware toedracht van de feiten waarschijnlijk nooit kennen.
Microsoft kan zich niet nog eens gezichtsverlies veroorloven.
Ik vermoed dat ze daarom gewoon één van hun eigen werknemers beschuldigen.

Trouwesn, MS heeft naar het schijnt wel veel redundancy, vermits ze daar alles op win2k moetten draaien, en dat toch nie echt zo goed tegen zware traffic kan Ze zouden beter overschakelen op FreeBSD ofzo

[raptorix]

De hele website van MS is bijna server side gecacht, tenminste uitgaande van de urls want zeker weten doe je dat natuurlijk nooit, op deze manier ben je als server gewoon html documentjes aan het serveren, op zich maakt het dan echt niet zo veel uit of je dat een win2k bak laat doen of een free bsd machine. Trouwens de uptime van MS is over het algemeen vrij goed te noemen zeker als je weet hoeveel hits deze site krijgt, in mijn ogen dus weer zo een domme opmerking van een wannabee tweaker.

[EfBe]

Een groot gedeelte van die site is in XML + XSLstylesheets gevat. ASP pages zorgen er voor dat de XML mbv de XSL sheets wordt omgezet in HTML. Dat wordt gedaan met de MSXML parser, die draait niet echt op freebsd, mocht daar uberhaupt al een geavanceerde xml parser/dom voor zijn.

De microsoft.com site (dus alle subdomains) omvat iets van 1440 servers geloof ik, dus als er eentje onderuit gaat merk jij daar niks van, die servers zijn zo gelinkt dat veel servers het werk van anderen kunnen overnemen.

[raptorix]

lol ben ik nu net proberen te bekijken met hoe het precies zit met de techologie krijg ik deze melding :

HTTP/1.1 Server Too Busy