Microsoft-servers overbelast na Windows 7 RC-release

De servers van Microsoft zijn kort na het vrijgeven van de Windows 7 Release Candidate voor MSDN- en Technet-abonnees overbelast geraakt. Het probleem zou niet de servercapaciteit zijn, maar de SQL-servers die door hun hoeven zakten.

De Release Candidate van Windows 7 kwam om 15.00 uur Nederlandse tijd beschikbaar voor MSDN- en Technet-abonnees, maar al na 20 minuten begonnen de servers te kraken. De daaropvolgende uren konden gebruikers niet of met grote moeite de downloadpagina bereiken. Veel bezoekers kregen de melding 'We’re sorry! The page you were expecting to see has been removed or is unavailable' te zien.

Het probleem zou dit keer niet een te beperkte servercapaciteit zijn, maar de SQL-servers zouden door het grote aantal queries last hebben gekregen van een gefragmenteerde database, zo meldt ZDnet. De databaseservers die de MSDN- en Technet-site moeten bedienen, zouden in een uur net zoveel verzoeken hebben gekregen als normaal in een week. Nadat de database door Microsoft-personeel was gedefragmenteerd, kwam het verkeer weer langzaam op gang, al bleven de databaseservers kampen met een hoge processorbelasting.

Om soortgelijke problemen in de toekomst te voorkomen zou Microsoft nu elke avond de database opnieuw willen defragmenteren. Dat lijkt broodnodig, want vanaf 5 mei kan ook het grote publiek de Release Candidate van Windows 7 binnenhalen. Bovendien is het niet de eerste keer dat het serverpark van de softwaregigant overbelast raakte; in januari ging de website plat na een stormloop op de eerste bèta van Windows 7.

Reacties (146)

[latka]

Is er een DB guru op het forum die me uit kan leggen waarom een DB server last heeft van fragmentatie? Met mijn beperkte denkraam zou ik zeggen: het kan niet. Je maakt een DB en alloceert zoveel diskruimte als nodig. In je DB schema vermijd je varchars en fragmentatie is geen issue. Is het inderdaad zo dat SQL-Server alleen fragmenteerd bij varchars en dynamische groeiende DBs? Dan is het een kwestie van verkeerd geconfigureerde DBs en onhandige schemas en hebben ze het over zichzelf afgeroepen.
De nog interresantere vraag voor klanten van SQL-Server is dan: hoe doen DB2 en Oracle het in dit opzicht?

[axis]

Niemand heeft gezegd dat het hier over filesystem fragmentation gaat, heel waarschijnlijk gaat het om index fragmentation (wat wordt bevestigt door het feit dat de cpu's naar 100% gaan, dat zijn waarschijnlijk de grote hoeveelheid full table scans omdat de indexen het niet goed doen).

Indexen rebuilden of reorganizen is bij SQL server het enige dat je kunt doen. Hopelijk gebruiken ze de Enterprise Edition, die kan online indexes rebuilden, de Standard Edition niet Geen idee hoe dit bij andere database management systems werkt..

[Popie Jopie]

Vanuit de tijd dat ik nog SQL deed ;-)..
Ik zou bij veel downloaden vooral SELECT queries op de database verwachten. Zou denken dat defrag van een database vooral komt door INSERTs of UPDATEs.

Of gaat de database een soort schaduwrecords aanmaken (INSERTs) bij veel SELECT op 1 record.

[cameodski]

En hoe dacht je dat MS bepaalde welke downloads het meest populair zijn? Ik denk dat ze heel wat informatie over de bezoeken (en bezoekers) opslaan.

[Fiander]

Het gaat waarschijnlijk om de backend van de state servers. hierin komt sessie info en waarschijnlijk viewstate info in te staan, zodat jij als gebruiker ook van webserver in de farm kunt wisselen. Dit maakt het voor de loadbalancer gemakkelijker, omdat deze niet hoeft bij te houden wie op welke server zit.

Deze state info word telkens opgevraagt, en aangepast.

http://support.microsoft.com/kb/317604

[MMaI]

er worden ook productkeys aan je account gekoppeld plus alle informatie over aantal downloads en producten die je download, waarschijnlijk zijn er inderdaad meer select dan insert/update queries maar de combinatie van beiden zorgt voor de overbelasting

[Master Chieftec]

Mijn vraag aan de MSDN en Technet abonnees is, welke build is de uiteindelijke RC geworden? Build 7100, die al in de "bay der piraten" te vinden is? Of toch een nieuwere build? Intern zitten ze bij Microsoft al op build 7116. Kan iemand een Winver erop loslaten?
Ik draai 7057 x64, vind het na een paar weken wel laggy en buggy. Vooral Windows Media Player laat mij weleens in de steek. Ik draai een redelijk clean systeem, met weinig 3rd party software.

[mkools24]

Ik snap niet dat MS niet gewoon ook Bit torrent als optie heeft om dit te downloaden, naast de reguliere downloadmethode. Scheelt een hoop geld qua bandbreedte en gebruikers hebben een alternatief.

[wildhagen]

Omdat bij Bittorrent je geen zekerheid hebt dat de ISO niet nog meer leuke dingetjes bevat als trojans, virussen, keyloggers of andere soortgelijke aardigheidjes. Er zijn namelijk beta's geweest die je via Bittorent kon downloaden waar de setup.exe ook een trojan bleek te zijn.

Tuurlijk kan je met hashes gaan werken, maar bij lange na niet iedereen weet hoe hiermee om te gaan.

Als MS het op eigen servers zet, of op servers van hun hostingpartners (Akamai etc), kunnen ze dat wel met zekerheid zeggen.

[Fermion]

Toch wel gehoord van MD5 of SHA1, het gebruik maken van een HASH wat als controle dienst kan doen om je gedownloade bestande te controleren of je echt alle BITJES binnen hebt EN als er aan het het bestand is gesleuteld (virus toegevoegd), dan is dat te zien, omdat je HASH waarde niet meer overeenkomt.

Het maakt niet uit waar jij je bestand vandaan haalt! Dan is BitTorrent een uitstekende middel om software te downloaden. Iemand kan wel een Trojan erin hebben verstopt, maar dan klopt namelijk de SHA1 HASH waarde niet meer.

De HASH is namelijk niet afhankelijk van je bestand grote. Elke 1Gbyte bestand levert namelijk aan ander HASH waarde !
Als jij een WORD document schrijft van exact 1 GB groot en ik maak een AVI van exact 1 Gb groot, dan krijg je twee verschillende HASH waardes wanneer je met SHA1 gaat berekenen!

note: MD5 is niet meer zo betrouwbaar. Met MD5 is het wel mogelijk om een identiek HASH waardes te genereren.


Het is een Technet release, dan mag je wel verwachten dat iedereen wel weet hoe dit werkt, maar toch:

Op Technet is de volgende te lezen:

File Name: en_windows_7_ultimate_rc_x64_dvd_347803.iso Date Posted (UTC): 4/30/2009 6:00:41 AM
SHA1: FC867FE1AB2E0A9796F9E4D155B44EA6998F4874 ISO/CRC: 58FB2BE0

File Name: en_windows_7_ultimate_rc_x86_dvd_349010.iso Date Posted (UTC): 4/30/2009 6:00:41 AM
SHA1: 7D1F486CA569EFFFFB719CFB48355BB7BF499712 ISO/CRC: E8A1C394


De utility is te downloaden volgens de artikel:

Article ID: 841290 - Last Review: January 23, 2007 - Revision: 1.6
Availability and description of the File Checksum Integrity Verifier utility


OF

Google naar sha1.exe, maar letop voor de virusjes en de wormpjes.

gr,
S.

[Reactie gewijzigd door Fermion op 26 juli 2024 19:45]

[MisterData]

Zolang Microsoft de torrent zelf start kan dat niet; je kunt niet zomaar deelnemen aan zo'n torrentnetwerk en dan foute kopieën van de bestanden doorgeven. De hashes van die bestanden staan namelijk gewoon in het .torrent-bestand

[wildhagen]

Klopt, maar ongetwijfeld gaan andere mensen nep-torrent uitbrengen met nasty verrassingen (virussen).

En veel mensen zullen dat onderscheid echt niet maken, die downloaden een "Windows 2007 RC.torrent", ongeacht waar die vandaan komt.

Maar als het dan een virus blijkt te zijn is het wel Microsoft die erop word aangesproken, "want het is toch een Windows-torrent?". Levert dus reputatie-schade op.

[penetreerbeer]

Dat is toch simpel. Op de download pagina van microsoft zelf moet er gewoon een link naar een torrent staan naast de normale downloadlinks.

Torrents van een torrent-site halen is altijd op je eigen risico. Nu staan er toch ook al windows 7 versies op torrents te vinden? Alleen zou er dan die van microsoft toch niet tussen staat want die zal niet getracked worden door de populaire trackers, maar door een tracker van microsoft zelf.

[artie16]

Dat kan Microsoft toch simpel op te lossen om de torrent op hun site te zetten en een duidelijk bericht erbij zetten dat de mensen het beste alleen de torrent bij hun vandaan moeten halen?
Mensen die vervolgens alsnog op TPB of mininova de torrent vandaan halen hebben dan gewoon pech als ze de verkeerde pakken.

[Rikkiz0r]

Ik vind persoonlijk dat ze dit hadden kunnen verwachten, en beter hadden kunnen regelen.

[Verwijderd]

Ja en nee: omdat wanneer je zo'n grote gebruikersgroep zoals Microsoft dat heeft, is het gewoon moeilijk om daar goed als bedrijf daarop in te spelen.
En ja: ze kunnen inderdaad beter meer hun best doen voor betere load balacing om de duur van het offline zijn te beperken.

Maar dat defragmenteren vind ik wel vreemd. dat zou dan betekenen dat het omgaan van fragmentatie van het bestandsysteem niet optimaal is.

[Niemand_Anders]

Het gaat niet om fragmentatie van het bestands systeem, maar van de pages waarin de records staan. Als een page veel lege records heeft (omdat deze zijn verwijderd) dan wordt de access inefficient. Bij een defragmentatie worden de pages weer vol geschreven en komt er ook extra opslag ruimte vrij.

Alle database (ook Oracle, DB2 en MySQL) hebben last van dit verschijnsel. Bij PostgreSQL gebruik je voor de defragmentatie vacuumdb.

Omdat Microsoft ontzettend veel frontend webservers heeft staan, kunnen sessies dus niet op de server zelf worden bijgehouden, maar gebeurt dit via SQL servers.

Aan de sessie zijn ook jouw MSDN/Technet rechten gekoppeld en wordt bepaald wat je wel of niet mag downloaden.

Wat ik slordig vind is dat Microsoft het onderhoud aan deze sql servers niet op orde heeft. Het voordeel van een SQL cluster is juist dat je een machine uit de pool kunt halen om hem te defragmenteren en daarna een hot backup te maken. Dat een cluster over belast raakt kan gebeuren, maar het mag niet zo zijn dat defragmentatie niet elke dag plaats vindt.. Zeker niet op een high profile database.

[Airdack]

Ik denk maar aan 'ja', ze kunnen toch gewoon een andere manier van distributie inschakelen? Denk aan torrents of iets dergelijks, op die manier delen alle users de load en gaat de boel tenminste niet plat! En de downloadsnelheid zou nog steeds prima moeten zijn, want de main seeds zijn natuurlijk nog steeds gewoon de servers van Microsoft

[Korben]

Nee, de main seeds zijn de servers van Akamai. De pagina die down ging was alleen de pagina die controleert of jij rechten hebt en je doorstuurt naar een URL op een Akamai-server.

[kokx]

Dat is het probleem niet. Het probleem is dat de SQL servers plat gingen omdat de load daarop te hoog werd. En dat komt omdat niet iedereen de RC mag downloaden.

En daarom is torrents gebruiken hier ook geen oplossing, omdat dan ook weer iedereen hem kan downloaden en gebruiken.

[mickvdv]

Dan verspreid je de torrents toch zoals je nu de iso's (neem ik aan) verspreid. Dat scheelt heel erg veel werk voor het hele server park. Al denkik dat het probleem met de sql servers niet opgelost is aangezien die nogsteeds heel erg veel "database requests" krijgen.

(Correct me if i'm wrong)

[Verwijderd]

Ze zouden ook gewoon een bittorrent tracker kunnen draaien. eigen schuld, dikke bult dus.

[Verwijderd]

Volgens mij wil Mircosoft niet geassocieerd worden met torrents. Torrents worden immers voornamelijk voor illegale activiteiten gebruikt waar Microsoft zelf "slachtoffer" van is.

[Bjorn89]

Toch kunnen ze niet ontkennen dat bij dit soort releases Bittorrent toch een van de mooiste stukjes software is.

Je verspreid de load over al je klanten, en je betaald zelf minder serverkosten uiteindelijk, minder service personeel omdat de servers er niet de heletijd uitcrashen, en waarschijnlijk nog andere voordelen.

[afraca]

Releases als torrents uitbrengen is riskant en moeilijk te beheren. Zoals eerder al werd gezegd, is er grote kans dat er trojans bij in worden gesmokkeld, en lang niet iedereen neemt dan de moeite even de officiele hash op te zoeken en te controleren.

(neemt niet weg dat het wel mogelijk is, ubuntu is ook beschikbaar als torrent, maar blijkbaar zijn ubuntu gebruikers wat voorzichtiger en controleren de hash. )

[Verwijderd]

Maar dan zou Microsoft P2P netwerken steunen. En die status wil Microsoft vast en zeker NIET opbouwen.

Wat ze wel kunnen doen is een eigen torrent tracker maken, niet alleen voor dit soort releases. Maar ook voor Updates en andere downloads in het download centrum.

Opzich vindt ik dit heel erg dom van hun, ze hadden dit kunnen verwachten. En dit is niet de eerste keer. En Microsoft kennende zal dit ook niet de laatste keer zijn.

[afterburn]

Zelfs al zouden er betere oplossingen zijn, dan heeft Microsoft nog het principe van "eat your own dogfood", waarbij het eigen personeel en interne voorzieningen draaien op eigen software.

Zo draaien de developers vanaf het allereerste begin verplicht de nightly build van W7 op hun development machine. Op deze manier worden fouten heel wat sneller gevonden en opgelost omdat ze zelf last hebben van hun eigen fouten.

Het is zelfs zo, dat als de builds zijn aangekomen bij de publieke betas en/of RC's dat grote delen van het personeel dat niets met development te maken heeft al worden gemigreerd naar het nieuwe platform, om op die manier een nog grotere interne testbase te hebben.

[Blokker_1999]

Ik betwijfel ten sterkste dat developers continue op nightly builds werken. Oops, er is een probleem dat verhinderd dat onze software start. achja, dan spenderen we een uurtje of 2 aan het teruggaan naar de vorige build zekers ...

[Alex)]

Ik ben pasgeleden in Redmond geweest en ik heb daar enkele presentaties gezien van Microsoft-medewerkers die niet in de Windows-groep zaten (Windows Live, VE, ...) en die draaiden toch echt allemaal al Windows 7 (beta en nieuwer).

Ook Microsoft Nederland is al over op Windows 7... dus wat afterburn schrijft klopt echt wel

[Fiander]

Zou jij in een restaurant gaan eten waar de koks niet zelf ook eten wat ze maken ?

Als ik zou horen van een restaurant waar de koks eten van thuis meenemen, of bij de concurent gaan eten ( behalve als uite uiterraard ) dan zou ik het niet meer vertrouwen, en zelf naar de concurent gaan.

zoals afterburn als zei : "Eet je eigen hondevoer"

[Kef]

Ik denk dat de licentie kosten niet zo'n probleem zijn bij Microsoft .

[Verwijderd]

Ondanks dat het 'vestzak-broekzak' is, reken er maar gerust op dat iedere afdeling binnen Microsoft wel degelijk zijn licentiekosten afdraagt aan de licentieafdeling van Microsoft. Het is heel normaal binnen grotere bedrijven dat een interne afdeling een andere interne afdeling 'belast' voor diensten die voor die afdeling worden geleverd of worden uitgevoerd.

[Radiant]

Open source databases fragmenteren ook hoor

[Nedra]

Staat build 7100 nou gelijk aan RC1?

[zanza006]

Ja,
Laatste uitgave: Build 7100 (RC 1) / april 2009


bron: http://nl.wikipedia.org/wiki/Windows_7

[rvec]

Je zou toch denken dat ze na de vorige keer wel geleerd hebben dat het nogal druk kan worden. Een "we hebben het even druk" melding zou wel wat netter zijn geweest.

[Swerfer]

Daar hadden ze rekening mee gehouden, de download servers konden het aan... Alleen die SQL servers daar hadden ze geen rekening mee gehouden...

[Blokker_1999]

Vorige keer was het probleem ook niet de downloadcapaciteit. De directe links naar de downloads die her en der te vinden waren werkten perfect. Vele mensen die het ISO bestand konden binnenhalen aan hoge snelheid. Toen was het probleem te zoeken op die paginas die dat de sleutels moesten uitdelen, en nu hebben we een gelijkaardig probleem.

[jip_86]

Toch knap, Technet en MSDN abonnees zullen er lang niet zo veel zijn als er straks gaan komen bij de publieke release.

[Verwijderd]

Vergis je niet dat de meeste mensen met interesse voor het product wel in die groep zit. Ik zie mijn familie nog niet snel een RC downloaden van een besturingssysteem en het dan eigenhandig installeren.

[Niemand_Anders]

Voor de public release heb je geen MSDN/TechNet login nodig. De database servers van het MSDN/Technet gedeelte is onderuit gegaan.

Volgende week kun je hem naast de MSDN/TechNet download hem ook via de normale download procedure binnen halen. Dan heb je alleen voldoende download servers nodig.

[jip_86]

Met de beta moest je anders ook eerst inloggen met je Live account. In eerste instantie stond er toen ook een server keys uit te geven. Die is er toen tussen uit gesloopt, waarna er maar iets van 10 keys werden uitgegeven.

[marking]

Houd de site niet sowiso een sessie van jou bij, om te kijken of je logged in bent (bijna elke pagina bevat een .NET login.
Dat kost toch net zo goed SQL time?

[xuthus]

Momenteel is de download snelheid bedroevend, hij schommelt van 500 tot 50 KB/sec.