Stroomstoring legt groot deel eBay plat

Een stroomstoring in een van de belangrijkste hostingruimtes van eBay heeft er afgelopen maandag voor gezorgd dat een groot deel van de eBay-sites niet bereikbaar was. De storing werd rond 20.00 uur Pacific Time ontdekt en enkele minuten later maakte de veilingsite hier melding van op zijn General Announcement Boards. Twee-en-een-half uur later maakte het bedrijf bekend wat de precieze oorzaak was en dat de site nog enige tijd offline zou blijven. Om 2.10 uur publiceerde het bedrijf opnieuw een bericht, waarin duidelijk gemaakt werd dat credits gegeven zouden worden aan de gebruikers die nadeel hadden ondervonden van de stroomstoring en dat een groot aantal veilingen was verlengd met maximaal 24 uur. Het is niet voor het eerst dat eBay te maken krijgt met storingen in de energievoorziening. In het verleden is de site wel eens 22 uur achter elkaar onbereikbaar geweest. Overigens was naast eBay ook PayPal, dat onderdeel is van de veilingsite, niet bereikbaar.

Reacties (30)

[Verwijderd]

Indien een hele spannings groep er uitvalt (en daarme je rack) dan kan je dat opvangen door servers met dual power supply en deze aansluiten op individuele groepen.

Naast meerdere leveranciers voor je spanning, heeft een beetje datacenter ook nog minimaal 1 generator backup. Als alles uitvalt dan nemen de UPS systemen, die minimaal dubbel moeten zijn uitgevoerd, het voor een x aantal minuten / uren over. In die tijd kan een generator worden opgestart. Deze zou minimaal 24 uur beschikbaar moeten kunnen zijn op z'n vooraad brandstof.

Hier op het media park vanwaaruit wij o.a. een deel van onze hosting verzorgen zijn zelfs generatoren die continue draaien, en daarnaast nog generatoren die aanspringen als noodstroom voorziening.

[djluc]

Onvoorstelbaar eigenlijk dat dergelijke grote bedrijven door een simpele stroomstoring al down kunnen gaan. Je zou toch denken dat ze minimaal 2 aparte datacentra zouden gebruiken zodat ze wat zekerder zijn?

[Verwijderd]

eBay and PayPal were both down Monday evening after a power outage hit a primary hosting provider for eBay in the Bay Area.

Primary hosting, dus ze hebben wel degelijk meerdere horstinglocaties. Overigens zijn dat niet ruimtes van eBay zelf, ze huren gewoon rackspace.

Ik vind het zelf veel onvoorstelbaarder dat eBay host bij een partij die geen redundante stroomvoorziening heeft..

[Mathijs]

De partij waarbij ebay host zal best een redundant stroomvoorziening hebben, maar zodra er in een rack een voeding van een server overlijdt op zodanige manier dat deze sluiting maakt op het lichtnet, gaat gewoon het hele rack van 48U plat hoor.
De fout zoeken is dan ook niet zo makkelijk als een zekeringautomaat terug aanzetten, eerst moet de sluiting gevonden worden en verholpen worden.

[TrailBlazer]

daarom zitten er in grote machines 2 voedingen die ieder op een verschillende groep zitten. Ik geloof ook niet dat alle machines van ebay in een rek zitten zoveel impact kan hebben er is dus ge woon een major fuckup geweest van de colo

[Verwijderd]

Dat hangt er maar net vanaf hoe jij het aansluit. Mission Critical systemen sluit je niet zo aan dat bij sluiting in één voeding het hele rack plat gaat. Sowieso zitten dit soort clusters bijna altijd op master switches aangesloten, die dit ondervangen.

[Cybje]

Mijn ervaring is dat een MasterSwitch (van APC in elk geval) er eerder uit knalt dan een PSU van een fatsoenlijke server. Ik heb het dan niet over Sweex PSU's natuurlijk, maar die MasterSwitches zijn echt niet heilig.

[Blokker_1999]

Dat is een enorme kost. Normaalgezien word voorzien in een UPS systeem tesamen met een noodgenerator waardoor de stroom in theorie nooit kan uitvallen.

[srblackbird]

Om die reden heeft Google haar data ook overal en nergens staan; er zwerven van alle databases minstens een paar kopiën rond over verschillende continenten.

(dit is tevens ook de rede dat ze diezelfde data snel kunnen aanspreken)

[thegve]

Dit kun je niet meer een paar noemen. Google heeft giga veel cheap-ass servers over erg veel datacentra.

[Verwijderd]

De vraag is nu natuurlijk altijd hoe groot moet je zijn om van dat soort methoden gebruikt te gaan maken. Wegen de kosten op tegen de baten?

[tazitiz]

in dit geval kost het meer dan 1/365 (meer schade dan 1 dag down kost). hoeveel was de omzet ook al weer? meer dan 300 miljoen - kost dit minstens 1 miljoen.
heel simpel te berekenen hoor

[phusg]

Tja, en zo wordt schade altijd berekent, maar dat is natuurlijk kunstmatig onzin.

Als je op iets aan het bieden was en wegens en technische storing wordt de veiling 24 uur verlengd, dan wil je toch nog steeds dat artikel?!? Een groot deel van de 'schade' zal dus in de eerstvolgende 24 uur worden ingehaald.

Schade aan de reputatie enz zou (veel) meer kunnen zijn, maar zou ook heel erg mee kunnen vallen, wie zou het zeggen? Niet echt makkelijk te becijferen.

Zo heel simpel als jij het stelt is de echte wereld allemaal niet hoor.

[vervoto1]

ga er ook maar vanuit dat de hostingsites van ebay wel redundante stroomvoorziening hebben met generatorbackup.. dat houdt niet in dat je beschermd bent tegen de wet van murphy, wij hebben ook wel eens gehad dat de netstroom er net uit flikkerde toen we de maandelijkse generatortest net hadden uitgevoerd (die niet slaagde) en de snel opgetrommelde monteur net met zijn zaklamp in de opengeschroefde generator tuurde.. dat soort ongein kun je je gewoon niet gemakkelijk tegen wapenen.

[tazitiz]

de goede hostingsites hebben ook dit redundant. Kijk maar naar de redbus site waar tweakers staat. de generatoren zijn dubbel uitgevoerd. stroomaanvoer is dubbel uitgevoerd, dus 4 manieren van stroom waar er dus 3 van uit kunnen vallen voor je moet gebruik gaan maken van je ups.

[StefSybo]

De generatoren zijn niet dubbel uitgevoerd, maar ze hanteren N + 1. Er kan dus altijd maximaal 1 generator zijn die niet werkt zonder dat dit problemen oplevert als de netstroom uitvalt.

[0vestel0]

Zeker. Kijk maar eens naar die stroom storing een tijdje geleden in noord america waarbij meerdere centrales uitvielen. Stoom is een raar goedje.

[TD-er]

In het recente verleden is ook wel eens in een groot deel van de VS de stroomvoorziening plat gegaan en ook hier in NL heb je wel eens dat complete wijken zonder stroom zitten.
Dan kun je in de server ruimte nog zoveel UPS-en hebben, maar als de boel vlak buiten die server ruimte bijvoorbeeld plat gaat, zijn je machines nog steeds niet bereikbaar.
Tevens werken dergelijke UPS-systemen hooguit in de orde van 1 uur.
Hier in Groningen is een maand of wat geleden de stroom ook ineens 5 uur eraf geweest.

Kortom je kunt het gewoonweg niet met 100% zekerheid allemaal afvangen, zelfs niet wanneer je alles in duplo over de wereld verdeeld hebt staan.

[TrailBlazer]

onzin iedere KPN centrale heeft noodstroom voorziening.
Als heel Schiphol platgaat draait het KPN cybercentre op schiphol gewoon door. Sterker nog het NMC heeft zelfs noodstroom voorziening best vreemd hoor als de volledige omgeving zwart is maar jouw pand (en werk ) gewoon doordraait

[TD-er]

Er hoeft maar 1 tussenliggend systeem uit te vallen doordat de UPS het ergens niet goed opvangt en dan zit je nog steeds zonder verbinding, dus helemaal onzin is het niet.
Die kans dat dat ergens fout gaat neemt uiteraard toe naarmate er meer van dergelijke noodvoorzieningen moeten worden ingeschakeld. (dus bij de uitval van de stroom in een complete wijk)

[TrailBlazer]

en daarom zitten er dus in iedere core node minimaal 2 voedingen die op verschillende groepen zitten die op verschillende upsen zitten die gevoed worden door een N+1 generator systeem, heeft iedere core node minimaal verbinding met 2 andere, geografisch gescheiden, core nodes, over verschillende glasringen. Aan glasverbindingen kan elektrisch gezien bijzonder weing kapot gaan. De kans op een stroign waar er zoveel schakels tegelijk valen is astronomisch klein. 99 van de 100 major storingen zijn software bugs of aansluitfouten op het gebied van spanning

[srblackbird]

voor dit soort dingen heb je dus noodgeneratoren...

Zeker als je bedrijfafhankelijk is van stroom lijkt is het misschien wel een slimme optie om die eens aan te schaffen
Net als ziekenhuizen..

[BramT]

En toch heb ik liever dat m'n veiling op eBay ff een dagje niet bereikbaar is dan dat m'n hartbewaking het niet meer doet...

Zullen we dingen well ff in z'n verband houden aub?!

[Pumbaa82]

Ik denk dat het verband wat srblackbird bedoeld niet is dat jij je veilingsite een dagje niet aan kan.

Maar dat het voor een bedrijf dat afhankelijk is van een goede stroom en netwerk voorziening belangrijk is omdat er anders toch een aanzienlijk bedrag wordt misgelopen aan inkomsten.

Dat het voor een ziekenhuis belangrijk is omdat er anders mensen kunnen sterven is in zijn post niet aan de orde gekomen. (sure, het zou natuurlijk erg zijn)
Maar hij geeft aan dat zo'n soort systeem bij ziekenhuizen ook wordt toegepast, dus waarom niet voor een bedrijf wat ook 'afhankelijk' is van stroom.

[AlexanderOnline]

Ik heb wel eens een gerucht gehoord dat er tussen het overschakelen van de UPSen naar generatoren wat tijd zat, en dus de stroom even wegviel. Gelukkig heb ik dit zelf nog niet kunnen ondervinden, maar met zoveel UPS-en, een N+1 opstelling van aggregaten zou je zeggen dat de stroom niet zo snel plat gaat.

[dasiro]

een UPS staat tussen het stopcontact en de apparatuur en wordt constant op 100% gehouden terwijl de apparatuur die er aan hangt haar stroom krijgt van de UPS. Als de stroom dan uitvalt, wordt de batterij niet meer herladen en loopt ze na verloop van tijd plat.

[Verwijderd]

Je kan een noodstroomvoorziening in twee smaken krijgen.
Het online en het offline type. dasiro beschrijft het online type. Altijd wordt de belasting gevoed door de batterijen.
Bij het offfline type heb je wel een schakelmoment van een aantal milliseconden. De batterijen moeten bijgeschakeld worden. Geen gerucht maar echt waar.

[lasermen]

Die gasten zullen niet hun spul in Nederland gehost hebben staan
Want een gemiddeld datacenter hier wordt wel met zooitje nood op nood oplossingen verzorgd waar een gemiddele nuon monteur een langerik van krijgt.

[keur0000]

Wordt het tijd om eens een echte professional in de arm te nemen die dit soort zaken, met 100% garantie kan voorkomen.

MathijsK: 1 sluiting in een servervoeding, mits redundant uitgevoerd, zorgt er bij een juiste opzet voor dat hele rack on-line blijft. jouw uitspraak slaat kant nog wal.................... . Laat deze materie over aan de echte vaklui en doe er geen loze uitspraken over zonder te weten waar je het over hebt

[source]

[off-topic]
20.00 uur Pacific Time = 04:00 hier bij ons (8 uur vooruit)
[/off-topic]