Amazon: downtime niet door ddos maar door falende hardware

Amazon had in Europa zondagnacht te maken met een downtime van meer dan een half uur. De uitval was echter niet het gevolg van een ddos-aanval, zoals aanvankelijk werd gedacht. Het probleem lag bij een hardwarefout.

De Britse, Italiaanse, Duitse en Spaanse Amazon-sites waren in de nacht van zaterdag op zondag tijdelijk onbereikbaar, waarna diverse media speculeerden dat het onlinewarenhuis te maken had met een ddos-aanval van de groepering Anonymous. WikiLeaks verhuisde onlangs zijn site naar de servers van Amazon, maar werd daarvan weer verbannen omdat de klokkenluiderssite de algemene voorwaarden zou hebben geschonden. Anonymous heeft verklaard alle sites aan te vallen die WikiLeaks dwarsliggen en Amazon werd herhaaldelijk als mogelijk doelwit genoemd, hoewel er ook uitlatingen zijn geweest dat Amazon te groot zou zijn om aan te vallen.

Amazon heeft echter in een verklaring laten weten dat de downtime niets te maken had met een ddos-aanval. "De korte uitval van onze Europese sites was het gevolg van een hardwareprobleem in ons Europese datacentrum", aldus de woordvoerder van het bedrijf, Mary Osako. De downtime duurde ongeveer een half uur en de Amerikaanse site van Amazon had er geen last van. Het komt niet vaak voor dat Amazon, dat tevens een grote clouddienstaanbieder is, te kampen heeft met downtime.

Reacties (38)

[Singular1ty]

Tja, ongelukkige samenloop van omstandigheden als het klopt. Amazon zet zichzelf zo wel neer als een moeilijk doelwit om aan te vallen, misschien onderdeel van een ontmoedigingscampagne?

[PolarBear]

Amazon is gewoon een heel moeilijk doelwit om aan te vallen omdat ze over verschillende grote datacenters beschikken. Zij zijn niet voor niets een van de eerste partijen die cloudcomputing aanboden (overcapaciteit verkopen).

Daarnaast zal de website van Amazon net een tikje beter beheerd worden dan de website van Mastercard. Het is immers een van de belangrijkste productiemiddelen voor Amazon.

[Mellow Jack]

Heb je helemaal gelijk in maar blijkbaar wordt hij niet super duper goed beheerd omdat je zou verwachten dat ze alles redundant hadden uitgevoerd

[.oisyn]

En jij wil beweren dat als je alles redundant uitvoert dat het theoretisch onmogelijk is dat de boel er soms alsnog uit ligt? Het feit dat de kans op een bepaalde gebeurtenis klein is betekent niet dat die gebeurtenis nooit op kan treden.

[Mellow Jack]

Als je alles goed redundant uitvoert is het idd theoretisch onmogelijk dat je er compleet uitligt... een vertraging voorkomen kan dan weer niet (ze hebben meerdere datacenters die eigenlijk het werk van elkaar moeten overnemen bij uitval)

Dat zoiets natuurlijk binnen de perken wordt gehouden ivm een kosten baten analyse is compleet logisch (je kan miljoenen spenderen aan iets wat bijv maar 1x per jaar voorkomt maar dat is niet rendabel)

Het was ook meer een sarcastische opmerking omdat ik natuurlijk (zoals hopelijk iedereen op tweakers) weet dat iets theoretisch niet hetzelfde is als in de praktijk

[dfijma]

Ik ben het niet met je eens. Het is _niet_ alleen een kwestie van kosten/baten-analyse. Ook in theorie is 100% uptime onmogelijk. No matter wat voor maatregelen en redundancy jij bedenkt, er is altijd een scenario denkbaar dat dat _ook_ stuk gaat. De kans wordt steeds kleiner, het wordt steeds duurder, allemaal waar, maar het blijft theoretisch mogelijk.

[Verwijderd]

Er is 1 gouden regel, die geldt voor alles en nog wat of het nu menselijk, flora of fauna is op de hele wereld, als er iets fout kan gaan dan zal het een keertje fout gaan. Dat is de gouden regel die zelfs het heelal treft. Dus bij 99,999999999 % is het nog steeds dat verrekt kleine stukje van 0,000.000.001 % dat een keertje fout gaat. Men zegt wel is, het is een kans van 1 op de 100.000 jaar dat er zo'n storm komt, dat jaar daarop blijk je er dus twee voor je kiezen te krijgen.

[.oisyn]

Als je alles goed redundant uitvoert is het idd theoretisch onmogelijk dat je er compleet uitligt...

*BEEP* wrong. Theoretisch is het mogelijk dat je reduntante hardware op hetzelfde moment óók problemen vertoont. Dat de kans erg klein is en dat het in de praktijk doorgaans niet voorkomt betekent niet meteen dat het niet kán en dus nooit zal gebeuren.

[Reactie gewijzigd door .oisyn op 23 juli 2024 08:09]

[CyBeR]

Als je alles goed redundant uitvoert is het idd theoretisch onmogelijk dat je er compleet uitligt...

Onzin. Als je alles dubbel uitvoert en een bepaalde gebeurtenis zorgt ervoor dat onderdeel A eruit knalt, dan kan diezelfde gebeurtenis er ook voor zorgen dat na failover onderdeel B er net zo hard uitknalt. Ligt er maar net aan wat die gebeurtenis precies was.

[pasz]

Huh? Het maakt toch geen bal uit als je een Ddos voor je kiezen krijgt om iets redundant is ?

[Blokker_1999]

Soms komt Murphy eens om de hoek kijken.

[PolarBear]

Een half uur in een zondagnacht, kan mij zo voorstellen dat men geeneens moeite heeft gedaan om de downtime verder te beperken en bij wijze van spreken gewoon de loadbalancer heeft gereboot.

[i-chat]

zou ik wel doen, zeker amazon is een site die niet snel plat zal gaan en heeft een bepaalde reputatie, het zou best kunnen dat dit gelogen is (om verdere aanvallen te ontmoedigen, en dat zou niet eens een hele domme zet zijn, amazon komt er gewoon mee weg, zolang wikileaks geen lek kan vinden tenminste).

maar ik geloof eerder dat dit inderdaad eerder een gevalletje brakke hardware is. ik vrees dat je een flink aantal botnets nodig hebt om die gasten op de knieën te krijgen.

[JordyOnrust]

Waarom lees ik toch steeds dat er wordt gesuggereerd dat wikileaks wat met deze aanvallen te maken heeft? Dit is natuurlijk niet het geval.

[jip_86]

Als je zelf cloudaanbieder bent schakel je natuurlijk gewoon wat extra wolken bij als je het zwaar hebt. Amazon ga je niet snel down krijgen dus.

[Luukje01]

Je hebt altijd meer capaciteit op je hardware dan nodig is. Nu blijkt dat je hardware faalt, en toch downtime. Dan moet je site heel zwaar belast zijn of erg veel hardware falen. Ik denk dat het een samenwerking van 2 is

[Reactie gewijzigd door Luukje01 op 23 juli 2024 08:09]

[humbug]

Klinkt meer alsof Amazon niet alles redundant had uitgevoerd. Beetje jammer voor een bedrijf dat een grote website runt en clouddiensten verkoopt.

[reefclaw]

Kan zijn dat ze dat wel hebben gedaan, maar er kan een master switch uitliggen, of meerdere stukken hardware kunnen falen, of er kan tegelijk onderhoud gepleegd zijn aan iets, of er kan een kabel kapot zijn gegaan,
Het kan zelfs zo zijn dat harware (icm software) op hol geslagen was en zo het hele netwerk aan het verzieken was (ok, heel kleine kans hierop).

Veel verschillende situaties zijn er dus mogelijk dat zo iets uitvalt en het wel redundant uitgevoert is.

[Verwijderd]

Hoezo 'masterswitch', dat klinkt als een sjieke naam voor 'single-point-of-failure'.
Dat kan Amazon natuurlijk niet overkomen! Alles is redundant uit te voeren, dns, verbindingen, routers, switches, servers, netwerkkaarten, UPS, generators, airco, alles kan n+1. Zelfs je geografische locatie kan je iets aan doen. Als er dan iets mis gaat is het echt human error.

[reefclaw]

Een dhcpserver ook redundant uit te voeren?
Ok, een masterswitch zullen ze waarschijnlijk niet hebben. Maar is in veel gevallen wel een critiek punt.

[Verwijderd]

ja hoor kan prima! http://publib.boulder.ibm...oc/am7ad_dhcpfaillnx.html

[Verwijderd]

Maar is in veel gevallen wel een critiek punt.

Dat zeg ik toch human error.. Enne ik kan me niet voorstellen dat je je netwerk afhankelijk maakt van DHCP.

[Verwijderd]

man, je wilt niet weten wat je af en toe tegenkomt :D:D:D

[.oisyn]

Oh please

Het komt niet vaak voor dat Amazon, dat tevens een grote clouddienstaanbieder is, te kampen heeft met downtime.

Soms gaat er weleens iets goed fout. Dat betekent niet meteen dat je setup niet goed is. Daarnaast, ze waren slechts een half uur down. Imho doet dit in z'n geheel niets af van Amazon's trackrecord.

[Reactie gewijzigd door .oisyn op 23 juli 2024 08:09]

[jip_86]

Precies, dat zie je bijvoorbeeld bij google ook wel eens gebeuren. Kan zomaar dat je door een specifiek dingetje je hele overige omgeving meetrekt. Dat gebeurt dan niet vaak, maar als het gebeurt dan ga je wel echt down.

[hackerhater]

Inderdaad. Je hoeft maar een stroomstoring te hebben en je noodgenerator doet het niet. Dan heb je toch een serieus probleem

[hilgo]

Ik denk eerder wel redundant maar de failover faalde, heb ik zelf ook al vaak genoeg zien gebeuren bij een datacentrum waar wij destijds onze servers hadden staan.

[watercoolertje]

Een ongeluk is inderdaad een samenloop van de verkeerde omstandigheden, dat heb je goed geconcludeerd...

ontopic: toch wel grappig dat de geruchten meteen richting de klokkenluiders gaan, dat zegt wel wat over de naam die ze opgebouwd hebben in z'n korte tijd. Naja grappig, die stempel wil je eigenlijk niet!

[Reactie gewijzigd door watercoolertje op 23 juli 2024 08:09]

[YopY]

ontopic: toch wel grappig dat de geruchten meteen richting de klokkenluiders gaan

Ter info, Anonymous (de groepering achter de aanvallen) heeft geen verbanden met of goedkeuring van Wikileaks, en aldus is Wikileaks daar ook niet verantwoordelijk voor.

[tes_shavon]

Elke datacenter wil je best beloven dat ze 100% uptime garanderen. Als je maar betaalt... maar op een gegeven moment zul je de beslissing moeten nemen dat de kosten niet meer opwegen tegen de baten en kun je besluiten genoegen te nemen met 99,999% uptime en weegt die 0,001% extra niet meer op tegen de kosten die dat met zich meebrengt.

[perlboy]

Ik zou ook zeggen dat het een hardware storing was. Dat is nog te managen (op papier dan). Toegeven dat je infrastructuur als cloudcomputing toko door de knieen gegaan is niet zo handig....

[CyBeR]

Je hebt altijd meer capaciteit op je hardware dan nodig is. Nu blijkt dat je hardware faalt, en toch downtime. Dan moet je site heel zwaar belast zijn of erg veel hardware falen. Ik denk dat het een samenwerking van 2 is

Ligt er net aan welk stukje hardware faalt en hoe. Zelfs in de meest fool-proof failover scenario's zijn er nog zat mogelijkheden, meestal specifieke combinatie's van factoren, die je site plat kunnen leggen.

[Verwijderd]

Toch begrijp ik niet waarom iedereen zo bang is voor dat stelletje kleuters van Anonymous
En amazon al helemaal het is volgens mij een van de grootste data gebruikers op het net
Waar door er een fors server park aanwezig moet zijn om dit constant in de lucht te houden .
en dus ook makelijk een forse ddos attack overleven(gok ik).

Gelukkig draait amazon weer vol op binnen een half uur.
Ik zou graag willen weten wat de falende hardware was is.

[Reactie gewijzigd door Verwijderd op 23 juli 2024 08:09]

[hackerhater]

Gezien het het hele datacentrum was ga maar uit van of falende (nood-)stroomvoorziening of de glasvezellijnen

Als je mainpower uitvalt en je backup generator gaat niet draaien heb je maar +/- 30 minuten voor je UPS'en zonder stroom zitten. Niet bepaald veel tijd om die generator aan het werk te schoppen.

[Reactie gewijzigd door hackerhater op 23 juli 2024 08:09]

[DCK]

Anonymous zou Amazon nooit neer kunnen halen. Het heeft qua servercapaciteit waarschijnlijk de meeste reserve van alle bedrijven ter wereld (behalve Google misschien?). Dat is echt wel andere koek dan een simpel websiteje van het OM of (de website van) Mastercard.

[churchill9]

Wat ik me afvraag is hoeveel geld ze kwijt zijn als er een groot schalige dds aanval op ze word afgevuurd, ookal gaan ze niet down??

[testaankoop]

Volgens Wikipedia heeft de Amazon.com website alleen al, 25 unieke bezoekers per seconde, dit zijn echter alleen de bezoekers vanuit de VS.
Dan heb je nog de Britse, Duitse, Franse en Indiase website die ook behoorlijke aantallen trekken.

Het aantal pageviews, wat ongetwijfeld erg hoog zal liggen, is onbekend.
En dan worden er via de datacentra behoorlijk wat boeken gedownload, reacties op de website geplaatst, content continu ververst door handelaren en uitgevers, muziek gedownload, video gestreamed en updates verzorgd voor allerlei apparatuur.

Daarnaast heb je talloze en dan bedoel ik ook echt letterlijk talloze websites die zij hosten in gigantische datacentra, welke allemaal wel een keer onder vuur hebben gelegen.

Ik denk dat een erg heftige Ddos vast wel als een klein piekje in de grafieken zal verschijnen, maar echt heel spannend is het voor dit bedrijf denk ik niet. Daarnaast hebben bedrijven zoals deze, zich tot de tanden bewapend tegen dit soort ongein.

[Reactie gewijzigd door testaankoop op 23 juli 2024 08:09]

[kimborntobewild]

Als het hardwareprobleem niet bij naam wordt genoemd, blijft dit een loos bericht. Want als 't toch door een DDOS-aanval zou komen, kan 't evengoed zijn dat men dit bericht in de wereld heeft geslingerd om een DDOS-aanval te verhullen.