Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Storing bij Google Cloud trof diensten als Spotify, Snapchat en Discord - update

Een storing bij Google Cloud treft dinsdagavond verschillende diensten. Onder andere gebruikers van Discord, Snapchat en Spotify hebben problemen. Ook games als Rocket League, Pokémon Go en Ingress zijn getroffen. Google zegt de storing snel te verhelpen.

De storing begon om 21:16 uur Nederlandse tijd bij de Google Cloud-dienst. Het betreft een probleem met load balancers die een 502-error geven. Om 21:53 uur plaatste Google een update waarin staat dat de problemen grotendeels opgelost zouden moeten zijn. Het bedrijf zegt in de 'nabije toekomst' een volledige oplossing te hebben. Over de oorzaak van de storing is nog niets bekend.

Verschillende diensten die gebruikmaken van Google Cloud zijn getroffen en daardoor dinsdagavond tijdelijk niet of moeilijk bereikbaar. Op Twitter melden gebruikers van onder andere Spotify, Snapchat, Discord en Social Blade dat de diensten niet werken. Ook verschillende games zijn getroffen door de storing. Spelers van Pokémon Go en Ingress hebben problemen met inloggen en ook de servers van Rocket League hebben last van de storing.

Update 22:24: Google meldt dat de storing voor alle gebruikers van de Google Cloud-dienst is verholpen om 22:05 Nederlandse tijd. Daarmee heeft de storing ongeveer vijftig minuten geduurd. Google gaat een intern onderzoek uitvoeren en zegt verbeteringen door te voeren om herhaling te voorkomen. Als het onderzoek is afgerond publiceert de aanbieder een meer gedetailleerde analyse van het incident.

Door Julian Huijbregts

Nieuwsredacteur

17-07-2018 • 22:08

54 Linkedin Google+

Submitter: xfluffydestroy

Reacties (54)

Wijzig sortering
Je zou bij een grote bedrijf zoals Google wel bedenken dat ze vrijwel geen problemen hebben omdat ze verschillende datacenters hebben, als switches kapot gaan kan je toch eventueel alles fallbacken in een andere datacenter of ben ik nou zo dom? Nu hebben deze bedrijven zoals Discord, Spotifiy, Snapchat er enorme last van en er is geen fallback of een backup server die gestart word als andere servers onbereikbaar zijn. dat is dus heel slecht geregelt...

Als je kijkt bijvoorbeeld naar OVH ofzo, als je daar geddost word of er is een storing dan word je menteen overgezet naar een andere "node" waar de storing zich niet bevind en dat van een bedrijf die 100x zo klein is als Google.

Ik heb zelf last met het verbinden met Discord (de app wilt de chats niet laden of inloggen)

[Reactie gewijzigd door mcpoesen op 17 juli 2018 22:19]

Je bent, om je eigen woorden te gebruiken, inderdaad zo dom ;-)

Je kunt alles redundant uitvoeren, loadbalancen, virtualiseren, high availability doen, etc, etc wat je wil maar uiteindelijk is het een setup die nooit 100% perfect is. Er zijn altijd situaties te bedenken die jouw redundante setup niet naar behoren kan opvangen. Dat kunnen uitzonderlijke situaties zijn, maar ook uitzonderlijke situaties komen voor.

De meest voorkomende oorzaak is overigens gewoon menselijk falen. Een verkeerde config, een niet goed uitgedachte setup, etc.

Het is ook belangrijk om je te realiseren dat dergelijke redundante setups snel complex worden. Er zijn vele lagen van netwerk betrokken bij het redundant opzetten van zo'n omgeving. Dat moet allemaal met elkaar werken. Dat moet ook onderhouden worden, en bij complexe omgevingen is de kans op een menselijk foutje wat groter.

mbt. je OVH referentie... Je geeft al aan dat je wordt overgezet zodra er een incident plaatsvind. feitelijk is dat natuurlijk al te laat. Het kwaad is dan al geschied, alleen beperken ze de duur door je te migreren. Overigens moet je het formaat van OVH niet onderschatten. Uiteraard zijn ze relatief klein in verhouding tot Google, maar het is wereldwijd gezien qua hosting een enorm grote speler. Maar ook OVH is absoluut niet vrij van storingen.
Erger nog was dat discord status aangaf dat ALLE servers plat lagen.
Niks fallback of regionaal. Complete platform van google cloud
Geen idee wat de scope van de storing is maar zaken als fallback, georedundancy en zelfs backups zijn keuzes binnen de public cloud (niet alleen Google). Dus zonder aanvullende informatie weet je niets
Zegt helaas niet zoveel. Kan ook zijn dat het monitoring systeem van Discord in de war was.
Het voelde volgens mij veel dramatischer dan het was. Zoals in het artikel was vermeld binnen een uur weer opgelost. Wat toch een super response tijd is.
Ware het niet dat Google een uptime van 99,99% garandeert in hun SLA. Wat neerkomt op 4minuten32seconden downtime per maand.

[Reactie gewijzigd door efari op 18 juli 2018 13:44]

:)
Tja als de oorzaak rondom deze storing bekend gemaakt wordt weten we of het ook terecht is als bedrijven zoals discord en Snapchat geld eisen.
Tsja, dit is een vrij laffe SLA. Max. 50% van een maand terug van de betaalde fees, waar je bovendien ook nog zelf om moet bedelen ("Customer must request financial credit") en je zelf bewijs moet overhandigen waaruit blijkt dat je last had van de outage.
Ze garanderen niets, ze limiteren alleen wanneer je een paar knaken terug kunt krijgen.
OVH heeft niet eens een failover op de VPS nodes. Dus als die server plat word geddost dan heb je er ook niet veel aan. Je VPS word niet eens overgezet naar een andere node.


Ik heb wel eens last gehad van een node storing bij azure maar mijn OS disk stond op een CEPH storage cluster (volgens mij) en werd binnen enkele minuten overgezet naar een andere node.

Wellicht is het juist goed voor Google om een keertje downtime te hebben zodat ze daarop in de toekomst op kunnen anticiperen. Voor de rest vind ik dat niemand mag klagen aangezien dit vrijwel nooit bij google overkomt (afaik)
Het ligt er maar net aan wat voor VPS je hebt bij OVH, zij bieden ook CEPH storage aan.

Veel mensen vertrouwen teveel op de dienst die ze afnemen, Google Cloud, Azure, Jantje Hosting heeft backup en failover dus hoef ik me geen zorgen over te maken. Als je een bedrijfs-kritische infrastructuur hebt moet je zelf ook even achter je oren krabben en kijken of een loadbalancer, redundantie en failover niet belangrijk is om in te zetten. Maak er een mix van bijvoorbeeld om site1 en site2 gescheiden per provider te hosten.
De gemiddelde mens kiest voor de SSD variant. Dus de local storage.

De aanvullende disks zijn inderdaad CEPH
Misschien is het *juist* een probleem voor een gigant als Google. Een klein foutje kan door je netwerk propageren terwijl servers synchroon proberen te blijven. En trek dan alles maar eens op de juiste manier recht, zonder nieuwe fouten te introduceren en zonder dat het oorspronkelijke probleem zich verder verspreid.
Het is ook niet iets als even "de" server herstarten... dat kunnen er wel vele honderden zijn.
Jouw voorbeeld is precies de praktijksituatie, death-by-synchronization. Een back-up draaien van een gefaald systeem verspreid het probleem als een virus.
Niet alle problemen zijn zo zwart op wit in een wereldwijd complex cloud systeem. Alle grote cloud bedrijven hebben jaarlijks wel een probleempje. Het zou naive zijn om te denken dat Google hier een uitzondering op is
Het betreft een 502 error wat betekent een communicatie storing is tussen 2 of meer servers wat er op duid dat hoogst waarschijnlijk het fallback procedure gefaald heeft. Daarom gaat google of nog even een onderzoek uitvoeren aangezien een cloud eigenlijk nooit hier last van hoort te krijgen.
Wat betreft het overzetten naar een andere "node" valt er nogal weinig te vergelijken aangezien alle cloud servers zo werken dus ook die van google.
Alle hosters/datacenters hebben wel eens te maken met downtime, OVH heeft het ook onlangs nog gehad waarbij de "routing-room" compleet dood ging, zeg maar dag loadbalancers, failover etc.
Alles gaat een keer plat. De vraag is niet "of", maar de vraag is "wanneer".

Google heeft een hele goede reputatie als het op uptime aan komt, plat zijn ze bijna nooit. Maar ook daar gaat het fout. Hoe veel backups en redundantie je ook in bouwt, je gaat een keer offline.

En kom op zeg, 50 minuten, dat is een hele korte periode. Snel gereageerd door Google!
Loopt iCloud tegenwoordig ook niet op Google Cloud? (de ironie)
edit: ja dus :)

[Reactie gewijzigd door Menesis op 17 juli 2018 23:51]

Ze lopen op meerdere public clouds.
Waarom ironie?
Apple kiest er blijkbaar voor om bij de core te blijven en hosting uit te besteden.. net als andere bedrijven..
Je eigen cloud opzetten is een complexe en kostbare zaak, dat is niet iets je je even snel doet.. AWS, Azure, Google hebben daar een enorme voorsprong op Apple..
Uiteraard, maar Apple kiest er ook voor om minder afhankelijk te zijn van hun grootste telefoonconcurrent Samsung qua onderdelen voor de iPhone. Ik vindt het dan wel ietwat bijzonder dat ze kiezen voor Google als hun cloudleverancier, terwijl Google de grootste OS-concurrent is voor ze.

Azure of AWS klinkt mij dan logischer.
daar heb je ook een goed punt..
Maar wat ik er van begrijp verspreiden ze hun services over meerdere providers om zo het risico te spreiden..
Maar hosten bij de concurent is wel wat raar ja..
Had een klein uurtje geleden heel even dat Spotify ophield met afspelen, maar liep na een minuut of 5 weer verder. Wat overigens wel apart is, aangezien ik dat album via Spotify heb gedownload ...

[Reactie gewijzigd door Titan_Fox op 17 juli 2018 22:18]

Tja, de DRM probeert regelmatig even te controleren. Wel internet, maar geen Spotify kan af en toe problemen geven.
Dat is wel apart, want geen internet en dus ook geen verbinding met Spotify werkt probleemloos voor langere tijd.
Maar je was zelf niet helemaal offline ;)
Zonder internet wordt de drm vanaf je toestel zelf gecontroleerd. Met internet wordt in ieder geval gekeken of je een geldig abonnement hebt en eens in de zoveel keer wordt ook de drm ook met de Spotify-server gecontroleerd. Spotify permanent zonder internetverbinding gebruiken gaat niet lukken. Na 2 tot 4 weken is het uit met de pret.
Niantic en haar spel Pokémon go had hier ook last van net zoals veel andere bedrijven die de servers gebruiken. Toch wel grappig om te zien dat een naar mijn idee groot stuk van het internet dan weg valt en haar diensten en hoe afhankelijk wij momenteel zijn van Google.
Afhankelijk valt best mee
Ookal is day niet Alleen met Google cloud platform zo. Als Ik hey mij goed heriner was er een tijd terug ook een storing bij aws en toen werkten ook meerdere websites niet.
Een groot stuk? Hoeveel procent van het internet lag er dan plat?
Tja, het is maar wat je 'groot deel' noemt, als ik zie wat er uit lag, noem ik dat marginaal, gebruik zelf geen van die diensten.
Lekker naďef gedacht. De centen die Google betaalt om z'n advertenties te laten zien komen dan wel weer van een andere partij, dus die ads blijf je gewoon zien. Of dacht je dat websites/bedrijven op zo'n moment denken "ach, dit is een mooi moment om geen inkomsten meer te hebben uit advertenties, we halen ze van de site..."?
Nee maar mijn reactie ging vooral over de afhankelijkheid mbt Google, niet enkel over de advertenties ;)
Zal Steam hier ook onder vallen, Steam valt wereldwijd voor sommige gebruikers niet te starten.
Zelf heb ik dit probleem ook.

Zover ik kan zien op Twitter: https://twitter.com/searc...=default&q=Steam&src=typd

Update 22:12: Steam werkt weer.

[Reactie gewijzigd door MartijnMeijer op 17 juli 2018 22:13]

Die eerste klopt niet. Ik kon niet meer inloggen maar er stond dat het gewoon online was in West eu.
Hier is Discord en het meeste alweer terug in ieder geval:

- https://status.discordapp.com/
- https://status.cloud.google.com/
- http://allestoringen.nl/

[Reactie gewijzigd door AnonymousWP op 17 juli 2018 22:12]

Werd in Discord uit de voice chat gemieterd. Na kwartier afwisselen connect / dc werkt het nu weer.
Youtube en GMail laden bij mij ook al ongeveer een week slecht. Wellicht dat de servers moeite hebben met het weer?
Dat is wat anders waarschijnlijk en daarvoor moet je hier zijn: https://www.google.com/appsstatus#hl=nl&v=status
Dat is echter iets aan jouw kant en niet bij google.
En ik maar denken dat Snapchat het alleen op mijn telefoon niet deed.

[Reactie gewijzigd door Crasheeee op 18 juli 2018 07:08]

De hele avond.. lol de storing heeft 50 minuten geduurd.
Snapchat was zijn avond ;(
"Op Twitter klagen gebruikers" is stemmingmakerij van Tweakers. Gebruikers hoeven niet te klagen wanneer zij melden dat iets niet naar behoren werkt. Het is in sommige gevallen een melding, in andere gevallen inderdaad een uiting van ongenoegen. Om alle gebruikers die op Twitter melden dat een dienst niet werkt als klagers te bestempelen, is een micro-vorm van identiteitspolitiek.
Onbedoeld. Klagen is inderdaad niet aan de orde, ik heb er melden van gemaakt :)

Op dit item kan niet meer gereageerd worden.


Call of Duty: Black Ops 4 HTC U12+ dual sim LG W7 Google Pixel 3 XL OnePlus 6 Battlefield V Samsung Galaxy S9 Dual Sim Google Pixel 3

Tweakers vormt samen met Tweakers Elect, Hardware.Info, Autotrack, Nationale Vacaturebank en Intermediair de Persgroep Online Services B.V.
Alle rechten voorbehouden © 1998 - 2018 Hosting door True