Provider Tweak heeft storing vanwege dubbele stroomuitval - update 3

De Nederlandse internetprovider Tweak heeft een storing waardoor internet bij klanten 'niet goed werkt'. Volgens de provider komt het door dubbele stroomuitval bij een rack dat in het datacentrum Nikhef Housing staat.

Volgens de statuspagina van Tweak is er een grote storing in het Core-netwerk. Op allestoringen.nl is er een grote piek van meldingen te zien die rond 14:20 begon. Tweak zegt een stroomuitval in het datacentrum Nikhef Housing te ervaren. Zowel de primaire stroomvoorziening als de back-up is onderbroken.

De provider is in contact met het datacentrum en er is een monteur onderweg. Hoewel verbindingen weer deels online zijn, is de storing nog niet verholpen. "Zowel de A- als de B-feed van de stroomtoevoer is weggevallen in ons rack. 1 feed is zojuist terug online gekomen, maar de monteur is nog niet aanwezig", schrijft de provider om 14:35 uur.

Update, 15:00: Tweak schrijft dat de verbindingen zijn hersteld en dat er een monteur aanwezig is. Omdat de oorzaak nog niet is achterhaald, is het incident nog niet als opgelost afgemeld.

Update 2, 15:16: De storing is toch nog niet verholpen. "Er is een en ander gesneuveld aan voedingen; een collega is onderweg met reservevoedingen", schrijft Tweak. Nikhef helpt de provider met het onderzoek.

Update 3, 15.10: Later op vrijdag is de storing dan toch verholpen, meldt Tweak.

Reacties (196)

[wildhagen]

Tweak zegt een stroomuitval in het datacentrum Nikhef te ervaren. Zowel de primaire stroomvoorziening als de back-up zijn onderbroken.

Maar alles zit dus in één datacentrum? Zou het voor de redundancy niet handiger zijn om alles minimaal in twee datacenters onder te brengen, zodat je niet meteen helemaal platligt als er één DC plat ligt?

Dat is toch ook een best practice, veel bedrijven hebben niet voor niets 2 gescheiden datacenters, vaak ook nog met een aardige onderlinge afstand. Maakt je minder kwetsbaar bij een calamiteit.

[Randal Peelen]

We hebben apparatuur hangen op meer dan 350 plekken in Nederland. Helaas kent bijna elk netwerk wel knooppunten waar impact te merken is als net daar iets stuk gaat. Daarom is dit knooppunt ook dubbel ontsloten op elke denkbare manier. Het is bijzonder zeldzaam dat beide vormen van toevoer tegelijk een storing hebben. Erg vervelend en bijzonder veel pech dus.

[Vorkie]

Heb je binnen Nikhef 1 Rack of meerdere? Ik zou meerdere verwachten om zo middels BGP en andere technieken rackfailure te kunnen voorkomen.

site down, dus heel DC, is niet te voorkomen, maar rackdown is ook gewoon een reeële business case

[COW_Koetje]

Ik kan me niet vinden in je conclusie. Als de SLA van het datacenter zegt dat dit nooit zal gebeuren mag je hierop vertrouwen. Als het dan alsnog gebeurt moet je als afnemer het Datacenter hierop aanspreken en eventueel vergouding vragen voor de kosten.

Ik ben het eens dat twin datacenter met bij voorkeur geografische afstand en bij voorkeur ook nog andere stroom leveranciers of stroomring zeker belangrijk zijn. Echter zijn er voldoende momenten waarop dit ook niet zal helpen. Zeker niet als er maar een gedeelte van je racks uitvalt waardoor je monitoring ook niet meer weet wat hij moet doen.

[Vorkie]

Een SLA is ook gewoon maar een papiertje om iemand anders de schuld te geven hé, daar hebben je klanten geen boodschap aan. (of je engineers) SLA is zeker niet heilig.

Dus los van geo-redundantie, vindt ik dat je ook moet nadenken over site-redundancy, wil je alles in "1 rack" duwen, of verspreid over de locatie. Zoals altijd, de ketting is zo sterk als de zwakste schakel

Dit alles onder het genot van een goeie business case, gezien de prijsjes, maar 2x50% is 100, 1 failure is 50% over etc...

In gesprek blijven zorgt er in ieder geval voor dat je elkaar scherp houdt.

[COW_Koetje]

Het is het enige papiertje waarin je zet wat de klant kan verwachten en waar je engineers/architecten naar moeten designen/handelen.
Het is geen contract om iemand de schuld te geven maar een afspraak over de kwaliteit van diensten die je levert. Als jij die niet kan leveren kan er een tegenprestatie tegenover staan.
In dit geval zijn beide feeds uitgegaan, ik weet bijna zeker dat Nikhef daarover iets in zijn SLA heeft staan. (namelijk dat dit niet gebeurt)
Uiteindelijk is het allemaal afspraken die je met elkaar maakt waar je op moet vertrouwen, de rest is techniek en oplossingen.
Echter de engineers/architecten hebben vaak de illusie dat zij beter weten dan de mensen in de board wat de redundantie moet zijn, bouwen dan een veel te dure installatie die niet in verhouding staat tot wat ze de klant willen aanbieden. En vinden het dan raar dat ze niet serieus worden genomen bij de volgende budget ronde.

[tweazer]

Een SLA is een weerspiegeling van de dienstverlening versus de te betalen rekening. Bij sommige SLA's heb je boeteclausules als normen niet gehaald worden. Helaas betaal je stiekum extra voor die boeteclausules, de (mogelijke) kosten moeten ergens door gedekt worden.
Ooit heb ik mij laten vertellen dat tussen de 99.6 en 99.9% uptimes steeds een factor 2 aan kosten zit, boven de 99.9 voor elke extra decimaal het wel een factor 10 kan worden.
In rekencentra heb ik voetballende nachtwakers die noodknoppen raken meegemaakt, brandalarmen die poeder/stikstof/xenon blusmethodes spontaan loslaten, lekkages, aardbevingen (vooral buiten NL ), overstromingen (van buiten af van 10 tot 50cm water en binnenuit na te snelle afkoelingen), ratten, schimmels, dieven, van alles meegemaakt. Het internet is niet zo steriel en altijd beschikbaar als je denkt. Veelvuldig kosten- onderhoud en designissues.
In NL mogen we ons op de schouders kloppen vwb de beschikbaarheid...

[Tozz]

Er was ik NIKHEF geen algemene stroomstoring (wij staan er ook). Dit was dus een incident in dit specifieke rack. En dat komt voor, een voeding die ploft die zekering/automaat doet uitschakelen.

Dat in dit geval de A+B voeding zijn geklapt doet mij vermoeden dat er wellicht teveel apparatuur in dit rack stond, waardoor de overgebleven feed de totale belasting niet kon handelen. Maar dat is speculatie.

Maar zelfs al is dat niet het geval.. Dan kan het gewoon voorkomen dat een apparaat dusdanig kapot is dat het op beide feeds de zekering laat klappen. En dan is je rack offline. Dan kan het helpen om toch te kiezen voor een 2e rack uit redundantie overwegingen.

(Om een idee te geven: Ik had vorig jaar sluiting in de DC-bekabeling op 't dak van mijn PV installatie. Dat heeft zowel de groep van de omvormer als mijn hoofdzekeringen laten klappen. hele huis zat zonder spanning.. Terwijl het hier ging om een DC-fout en de hoofdzekeringen individueel gezekerd zijn per fase (niet 1 automaat voor alle fasen)).

In plaats van 1 full rack kun je bijvoorbeeld overwegen om 2x een half rack te nemen. Mits die dan natuurlijk eigen voedingen hebben.

[Reactie gewijzigd door Tozz op 24 juli 2024 01:38]

[COW_Koetje]

Wij hebben ook spullen hangen in NIKHEF maar ook geen uitval gehad.
Dat er teveel spullen hangen in 1 rack kan inderdaad tot problemen leiden. In de toegifst stond dat de voedingen inderdaad stuk waren gegaan door het incident maar dat kan net zogoed andersom kunnen zijn.

Meerder racks nemen in line geeft ook geen garantie omdat de stroom dan in dezelfde groep zit. Ook als je meerdere racks hebt maar het rack met de multiplexers valt uit het leven kunnen je routers nog vrolijk staan te draaien maar die krijgen het dan wel lekker rustig.
Daarom geloof ik zelf als architect ook altijd in minimaal 2 dc's in active active. Maar goed de klant moet het wel willen betalen ... ;-)

[Odie]

En niemand die er iets van vindt dat kennelijk zowel de A als B feed nóg steeds beiden down kunnen gaan bij Nikhef? Is ook niet voor het eerst hè?

https://www.ispam.nl/arch...inder-ams-ix-dataverkeer/

https://www.ispam.nl/arch...gelt-nederlands-internet/

[Reactie gewijzigd door Odie op 24 juli 2024 01:38]

[prozei]

Dit gebeurd alleen wanneer het totale verbruik groter is dan dat een enkele breaker aan kan.

Servers, switches of routers kiezen random een feed. De helft van de apparatuur haalt het vermogen van feed A en andere helft van feed B.
Op het moment dat 1 breaker uitvalt door bvb een kortsluiting schakelt alles op een enkele feed. Als de apparatuur van tweak dan teveel verbruikt zegt de 2e breaker ook doei, bekijk het maar.

Tweak is waarschijnlijk zelf verantwoordelijk voor om het totale verbruik onder de capaciteit van een enkele breaker te houden.

Enige oplossing voor het probleem is 2 extra feeds of minder apparatuur in het rack hangen.

Ik zou tweak adviseren het totale stroom verbruik van het rack na te kijken. De Nikhef zal waarschijnlijk de apparatuur netjes 1 voor 1 weer hebben aangesloten waardoor het echte probleem niet opgelost is.

Ps. ik werk niet voor de nikhef.

[Reactie gewijzigd door prozei op 24 juli 2024 01:38]

[Odie]

Het is zeker geen wetmatigheid dat spullen een actieve en passieve PSU hebben. Ik heb spul staan en gehad (toegeven, dat was een DC rectifier) waarbij alle vier de PSUs gewoon gelijkmatig belast werden en op een commonrail voeden. Maar dat terzijde.

Verder heb je uiteraard gelijk, als onderdeel van je redundancy- en failover testen zul je ook je stroomverbruik in kaart moeten brengen en *testen* of het verlies van een feed enige impact heeft op je productie. Het zal niet voor het eerst zijn dat een PSU defect blijkt te zijn (al dan niet met een bestaande warning dien niet opgevallen is) of onder load er spontaan uit klapt.

Dus tuurlijk is er waarschijnlijk ruimte voor verbetering bij Tweak (kuch-georedundancy-kuch).

Ik kon ook niet meteen terugvinden of er nou een globale poweroutage was bij Nikhef. Wij staan er ook, tis me niet direct duidelijk of wij ergens last van hadden (ik ben een paar dagen vrij en even disconnected van werk en dat ga ik effe zo houden haha) dus misschien was ik wat voorbarig met m’n vinger richting NH.

[lasermen]

Onze kasten bij Nikhef hebben nergens last van gehad.
Verder wil je een PDU niet verder belasten dan 7,5A (als je 16A PDU's hebt afgenomen).
Zo heb je meer zekerheid dat wanneer een PDU klapt (doordat hij stuk gaat of dat een voeding van een apparaat kapot is gegaan en de PDU heeft meegenomen), dat de rest door blijft werken.

[Torgo]

Er komen weer herinneringen boven. Heb daar rond het jaar 2000 ook een keer een hele nacht rond gehangen omdat onze (en de rest van de site) apparatuur geen stroom meer had. Was een erg lange nacht. 😅

[Odie]

Überhaupt waren de nachten op Nikhef altijd spooky. Aanmelden bij de enige ziel die wakker was naast jou, de nachtwaker op Sara (die altijd tv zat te kijken) en dan over het doodstille terrein naar Nikhef kuieren. Daar je een weg naar binnen werken en dan in dat doodstille atrium staan met die neutrino detector en wat ledjes op een paar demo dingen die ik nooit begreep. Trapje op, nog donkerder. Ik weet niet, ik voelde me altijd moederziel alleen en ik vond het een creepy plek om te zijn midden in de nacht.

Gelukkig kom ik er nog zelden, alles ter plaatse wordt nu door anderen gedaan.

[__fred__]

Ik woon op het science park en er is gewoon ook elke maand een (w.s. loze) brandmelding vanuit Sara / Nikhef. Je zou zeggen dat ze dat ook een keer tackelen, maar kennelijk zijn ze niet zo pro-actief daar.

En dan rijdt de brandweer weer langs met volle bak aan wagens.

[Reactie gewijzigd door __fred__ op 24 juli 2024 01:38]

[lasermen]

Het is geen brandmelding, maar dat de brandweer bij het USC sport en dan opgeroepen wordt voor een brand. Daarom hoor je vaak de brandweer op het science park.

[Tr1pke]

Wij hebben in elk land een privé datacenter voor 100% uptime gegarandeerd voor diplomaten

[badnews.nl]

Volgens mij kan je echt geen 100% garanderen..
misschien tegen 'normale' storingen, maar 100% uptime is gewoon onmogelijk, zeker als je het over 1 datacenter hebt.
Dan heb je het over bomvrije omgevingen, met bomvrije dieseltanks voor de aggregaten en zelfs dan kan er nog iets fout gaan. Zelfs met 4 of meer backup systemen, kunnen ze nog steeds allemaal tegelijk een storing hebben (kans wordt steeds kleiner, maar echt nooit 100%..).

En dat in ELK land?

En dan is de zwakste schakel nog steeds de verbinding naar dat datacenter... en de servers zelf, zelfs met duizenden servers zoals google cloud, gaat het wel eens down. (en vaak door een menselijk fout)

[Reactie gewijzigd door badnews.nl op 24 juli 2024 01:38]

[Odie]

Elke SLA is vaak een papieren tijger. Je belooft iets. Of je het ook haalt is een tweede,

Mijn ervaring: als uptime belangrijk voor je is regel je zélf een fatsoenlijke backup. Erop vertrouwen dat je leverancier het goed doet is mooi qua vertrouwen (en veel partijen doen het ook goed) maar het gezegde is niet voor niets: vertrouwen is goed, controle is beter.

Ergo: vertrouw niet op de backup van power van je housing, regel een tweede housing. Vertrouw niet op herroutering van je transmissie, regel een tweede leverancier. Vertrouwen niet op de HA van je machine maar regel een tweede machine (als het even kan van een andere vendor, met andere software, op een andere locatie). Hoe ver je daarin wil gaan hangt af van hoe belangrijk zaken voor je zijn.

Zo heeft een niet nader te noemen bedrijf dat verantwoordelijk is hoor niet nader te noemen verkeer in de lucht haar productie netwerk drievoudig uitgevoerd, waarvan de twee hoofd netwerken elk op een totaal andere vendor moeten draaien. Kost een paar centen, maar dan heb je ook wat.

[Tozz]

Ligt er maar net aan natuurlijk. Wij kopen ruimte in bij een DC. Dus effectief een SLA op stroom en klimaatbeheersing. Dat heeft er in de +/- 15 jaar dat we daar staan nog nooit uitgelegen. Dus daar wordt tot op heden gewoon 100% uptime geleverd.

Dat er iets fout *kan* gaan betekent niet dat het ook perse gebeurt. Jij lijkt nu de indruk te wekken dat omdat er een kans is dat er een vliegtuig crashed op je datacenter je nooit 100% uptime kunt bieden. Ik zeg dat dat wel kan, omdat de kans zeer aannemelijk is dat gedurende de levensduur van dat datacenter er nooit een vliegtuig op neer zal vallen.

[Frame164]

Gegarandeerd 100% uptime. Jaja.... U bent marketeer?

[tweazer]

"De concurrentie biedt 200% middels een failover situatie en een goedkopere 150% standby datacenter oplossing, die is op oneven dagen beschikbaar.."

[SpamLame]

No doubt tegen aanzienlijke kosten betaalt door een Staat en niet te vergelijken, business case technisch, met een doorsnee Internet Provider.

[Tr1pke]

Idd. State Dept kijkt niet naar een paar miljoen meer of minder. Wat wel leuk is voor mij, geen limitaties in budgetten.

[COW_Koetje]

Als jij durft om 100% garantie te geven (ongeacht budget) denk ik niet dat je realistisch bezig bent. Je kunt nooit 100% krijgen. Er zijn global events waar je niet tegenop kan plannen. Alleen al het risico dat zonnenvlammen meebrengt (buiten een veel meer realistischere zombie apocalypse scenario).
Hope for the best, plan for the worst. Maar dan nog kan nooit 100% garantie geven, dat is een illusie.

[Tr1pke]

De voorbije jaren hadden we 100% uptime.

[esky]

Provider X: "We hebben de afgelopen 5 jaar 100% uptime gehad."
Ook provider X: "Goh klant A is een dag offline hoe kan dat nou dat nou met onze 100% uptime van de afgelopen 5 jaar?"

[tweazer]

"En hoe doet U dat patchen maandelijks/per kwartaal ? Capaciteitsuitbreidingen en life cycle management ?"

Je kunt het wel willen, maar 100% betekent dat je 0 sekonden per jaar beheer/issues/upgrades/outages kunt hebben, geen techneut die daar in trapt... Pollitci en diplomaten kun je wellicht 150% of meer op de mouw spelden ("we hebben een standby en een failover lokatie", "netwerk outages garanderen wij niet evenals schoonmakers en issues op lokatie")

[YangWenli]

Ja en ziekenhuizen hebben een stroom aggregaat. Maar dat soort redundancy kost allemaal wel geld hé het is een kwestie van tegen elkaar opwegen.

[wmkuipers]

En zelfs dat is geen garantie, zie de stroomuitval van het Maastricht UMC van begin vorige maand!

[vinniefireman]

We hebben apparatuur hangen op meer dan 350 plekken in Nederland.

Dit klinkt misschien indrukwekkend, maar heeft natuurlijk niets te maken met redundantie. Al die glas switches in POPs die je nu waarschijnlijk meetelt doen daar niets voor.

Daarom is dit knooppunt ook dubbel ontsloten op elke denkbare manier. Het is bijzonder zeldzaam dat beide vormen van toevoer tegelijk een storing hebben.

Elke denkbare manier? Zou je eens wat meer inzicht kunnen geven welke manieren jullie dan aan gedacht hebben. Ben wel nieuwsgierig

Erg vervelend en bijzonder veel pech dus.

Dat klopt. Maar zeker niet ondenkbaar dat beide power feeds uitvallen. Je bericht komt op mij niet helemaal eerlijk over. Waarschijnlijk hebben jullie een risico analyse gedaan en besloten hoeveel redundantie nodig is. Dat is prima, maar het is waarschijnlijk niet zo dat jullie "al het denkbare" gedaan hebben.

[Frame164]

[...]


Dit klinkt misschien indrukwekkend, maar heeft natuurlijk niets te maken met redundantie. Al die glas switches in POPs die je nu waarschijnlijk meetelt doen daar niets voor.


[...]

Ik denkt dat hij daar mee bedoelt dat er heel veel plekken zijn waar iets fout kan gaan en dat je onmogelijk al die locatie geo-red kunt maken (en ook nog een acceptable prijs richting de klant hebben).

[Dennisb1]

Sorry maar redundantie zorgt er voor dat er geen storingen haast voorkomen. Dit is nu al zoveelste keer sinds ik nog maar net klant ben dat een storing van deze omvang voorkomt.

[CH4OS]

Nee, redundantie zorgt ervoor dat de dienstverlening ondanks een storing toch door kan gaan, doordat zaken overhevelen. Redundantie voorkomt dus expliciet geen storingen, het voorkomt lauter storing in de dienstverlening. Maar als alles uitvalt, dan helpt ook redundantie niet natuurlijk.

[Reactie gewijzigd door CH4OS op 24 juli 2024 01:38]

[COW_Koetje]

Dit hoeft niet perse waar te zijn.
Het hangt allemaal van de SLA af die afgesproken is. Redundantie bouw je om de afspraken in je SLA te halen. En dan nog zijn er uitzonderingen waarin je door onmacht je niet aan de SLA hoef te houden. (daaronder vallen terrorisme, oorlog etc. vaak.)
Als je een 99.9 SLA met Tweak heb (ben niet bekend met hun contracten) wat voor een consumenten lijn best een hoge waarde is, zou je dus 3,6 dag per jaar eruit mogen liggen.
Dus kan je stellen dat hun redundantie voldoende is omdat ze de SLA nog steeds halen.

Het blijft wel bijzonder dat een A en B feed tegelijk verdwijnen. Dit is duidelijk iets met de SLA van het datacenter dat Tweak moet gaan aankaarten. Ik heb vele colo's gedraaid en hoewel het wel eens is voorgekomen blijft het bij de profesionele datacenters zeldzaam en ik zou persoonlijk er ook geen rekening mee houden in design (hoewel ik altijd twin datacenter ontwerp) Maar je zal altijd zien dat er geen path down event wordt geregistreerd terwijl de gateway wegvalt.

[Henkje.doc]

99,9 procent op jaarbasis idd iets meer dan 3 dagen downtime.

Wat je vaak ziet is dat het percentage downtime op maand basis is. Dan is het slechts enkele uren.

[RGAT]

Dat is onzin, je zou eerder kunnen stellen dat storingen vaker gebeuren wanneer er met redundantie gewerkt wordt, het is alleen dat de impact ervan veel kleiner tot niet merkbaar hoort te zijn.
Ondertussen staat er een veel grotere en complexere omgeving waar gewoon veel meer aan mis kan gaan.

Verder zie ik voor Tweak nou niet echt vaak een 'storing van deze omvang'? Er waren een aantal DDoS aanvallen (o.a. 1,2,3) en een storing bij NL-IX, bij die 'storingen' kan Tweak er weinig aan doen...

Oftewel welke 'storing van deze omvang' heb je het dan over?

[kdekker]

Correct. Redundantie voegt namelijk ook complexiteit toe. En meer schakels, alle met een betrouwbaarheid onder de 100%, levert al snel een lagere waarde op dan je zou willen. In de praktijk is hardware doorgaand betrouwbaarder dan de software die extra redundantie op moet leveren

[Goldwing1973]

En ik ben al 12 jaar klant bij Tweak en heb voor zover ik me kan herinneren maar 3 of 4 storingen meegemaakt die langer dan 4 uur duurden.
En dan tel ik niet de 2 storingen mee die door de klunzen van KPN veroorzaakt waren (mijn fiber in de centrale loshalen per abuis)
Mijn schoonouders die bij Ziggo of mijn buren bij T-Mobile zitten hebben vaker storingen gehad.

[Frame164]

Terug naar school en het college over redundantie nog een keer doen.

[tweazer]

Met redundantie probeer je problemen te voorkomen. Hoe raar het ook klinkt kan ook redundantie een stoorfactor zijn (klapperende failover, redundante systemen met eenzelfe hard- of software bug).
Vooraf neem je voorzieningen, meer/zwaarder/decentrale apparatuur.
Achteraf kom je wel eens tot de conlusie dat ....
Pas als je vaker eenzelfde fout niet weet te voorkomen, tja dan moet je toch eens gaan nadenken...

[Uberprutser]

Verspreiden over meerdere racks; als je een voeding hebt op de A feed die klapt, trekt ie soms de B feed mee in hetzelfde rack. Dan moet je je applicaties e.d. ook wel zo inrichten maar goed. Kost wat extra knaken, dat wel...

[Frame164]

En alles moet een automatische failover hebben, continue data replicatie van user data etc etc. Doe je dat niet, dan is er nog steeds klantimpact. En geen klant die hier een stuiver extra voor wil betalen.

[keur0000]

Dit is allemaal te voorkomen, TIER level 2 of hoger en altijd n+1 technologie toepassen. Per rack over 3fasen en minimaal 2 voedingen, liefst 3, verdelen enz enz. Hoe denk je data centers van HP/IBM enz. dit doen 😉

[Frame164]

Die hebben ook wel eens een outage hoor. Het enige wat je doet door heel veel te investeren is dat je de kans op outages verkleint. En dan is het weer de afweging: hoe hoog mogen de mitigatiekosten zijn? Als die hoger zijn dan de risk exposure ben je niet slim bezig.

[Xtuv]

Dat is bepaald niet gratis en zonder impact. Maar met genoeg klanten om dit rendabel te maken misschien geen gek idee. We kennen ons netwerk en haar zwaktes als geen ander, dus we werken zeker aan nog meer stabiliteit.

Aldus Tweak op Twitter.

[Randal Peelen]

Het gaat hier om core-routers die meer kosten dan een handvol hele leuke auto's .

[Rickyyboy]

Wat maakt de core routers zo duur?

[D0phoofd]

Hardware - Veel goud en andere edelmetalen.
Er zitten speciale asics in (duur in ontwikkeling e.d.).
Dat is al een groot deel van de kosten. Er komt meer kijken bij een beetje routeren dan je denkt.
Je thuis routertje doet een beetje natten en paketten doorgeven.

Core routers hebben meedere routing tabellen (VRF), daarmee leren ze vaak dynamisch via verschillende protocollen allerlei routes (IS-IS, BGP etc). Als er ergens in de wereld een interface klappert, krijg je dus een nieuwe route die je leert, en ook moet updaten aan je eigen peers. Deze berekeningen gebeuren lokaal op de router.

Zo'n core router moet ieder pakket 'uitpakken', routering kiezen (hoe voller je routing tabel, hoe langer je lookup duurt btw) op basis van de inhoud van het pakket, en dan weer inpakken en versturen. Dit moet allemaal zo effectief mogelijk en snel.

Dan wil je ook not QoS toepassen voor eventueel telefonie/andere diensten, dit gebeurt op de (dure) asics en de buffers van de interfaces (grote buffers maakt een interface duurder). etc etc.
Het zijn machines van zon 60k kaal. Dan krijg je nog je line-cards die je er in moet stoppen + je support contracten en licenties voor de linecards.

[joker1977]

Het is niet zo dat core-routers duur zijn doordat er 'hele dure' hardware in zit met meer goud en andere edelmetalen. Het is ook niet echt zo dat routing-tabellen uitzoeken en berekenen heel complex is en daardoor 'duurdere hardware' eist.

De grootste reden waarom die krengen zo duur zijn is:

a) De afname-markt is relatief klein
b) De geëiste support, betrouwbaarheid en SLA zijn vaak extreem hoog. Dat maakt het dat maar een paar partijen zoiets kunnen leveren.

Een 'kleintje' mainframe van IBM kost nieuw zo EUR 100.000 - terwijl qua hardware er iets staat dat qua performance ruwweg voor 5-10% van die prijs gaat. Maar mensen willen iets exclusiefs met specifieke support, betrouwbaarheid en SLA. Dan gaan de kosten fiks oplopen.

[D0phoofd]

Het is ook niet echt zo dat routing-tabellen uitzoeken en berekenen heel complex is en daardoor 'duurdere hardware' eist.

Juist wel. Dit is allemaal op basis van asic/fpga logica. De lookup moet zo kort mogelijk duren. Als je Full-tables leert, dan hebben we het over 885584 prefixen, met mogelijk meerdere routes bekend per prefix. We hebben het wel over een zeer korte tijd. Dat komt natuurlijk door de gespecialiseerde hardware.

[Reactie gewijzigd door D0phoofd op 24 juli 2024 01:38]

[tweazer]

Eerder meer germanium (versus enkel 'low power' silicium), geen goud, dat is geen halfgeleider:) Andere edelmetalen ? Platinum en californium zie ik nog niet zo zitten in chips ????

[Reactie gewijzigd door tweazer op 24 juli 2024 01:38]

[jongetje]

En dan kosten de licenties van nog een veelvoud gedurende de jaren dat ze in gebruik zijn.

[Randal Peelen]

Vraag en aanbod. Het zijn hele grote, zeldzame machines die iets heel specialistisch op hele grote schaal heel goed doen.

[Tomatoman]

De zeer hoge vereisten die eraan gesteld worden, waarvan de extreem hoge betrouwbaarheid gekoppeld aan een zeer hoge doorvoer wel de belangrijkste is. Die vereisten zijn alleen te bereiken met speciale hardware en bijbehorende speciale software en firmware.

[Keypunchie]

Combinatie dat die dingen enorme performance en geavanceerde features moeten hebben, gecombineerd met hoge beschikbaarheid/failover features en dat gecombineerd met maar een beperkte markt (alleen grote internetbedrijven).

Er zit dus veel dure onderdelen en ontwikkelkosten in en maar beperkte aantallen klanten om de winst te behalen.

[Verwijderd]

Vaak zijn het 40Gbps of 100Gbps routers(dit alleen al mag je 1k+ aftikken) met veel verbindingen en een dikke CPU/hardware om het allemaal netjes te verwerken. Ook hebben ze functies die je in een normale router niet terugvind zoals BGP

Verkoop is ook vaak b2b dus automatisch duur door contracten/support etc.

[Odie]

grappig dat je in deze context Amerikaans spul (ik neem aan dat je juniper en Cisco bedoelt) zooi noemt in vergelijking met Chinese spullen. Want die zijn zoveel beter? Vertel eens, waarin blinken ze uit en hoe komt dat volgens jou?

[Zorian]

Laatst nog eentje mogen plaatsen, leuk speelgoed.
Minder leuk prijskaartje though.

Wel "toevallig" deze storing, ga over 3 dagen ofzo ook over naar Tweak. Then again, kwartiertje downtime is al vele malen minder dan de issues die ik bij de huidige provider heb.

[marco282]

Zoals ik ook aangaf richting tweak, je hoeft niet beide punten dezelfde capaciteit in te regelen om redundantie te creëren. Als capaciteit of low latency wegvalt voor een uurtje heb je minder klagende klanten dan helemaal niks. Nul redundantie snap ik dan nog steeds niet. Geen volledige high performance redundantie met oog op kosten voor een consumenten product snap ik wel.

[RGAT]

Zeg dat maar tegen T-Mobile met hun glasvezel internet DTAG mislukking
Ja, er was een verbinding, maar met alle klanten van 2x100Gbit naar 1x10Gbit was gewoon ellende. Meeste IPs waren niet eens routes naar toe, de rest met ergens tussen de 2 en >120 seconden (nee, niet milliseconden maar hele seconden...)
Dan nog liever even geen verbinding dan iets wat nutteloos is.

[marco282]

Ik zei ook niet dat het een 1x10gbit link zou zijn. Ten eerste weten we beiden niet wat tweak aan throughput heeft. Dus ook niet wat voor over capaciteit ze op hun core hebben en wat een backup link zou moeten zijn. Maar er zijn niet alleen prijzen voor capaciteit, maar vaak ook kwaliteit van de verbinding. Een datacenter zoals Nikhef is wat duurder in prijsklasse dan andere offerings.

Met betrekking tot comment woutoud

Waar staan de beste stuurlui ook alweer?

Ik ben die stuurlui voor mijn eigen bedrijf en mijn klanten. Als onze infrastructuur plat gaat door bijvoorbeeld 1 availability zone van amazon die plat gaat (denk aan de issue in frankfurt met hun brand systeem enkele weken terug) dan willen de klanten ook niet dat hun websites/producten offline zijn. Ookal was het een ongelukkige samenspeling van omstandigheden.

Tuurlijk kijk je dan naar de afweging van prijs/kwaliteit. Als tweak gewoon zegt, dit is niet wat wij bieden, daarom is de prijs zoals het is. Is dat een fair opmerking. Overig gaven ze ook netjes aan dat dit een zwakte is waar ze op de hoogte van zijn en goed overwogen hebben. Dat is netjes en niks mis mee.

Soms zie je iets pas als een plausibele issue zodra t gebeurt (hindsight 20/20), en dan moet je eigenlijk gewoon voorkomen dat t nog eens gebeurt.

[Reactie gewijzigd door marco282 op 24 juli 2024 01:38]

[RGAT]

Punt is dat als capaciteit of latency een uurtje achteruit gaat ik niet verwacht dat je minder klagende klanten hebt, eerder dat het beetje bandbreedte nog meer frustratie opwekt omdat sites maar half laden, streams constant bufferen en emails niet binnen komen etc.
Als de backup 90% van de capaciteit van de primaire aansluiting heeft lijkt het me kwa kosten niet echt goedkoper, een backup link van 50% capaciteit van de primaire is nog steeds prijzig en afhankelijk van het tijdstip van de storing (20:00 tijdens 'de grote WK wedstrijd oid' vs 04:00 wanneer iedereen slaapt) alsnog flink te weinig.

Beter iets dan niets werkt helaas niet altijd even goed

[Verwijderd]

Waar staan de beste stuurlui ook alweer?

[tweazer]

Met de hakken in de sloot als het hun thuissituatie betreft

[Aaargh!]

Ooit nog iets van €120/maand betaald voor 200/200 glasvezel. De prijsdaling bij overstap naar gbit was leuk, maar niet nodig geweest. Ik had liever gezien dat ze de kwaliteit hoog hadden gehouden.

Ik zit al sinds het begin bij Tweak, vooral omdat zij zich toen richtten op techneuten en het leveren van de snelste verbinding, ondertussen zijn ze meer een prijsvechter geworden. Ik denk dat Tweak daarmee wel een beetje zijn oorspronkelijke doelgroep uit het oog verloren is.

TV is sinds de overstap naar gbit een drama, dat werkte vroeger prima toen TV gewoon compleet los stond van Internet. Nu moet het binnenshuis over hetzelfde netwerk en alhoewel dat vast goedkoper is (qua mediaconverter en aanleg in huis) werd het er niet stabieler op. De overstap naar Canal Digitaal was voor mij het einde van TV via Tweak (want geen BBC, dus je hebt er dan feitelijk niets aan). Noodgedwongen zit ik nu bij Ziggo voor TV.

Een paar jaar terug is er aangekondigd dat Tweak met 10gbit verbindingen zou komen, ondertussen hoor je daar niets meer van.

Heel jammer dat Tweak zich nu meer focussed op de prijs dan op het leveren van het best mogelijke product.

[tweazer]

TV is sinds de overstap naar gbit een drama, dat werkte vroeger prima toen TV gewoon compleet los stond van Internet. Nu moet het binnenshuis over hetzelfde netwerk en alhoewel dat vast goedkoper is (qua mediaconverter en aanleg in huis) werd het er niet stabieler op.

Ik ken de tweak oplossing en/of je thuissituatie niet, maar ik zou je uitnodigen om je tv rechtstreeks op de router aan te sluiten: het zal niet de eerste keer zijn dat bepaald multicast verkeer niet helemaal goed uitpakt op consumenten apparatuur ...

[Aaargh!]

Ik heb ondertussen geen TV meer van Tweak, want geen BBC. Daarvoor had ik het wel werkend op mijn eigen router. Uiteraard gebruik ik het consumer-grade prul wat Tweak meelevert niet.

De vorige situatie was echter veel praktischer, alleen 1 kabel van de mediaconverter naar de STB en klaar. Geen gezeik met multicast op je LAN, geen IGMP proxy, en vooral geen untrusted kastje in m’n LAN. Ik had de STB in een eigen VLAN geplaatst om het zo te scheiden van m’n netwerk, want ik wil geen apparatuur waar ik niet zelf in controle ben in mijn netwerk, maar da’s allemaal gedoe wat helemaal niet nodig zou moeten zijn.

[Zorian]

Je onderschat allicht hoe intens duur het is om in een DC te hangen, vooral eentje als Nikhef.

[wildhagen]

Dat onderschat ik zeker niet, zit zelf in systeembeheer en heb regelmatig met DC's te maken (alleen niet Nikhef).

Het gaat hier echter om de core van een bedrijf, waar veel mensen afhankelijk van zijn. Enige redundancy wil je dan toch wel hebben.

Dat je een administratief deel van je netwerk wellicht in één DC hangt, prima. Maar de core van je bedrijf?

[2cents]

Kwestie van risicoafweging: hoe vaak gebeurt het dat zowel de A als B feed uitvallen?
En wat kost het om de redundancy hiervoor aan te schaffen en in te richten?

[Nox]

Als je zo groot bent als Tweak is een tweede DC een nobrainer. Ik weet niet hoeveel racks ze hebben maar de kosten van een paar racks of een cage is echt een druppel op de gloeiende plaat. Enige verschil: als je ook beide locaties graag wilt aansluiten kost dat wel een lieve duit. Anderzijds: als je getroffen wordt door een grote calamiteit zoals brand, overstroming, defecte hardware, etc. duurt het dagen voor je weer up kan zijn als je een heel dc opnieuw moet bouwen.

Kans dat A+B feed eruit klappen.... tja, er worden regelmatig tests gedaan in een datacenter, kans is er altijd.

Als je risico-analyse kans maal impact is, dan heb je met een grote impact en een heel kleine kans ook een prima reden om meerdere DC's te gebruiken. Echter verwacht ik dat ze echt niet al hun upstream verbindingen in 1 dc hebben waar al hun pop's op aangesloten zijn.

[2cents]

Het gaat natuurlijk wel over het totaalplaatje, dus niet alleen de racks:
- 2e Corecluster
- DC interconnect
- complexere BGP config
- Transit provider aansluitingen
- 2e aansluiting op AMS-IX
- etc.

Als we dan lage kans x grote impact doen (schaal 1-5) komen we uit op 5 van de 25.
Ik kan me voorstellen dat men er voor kiest om een single-dc opstelling aan te houden.

Ik gok ook dat de marges niet zo heel erg hoog zijn in ISP land.

[Nox]

Als je de fibers naar de woningen moet huren voor achterlijk geld, dan houd je weinig over inderdaad.

Fact is dat glasvezel gewoon ook een berg duiten kost. Meer dan je als particulier wil betalen, daarom wordt alles maandelijks uitgesmeerd. Het aanleggen van een klein stukje glasvezel naar de wijkcentrale is al rap 1000+ euro, dan moet de wijkcentrale zelf nog gemaakt worden, apparatuur van duizenden euro's erin, glasvezel naar amsterdam toe via diverse hops, etc.

Als consument wil je dan maar een paar tientjes betalen voor zoiets complex, dus het moet wel goed schalen.

[cobis taba]

De kosten zijn niet zozeer de racks, maar zeker ook de apperatuur. Al snel een ton+ voor de apperatuur in dat rack. Tel daarbij de rackhuur (10k per jaar ofzo) en aanleg fiber bij op en je hebt een serieuze kostenpost. Die je over al je gebruikers zult moeten verdelen.

Hoeveel eindgebruikers heeft Tweak op dit moment?

[Nox]

Ik begrijp dat alles nu op 1 (!) core router draait? Als ze er al 2 hebben maar dan in hetzelfde rack (hoewel dat wel proppen wordt overigens ) of zelfde datacenter kan die 2e unit naar de andere locatie. Ja, als je momenteel heel veel spof's hebt dan wordt het een dure actie.

[cobis taba]

Uit de reacties van Tweak lijkt het alsof ze een deel van de (externe) connectiviteit inderdaad via 1 core-router hebben lopen. Die routers hebben meestal intern wel redundantie overigens. Dus naast dubbele voedingen ook twee routing-engines en dergelijke.

Als ze wel twee core-routers hebben staan is het verplaatsen naar een tweede rack (zelfde DC) een relatief goedkope oplossing om enige mate van extra redundantie in te bouwen ja.

[Tozz]

Ik had een jaar of 2 terug een XS4ALL storing van meer dan 24 uur... Bleek dat KPN op de interconnect een VLAN was vergeten.

Dus zelfs XS4ALL heeft blijkbaar een enkelvoudig touwtje van de KPN Glas Wholesale infra naar de XS4ALL omgeving toe.

Internet aan consumenten mag niets kosten.. En ja.. pay peanuts..

[Frame164]

Ze kunnen dan wel groot zijn, maar de marges van internetprovider zijn niet zodanig dat je makkelijk fors in extra redundantie kunt investeren.

[Horatius]

Maar stel dat het DC daar affikt zoals laats in Frankrijk gebeurde. Hoe krijg je dan in godsnaam al je klanten weer online, al je gigantische dure apparatuur staat namelijk op 1 plek en is allemaal nu weg.

[2cents]

Dat is dan een ingecalculeerd risico.

[cvs79]

Maar wel eentje die ook wel naar je klanten gecommuniceerd mag worden.

[2cents]

Waarom?
Zijn wel meer bedrijven die dit doen:
https://tweakers.net/nieu...rkproblemen-na-brand.html
https://www.computable.nl...ct-naar-interconnect.html

[Kevjoe]

Geen idioot datacenter-design met hout gebruiken is daar al een goeie stap in.
De meeste datacenters zijn pak beter voorzien tegen brand dan dat van OVH dat echt budget-budget was.

In het datacenter dat wij gebruiken, is er gasblussing (als er dus brand uitbreekt in de ruimte dan wordt het geblust door de zuurstof in de ruimte te vervangen door iets niet brandbaars).

Ik vermoed dat Tweak ook wel meerdere core-routers heeft, maar die dingen zijn enorm duur. In het datacenter waar we zitten staat een core-router van Telenet, dat is letterlijk 1 volledig rack met apparatuur, kabels afgemeten tot de mm, daar komt niemand ooit meer aan.
Die dingen zijn gigantisch en kosten een bom geld, het is gewoon financiëel nooit te verantwoorden om een extra corerouter te hebben staan die niets doet (vooral omdat core routers algemeen gezien zeer betrouwbaar en redundant zijn). Het issue hier is niet dat ze geen extra core router hebben, wel dat het datacenter issues heeft op de A en B feed en hier geen fallback op heeft.

Normaal zou een goed datacenter hier op voorzien moeten zijn, in het datacenter dat we gebruiken zijn er dieselgeneratoren voorzien die het hele datacenter dagen van stroom kunnen voorzien. Storingen op zowel de A als B feed zijn heel zeldzaam, je kan daarvoor geen 3e feed gaan voorzien.

Een 3e power feed voorzien betekent een derde totaal lostaande bron van stroom voorzien die dus via andere kabels, via een andere leverancier, van een andere oorsprong toe moet komen in je datacenter. Dan moet je die apparatuur ook nog eens redundant opzetten, voor 3 feeds. Dat wordt heel snel heel complex en ongelofelijk duur - de kosten voor een dubbele feed zijn al torenhoog.

Dus; kan Tweak hier iets aan doen? Realistisch gezien weinig. Het datacenter is niet van hun, dus kunnen ze de stroomtoevoer niet zelf aanpassen. Een extra core-router voorzien in een ander DC kan een oplossing zijn, maar een core-router switch je niet zomaar over.

Complexe materie, helaas.

[Mathijs]

Aangezien de update stelt dat het probleem bij kapotte voedingen lag, kan het datacenter daar weinig aan doen.
Die voedingen hangen vaak, zeker bij servers, gewoon parallel aan elkaar, wanneer er 1 kapot gaat op een manier die sluiting veroorzaakt, gaat de 2e voeding ook en schakelen de automatische zekeringen voor dat rack uit op beide feeds.

[slijkie]

Dat valt voor een bedrijf als Tweak reuze mee.

Pak en beet €1000 per rack per maand.

https://barm.nikhef.nl/housing/fees-and-contracts/

[Zorian]

Plus kosten voor aanschaf van de apparatuur, en vaak ook nog de stroomkosten per Kwh.

[slijkie]

Wederom, dit is de core van je netwerk, en met een klanten-aantal van Tweak zijn deze kosten nihil, wegen niet op tegen het verlies direct/indirect door dit soort praktijken. Ik ga daarom mee met het verhaal van @wildhagen dat het voor Tweak veel verstandiger is om een multi-DC setup hiervoor te hebben.

[Gravit0n]

Ik denk dat iedereen met een DC presence een multi-DC setup zou moeten hebben incl disaster recovery.

[Kevjoe]

Als werknemer bij een grote webhost kan ik je zeggen dat een minderheid dat afneemt, omdat de kosten vaak torenhoog zijn ervoor.

Je moet dan niet enkel en alleen alle apparatuur dubbel voorzien, je moet ze ook perfect in sync houden en dus voldoende bandbreedte voorzien om alles in sync te houden/om te schakelen in geval van nood.
Hiervoor heb je liefst, wanneer het snel moet gaan of over veel data gaat, een dedicated fiber (dark fiber) liggen tussen de datacenters. Dat alleen al is een serieuze kost.

Daarbij moet je rekening houden dat apparatuur afgeschreven wordt en netwerkapparatuur vaak niet zo lang meegaat als je zou willen (standaard zit er op servers bijvoorbeeld 2 jaar service/garantie op, daarna wil je die ook zo snel mogelijk uit je netwerk). Dus je verhoogt die aankoopkosten niet eenmalig, maar om de 2 (misschien iets meer) jaar. Dan komt er nog bij dat je ook het onderhoud verhoogt en bemoeilijkt, want je hebt dubbel zoveel apparatuur om te beheren.
Dan moet je ook nog rekening houden met on-call, want wat als je engineer van wacht op 5km van het ene datacenter woont, maar het andere datacenter is 100km verder?

Wij als webhost hebben effectief zelf een presence in zelfs meer dan 2 datacenters die voldoende van mekaar weg liggen, zodat we in geval van nood nog in actie kunnen schieten/online kunnen blijven. We hebben tussen die datacenters een dark-fiber liggen zodat we snel data kunnen doorpompen.

We bieden het aan, betekent dat dan ook dat we veel klanten hebben die van die setup gebruik maken? Absoluut niet, want de kosten zijn meestal het baten niet waard. Er komt zoveel bij kijken; niet alleen qua apparatuur maar ook al de rest, de verplaatsingen en dergelijke, de kwaliteit van de datacenters die je gebruikt, de verbindingen ertussen.

Dus om te zeggen dat alles een multi-DC setup moet hebben? Ergens ga ik daar mee akkoord, maar tegelijk ben ik waarschijnlijk niet bereid om extra te betalen voor dat weinige beetje downtime dat er mogelijk kan zijn omdat ze geen mutli-DC setup hebben.
Echt lange downtime is vrij zeldzaam en meestal kan je dat snel oplossen. De kosten brengen gewoon niet op.

Soms heb je dan pech, maar de kosten van deze storing vallen in het niets met de kosten die ze zouden moeten maken om dit dubbel uit te voeren.

[Gravit0n]

Ik heb voor meerdere ISP's (en andere bedrijven met datacenternetwerken) gewerkt, zowel kleiner als groter, en daarbij zijn altijd alle core locaties redundant uitgevoerd over twee of meer datacenters, dus ik heb een vrij goed beeld van wat er bij geografisch redundante netwerken komt kijken.

Als je jezelf een beetje serieus neemt als bedrijf en je dienstverlening (en dus direct je omzet) er vanaf hangt, dan is het ongehoord om alles op één datacenter uit te laten komen.

De afstand van je field engineers tot je core locaties is ook iets wat je incalculeert in je sollicitatieprocedure, je gaat geen engineer uit Groningen aannemen als je core zich in Amsterdam bevindt tenzij je daar al genoeg mensen in de buurt hebt zitten.

2 jaar garantie geldt alleen voor consumenten, dat is zakelijk niet van toepassing. Verder sluit je ook onderhoudscontracten af met je vendor waarbij dit gewoon is afgedekt.

Als ik bij een hoster connectivity afneem dan verwacht ik dat het netwerk van de hoster redundant is, dat je uplink standaard enkelvoudig is uitgevoerd kan prima, en dat je voor een dubbele uplink extra betaalt ook.

Een dual-dc oplossing klinkt heel fancy en duur, maar praktisch heb je het over enkele racks met twee dark fibers tussen de locaties (of je neemt een xWDM kleurtje af van een ISP wat goedkoper is dan een volledige dark fiber).

Maar goed we gaan wel erg in op de details. Feit blijft dat het voor een ISP ongehoord is om zijn core niet geografisch redundant uitgevoerd te hebben. Niet dat dit me verrast aangezien ze ook nog steeds geen native IPv6 ondersteunen.

[Verwijderd]

Ga je dan ook het dubbele of meer betalen?

Het is niet voor niets dat zakelijke internetlijnen, met 99,99999%SLA contracten honderden tot duizendend euro's duurder zijn dan je huis/tuin/keuken internet lijn.
Dat gaat een consument niet betalen. Die wil max 50 a 80 euro betalen, daar kun je geen multi-DC van verwachten waar letterlijk alles redundant is uitgevoerd (en uiteindelijk krijg jij ook maar een enkele fiber, op een wijkkast met 1 voeding). @Randal Peelen geeft aan dat ze 2 stroombronnen hebben in een rack. Dat is voor 'ons' al heel wat luxe als consument. Zijn genoeg providers die dat namelijk niet hebben. Zo had een andere provider hier de omgeving een tijdje terug ook internet storing, door het wegvallen van stroom; die hadden echter maar 1 stroomtoevoer (en een defecte / slecht onderhouden UPS ook nodig).

[Gravit0n]

Ik snap je argument, maar bij een provider welke praktisch landelijk opereert en dus een aanzienlijk aantal klanten heeft is een dual datacenter oplossing een no-brainer.

Deze storing levert een deuk op het imago op en als je het Tweak topic doorleest hebben meerdere mensen het al over opzeggen of hebben dat al gedaan.

Dat de last mile enkel is uitgevoerd dat is nogal logisch op een consumentenverbinding, alleen heeft de storing van vandaag daar geen betrekking op en betreft dat een core locatie.

Ps.
Dual powerfeed is vrij standaard.

[cobis taba]

Ben jij bereid een paar euro per maand extra te betalen voor 0.5% extra uptime?

[Horatius]

0,5% meer uptime is 2x zo weinig downtime.
Gaat meer om het feit dat als er iets mis in dat DC gaat Tweak eruit ligt en je het niet binnen een paar uur weer werkend krijgt

Als dat DC affikt dan is al je apparatuur verloren en liggen al je klanten offline. Dan gaat het waarschijnlijk om een dag zo niet dagen aan downtime en dat is pas een dure grap (noggeens over de reputatieschade). In deze tijd verwacht ik eigenlijk van mijn provider dat 1 vuurtje niet hun hele netwerk platlegd.

[Tomatoman]

Je begrijpt het punt van @cobis taba niet. Enerzijds zeg je dat je eigenlijk iets verwacht, anderzijds ga je er simpelweg aan voorbij dat dat niet bepaald gratis is en jij daar als klant dan wel voor zult moeten betalen. Zolang klanten - inclusief jijzelf - niet bereid zijn dat te doen, is het helemaal niet relevant om na te denken over aspecten zoals reputatieschade. Van een goede reputatie alleen kan de schoorsteen niet roken.

[cobis taba]

Mijn vraag was - zoals @Tomatoman ook benoemd: ben jij bereid er voor te betalen? Zo ja, fair punt. Maar je moet wel bereid zijn de kosten te dragen.

En dat 0.5% meer uptime twee keer zo weinig downtime is, dat is natuurlijk een beetje een kromme redenering. Met die logica is de stap van 50% uptime naar 75% uptime net zo belangrijk als van 99% naar 99.5% of van 99.9% naar 99.95%...

[Aaargh!]

Ja. Wel meer dan een paar euro ook. Betrouwbaarheid is veel belangrijker dan de prijs.

[cobis taba]

Fair enough, als dat voor voldoende klanten van Tweak geldt en je krijgt daardoor 0.5% extra uptime (want ver boven de 99.5% gaan ze echt niet komen) dan zou de investering het waard zijn.

De vraag is trouwens wel of je niet beter af bent met een zakelijk abonnement. Een consumenten-abo is meestal zonder SLA en garanties. Die krijg je bij een zakelijke dienst wel (en daar betaal je dan dus voor).

[Reactie gewijzigd door cobis taba op 24 juli 2024 01:38]

[the_stickie]

dat je de kosten voor netwerkredundantie voor een groot netwerk als zo goed als nihil omschrijft, zegt mijns insziens genoeg.

[Gravit0n]

Bij Nikhef koop je de stroom af, je betaalt niet extra voor je verbruik (had je kunnen lezen als je de link had geopend).

[Zorian]

Oh ik kom ook wel eens bij Nikhef en consorten binnen, maar ik hou me verder net een tikje te weinig bezig met het administratieve gedeelte zeg maar.

[the_stickie]

+licenties + supportcontracten + verbinding. Naast de eenmalige investering van wellicht enkele hondereduizenden, heb je nu ook nog een doorlopende kost, wellicht ook met 3 nullen/maand.
daar moet ook tweak best wel wat klanten voor hebben

[Nox]

Infra zoals fibers er heen is het duurste van dat allemaal. Apparatuur pak je uit het andere rack van je datacenter waar je zit waar het spul nu (hopelijk) redundant draait.

[Somoghi]

Ergens heb je dan toch een load-balancer nodig die het verkeer verdeelt, die kan ook uitvallen, misschien is dat net dit ding. Ergens heb je een single point of failure lijkt me.

[Godjira]

Je kunt werkelijk alles redundant uitvoeren, ook de load balancer waar je het over hebt. Vrijwel elk noemenswaardig bedrijf heeft alles dubbel uitgevoerd. Maar als dan twee keer een power feed eruit vliegt doe je weinig meer. Je beschermen tegen zaken die praktisch nooit voorkomen kan, maar is ook extreem duur. Dus een kosten risico afweging. Je kunt geen 100% garantie geven als je geen onuitputtelijke zak geld hebt.

[mjl]

Een router heeft een dual of meer fail over functie, als de 1 het niet doet neemt de andere verbinding het over. Kwestie van goed configureren.

Zelfs routers voor thuis gebruik hebben dit.

[marco282]

Load balancers in netwerken zijn (meestal) geen single point of failures. Routers kunnen meerdere routes/links hebben. die router/multilayer switch kan dan wel plat gaan, maar is dan bijvoorbeeld voor een regio en niet hun hele core netwerk.

[Nox]

Gelukkig is zo'n load balancer niet nodig, met netwerkapparatuur kun je bepaalde routes opzetten met failovers.

[Kevinp]

Voor een consumenten provider met een up time van > 95% ofzo is het dan echt zo dat jij voor die extra 4% (want 100% is sowieso lastig) 10 euro per maand extra wil betalen.

Ergens zit altijd een punt wanneer het goed genoeg is. En ik denk dat het normaal ook goed genoeg is.

[mcDavid]

Mag toch hopen dat de uptime normaalgesproken hoger dan 99(.9)% is. 95% betekent dat je anderhalve dag per maand onbereikbaar bent.

[Kevinp]

Hoe hoger het percentage nu al is (zo te zien zo'n 99%) hoeveel wil je nog betalen voor die extra 1%?

[Amanoo]

Maak er maar een kleine 0,1% extra van. Met een verhoging van 0,1 komt je bij sommige van de door @RobbyTown genoemde getallen al over de 100%, en bij veel andere getallen zo dichtbij dat het alsnog niet realistisch is.

[Reactie gewijzigd door Amanoo op 24 juli 2024 01:38]

[RobbyTown]

Tweak zit dan tegen je grens op 90 dagen... Heb uptimerobot draaien kan maar 90 dagen terug (gratis versie)

99.016% Last 24 hours
99.859% Last 7 days
99.967% Last 30 days
99.906% Last 90 days

Tweak is nog wat vaker down geweest het afgelopen uur. Zit nu definitief buiten 99,9% de afgelopen 90 dagen.

97.260% Last 24 hours
99.609% Last 7 days
99.909% Last 30 days
99.887% Last 90 days

[Reactie gewijzigd door RobbyTown op 24 juli 2024 01:38]

[Dennism]

Uiteraard zal de werkelijke uptime normaliter hoger zijn dan waar je voor betaald, de laatste keer dat ik hier downtime had die ik gemerkt heb is misschien zelfs wel een paar jaar geleden.

Echter zal de garantie voor een consumenten verbinding niet heel erg hoog liggen, al er al meer gegarandeerd worden dan best effort. Consumenten willen hier waarschijnlijk ook helemaal niet voor betalen. Het werkt vrijwel altijd, en als het dan een keertje niet werkt is dat natuurlijk een 'drama' waar flink over geklaagd moet worden, maar aan het einde van de dag willen de meeste consumenten echt niet meer betalen dan dat ze nu al doen. Zie ook bijvoorbeeld het geklaag bij iedere prijsverhoging van KPN, Ziggo of insert iedere andere provider.

[Rataplan_]

[quoute]
95% betekent dat je anderhalve dag per maand onbereikbaar bent.
[/quote]
Nee, dat je max anderhalve dag down mág zijn in geval van ellende, niet dat je dat pwr definitie bent. En voor cobsumenten die voor een habbekrats een snelle lijn willen zou dat wellicht nog prima zijn ook als de prijs er naar is. Hoe vaak ligt een isp er nou echt uit? Eens per twee jaar? Ik heb zelf Ziggo (zakelijk wel) en de laatste 5 jaar geen (onaangekondigde) storing gehad. Áls het dan eens plat gaat en het duurt wat langer.. zou ik mee kunnen leven.

[GertMenkel]

Ik geloof dat veel consumentenlijnen, in elk geval bij een paar kleine providers, geboekt worden bij KPN als 95% uptime, best effort. Helemaal bij de budgetpartijen zonder leger van monteurs kan dat nog wel eens voor problemen zorgen.

De uptime van de core router is hopelijk wel hoger dan 99%, maar als je jezelf uptime wil garanderen zul je toch echt een SLA moeten afkopen. De SLA kost je vaak meer dan de prijs van je internetverbinding zelf, maar dan heb je wel direct een monteur aan de deur bij de eerste de beste storing.

Ik geloof wel dat consumentenproviders nog wel eens onder de 99% uitkomen door 's nachts werkzaamheden uit te voeren. Ik heb meer dan genoeg hij late avonden Netflix op UPC te maken gehad met internet dat er, al dan niet gepland, tussen iets als 3 en 4 uur 's ochtends eruit lag.

Met glas en coax is de kans op storing erg laag, maar een uptime van minder dan 99% is voor oude DSL zo gek nog niet, eigenlijk. In de rijkere steden en verglaasde dorpen zul je die bende niet zo snel meer hebben, maar er ligt nog genoeg oud koper in de grond waar die 95% nog best wel eens haalbaar kan zijn.

[thePiett]

Er zat een reactie als deze aan te komen Je hebt gelijk, maar ik betwijfel toch of zo'n setup bij de meeste providers aanwezig is en hoe dit precies werkt. Er zal vast een verklaring zijn waarom dit zo is ingericht.

Als er toevallig een Tweak medewerker meeleest, leg eens uit ?

[Tr1pke]

Alsof die mensen op dit soort forums rondhangen 🙈

[Randal Peelen]

Heb al meerdere reacties geplaatst hoor

[thePiett]

"Die mensen"? Is dat zo'n apart volk dan?

[eymey]

Ik denk dat bij kleine / idealistische providers zoals Tweak, maar ook Freedom en zelfs misschien nog XS4ALL, bij úitstek mensen werken die op Tweakers rond hangen

[Verwijderd]

Je kan ook gewoon twee verbindingen afnemen en er dan 1 als backup gebruiken. En best practice ia het in bepaalde gevallen maar lang niet altijd.

[zjeeraar84]

De stroomfeeds worden door het DC aangeleverd. Dus dan zouden meerdere klanten die in het Nikhef DC zitten storing ondervinden?
In mijn ervaring is de kans groter dat het dan verkeerd in het rack aangesloten zit. Helaas zelf ook wel eens ondervonden, een noodstroomtest in ons DC ging fout, maar vanwege de redundantie zou er geen hinder moeten zijn. Tot bleek dat het helaas toch niet goed aangesloten zat en alles op 1 feed bleek te zitten (onze eigen schuld en niet van het DC)...

[DJSmiley]

Het is iig niet geheel nikhef geweest. Misschien een deel, maar onze apparatuur op Nikhef is niet plat geweest (En ik zie op beide feeds geen uitval)

Geen idee hoe laat het exact was, maar om 13.56 zag ik wel 1 van onze upstream partijen ook ellende hebben (Geen tweak). Daarvan weet ik dat die ook op Nikhef zitten.
(Ons rack is vanaf de toegangssluis gezien links, die andere partij zit 'rechts') Ik weet ff niet meer waar Tweak zit, maar uit mn hoofd ook in die hoek. Dus kan best zijn dat er een deel uitgelegen heeft.

Overigens, sporadisch gebeurt zoiets gewoon. Hoe goed je het ook voorbereid. Ik heb het ook een paar keer meegemaakt (direct of indirect)

- Feed valt uit, 2e feed moet ineens alles voeden en trekt het niet, klapt er ook uit
- Stroomstoring tijdens een UPS onderhoud (op een plek waar alleen de A-feed UPS had die op dat moment in bypass stond ivm onderhoud)
- Een rotte voeding die geen duidelijke foutmelding gaf, maar wel onderuit ging toen ie ineens in zn eentje het werk moest opknappen

[Reactie gewijzigd door DJSmiley op 24 juli 2024 01:38]

[Randal Peelen]

Het is correct aangesloten .

[denios]

Ik ben heel benieuwd wat wel de oorzaak is.
Is dat iets dat je in deze thread met ons kunt/wilt delen als het bekend is/wordt?

[mjl]

Kan zijn dat groep 1 overbelast was, die er iit klapte en groep 2 hetzelfde probleem gaf. Kan ook zijn dat ze op dezelfde transformator zaten, als die faalt heb je ook niks.

Maar op zich zou er op 1 van de 2 fasen een UPS moeten zitten met door loop, zeker bij een core van je netwerk.

Ik laat zelf altijd van 2 transformatoren 2 groepen kasten maken ieder aan een andere kant van de ruimte, dan elk rack 2 fasen van elke groepen kast en zorgen dat primaire en secundaire voedingen in de servers om en om op de verschillende groepen komen. 1 fase heeft dan een UPS er tussen zitten.

[keur0000]

Nooit van redundant voedingen gehoord zeker ......... lijkt mij zeer sterkt dat er gelijktijdig 2 voedingen van 1 server tegelijk sluiting geven

[wildhagen]

Als je goed leest, lees je dat beide stroomvoorzieningen in het rek zijn uitgevallen. Dan heb je aan een redundante voeding dus ook niks meer.

Zowel de A- als de B-feed van de stroomtoevoer zijn weggevallen in ons rack.

[Reactie gewijzigd door wildhagen op 24 juli 2024 01:38]

[keur0000]

Het gaat er om waarom A+B feed er gelijktijdig uitvallen, dat klopt er toch echt iets niet in de basis/opzet van de elektrische installatie en/of in het serverack

[mjl]

Zijn vast net na elkaar uitgevallen, als er iets mis is met 1 van de servers krijg je met je 2e fase hetzelfde probleem. Ik vind het we raar dat er geen UPS in zit, 20 minuten is dan wel te overbruggen.

[3p0x]

Die UPS zit ertussen (Feed A) maar als er een apparaat in het rack kortsluiting heeft waardoor de aardlekschakelaar geactiveerd wordt voor beide groepen/feeds (ik weet niet zo even niet of je in Nikhef een groep per rack en feed hebt, lijkt me wel) hou je een rack over waar geen spanning meer op staat.

Helaas vorige jaar zelf ook gehad, HP voeding stuk en dit zorgde ervoor dat de hele kast spanningloos werd ondanks de dubbele voeding en UPS op 1 feed.

Overigens heeft ons rack in Nikhef geen stroomonderbreking gehad vandaag

[Reactie gewijzigd door 3p0x op 24 juli 2024 01:38]

[mjl]

Iedere feed moet een eigen aardlek moeten hebben, bij voorkeur ieder vanaf een andere transformator.

[johnny2000]

Staat toch duidelijk in het verhaal: zowel de a en b feed lagen er uit. Dus dan heb je nog steeds niets aan een dubbele voeding.

En geloof me die apparatuur heeft zeker redundante voeding (wellicht zelf 4 voedingen).

[TFHfony]

Het gaat hier niet eens om een redundant voeding (welke ongetwijfeld in meerdere server zit). Maar is zelfs een redundante stroomtoevoer, die het dus blijkbaar beide niet doen. Heel vervelend, maar je kan als consumenten ISP niet 100% failsafe zijn.
Als je als eindgebruiker echt net zonder dergelijke uitval kan, dan moet je bij 2 compleet verschillende ISP's met een eigen techniek (bv coax & glas) een abbo nemen. En dan kan nog de stroom thuis uitvallen.

[rdfeij]

Een dubbele voeding balanceert vaak. Dus een server belast met 300W trekt 150W uit elke voedingsmodule.
Bij uitval moet de ene module alles overnemen en klapt naar 300W. Als je dan beide feeds meer dan 50% belast hebt klapt de 2e er ook uit als de 1e onderuit gaat.
Ik zeg niet dat het hier vergeten is, maar vaak denkt men er niet aan.

[MPAnnihilator]

Tenzij het spontaan was, maar anders, gulden regel in IT : Op vrijdagnamiddag blijf je overal met je fikken vanaf.

[FreshMaker]

Tenzij het spontaan was, maar anders, gulden regel in IT : Op vrijdagnamiddag blijf je overal met je fikken vanaf.

Da's ook alleen maar omdat jullie vastgeroest zitten in de Ma-Vrij-bubble

[MPAnnihilator]

Als je een beetje collegiaal bent, dan doe je je ICT collega's die in het weekend van wacht zijn, geen "cadeau's meer...

[FreshMaker]

Het is mijn 'dienst' deze week ...
Zelf verkeerd gepland natuurlijk, want maar 2 echte opkomstdagen op locatie.

Maar de regel is bij ons net zo goed 'geen aanpassingen op vrijdag'

[RedBa]

Hier werkt ook alles weer. Wel jammer, zijn wel wat meer storingen de laatste tijd, ging eigenlijk jaren goed maar afgelopen maanden hebben ze al een keer stroomstoring gehad en een aantal DDos aanvallen waardoor alles eruit lag. Nu maar eens klaar dacht ik zo...

[ZakKa.dev]

Net ook last van in Almere. Ongeveer 15 minuten.

Edit: Nu weer weg helaas.

[Reactie gewijzigd door ZakKa.dev op 24 juli 2024 01:38]

[eymey]

Mijn internet bij Freedom (dat in Almere via het Coanet van Tweak/Cambrium loopt) lag er ook even uit:
https://stat.ripe.net/m/w..._id=9002&w.probe_id=28663

Gelukkig maar kort en ik was op dat moment m'n dochter van school aan het halen. Gekke is wel dat de AnyConnect VPN-verbinding naar mijn werk toe geen disconnect heeft gemeld......

[Reactie gewijzigd door eymey op 24 juli 2024 01:38]

[pixeled]

Heb zelf glasvezel bij Tweak en de verstoring duurde bij mij in Deventer ongeveer een kwartiertje. Rond 14:27 was internet weer up.

[Kevinp]

Hier ook inmiddels weer in de lucht hoewel de snelheid nog niet alles lijkt te zijn.

Ook was de directe verbinding sneler in de lucht dan toen ik het weer via de router deed. Je merkt dat de DHCP wat overbelast wordt ;-).

[Godjira]

Hier werkte het ook vrij snel weer gelukkig. Was nog geen tien minuten down.

[Loouis]

Een kwartier voor dit bericht had ik ook geen internet. Het komt nu af en aan. Deventer hier ook!

[mjl]

Dat zou kunnen, en een backup generator moet ook regelmatig getest worden, vaak zie je dat dat ook nog wel eens mis gaat en de generator niet wil straten of er een schakelaar vast zit…

[Freee!!]

En anders is de dieselolie op

[Dj Neo Ziggy]

Of ingeteerd.

[Verwijderd]

Normaliter heeft een apparaat twee voedingen.

Eentje met een lijntje naar de A kant en eentje met een lijntje naar de B kant. Meestal zijn deze ook beide actief omdat je dan geen dip hebt bij overschakelen (en dus ook niet een piek waardoor je tweede voedingsblok er uit valt).

Iets wat er wel voor kan zorgen dat zowel de A als de B zijde van een rack uitvallen is bijvoorbeeld kortsluiting in een van de apparaten of simpelweg overbelasting. Als dat doorwerkt naar beide zijdes gaan ze beide onderuit.

Daarom ben ik ook gewend dat je niet alleen je voedingen dubbel hebt uitgevoerd, maar ook je apparaten. Als van Router 1 zowel de A als de B voeding uitvallen neemt Router 2 in een ander rack of zelfs een andere locatie het over.

[m00d]

Heftig, hoop dat je er niks aan overgehouden hebt, 15 min zonder internet, dat gun je niemand!

Sarcastisch of niet- internet wordt steeds belangrijker in het dagelijks leven en wordt steeds meer een vereiste- dus iedere keer dat een ISP down gaat wordt het een groter probleem.

[FreshMaker]

Heftig, hoop dat je er niks aan overgehouden hebt, 15 min zonder internet, dat gun je niemand!

Moet je voor de lol in het GoT topic gaan kijken
Het regent 'opzeggen' en 'waardeloos - altijd hetzelfde'

* FreshMaker is net zo ongeduldig, maar inderdaad 15 minuten is te overzien

[pixeled]

Heftig, hoop dat je er niks aan overgehouden hebt, 15 min zonder internet, dat gun je niemand!

Eh, okee 😅

[Bardock]

Bij deze mijn abbo opgezegd, ik ben er wel klaar mee , de laatste paar maanden is het dramatisch ik verwacht meer van een provider, zeker als thuiswerker. Bij T-Mobile nu voor 35 euro in de maand een Gbit connectie. Dag Tweak, het was leuk in het begin, maar jullie service is ondertussen zo slecht dat ik niet meer kan blijven. Mocht dit ik de toekomst veranderen dan wordt ik wel weer klant.

[eymey]

En dan naar T-mobile gaan..... waarover in het betreffende topic hier op Tweakers nog altijd veel harder (en vaker) wordt geklaagd dan over een storing bij Tweak... die toevallig nu net de pech hebben dat er even iets te vaak wat mis gaat, de laatste maanden.

In ieder geval, veel succes met T-mobile, met hun gesol en geknoei met goedkopere routeringen en hun kruistocht om het open neutrale internet te killen

[Reactie gewijzigd door eymey op 24 juli 2024 01:38]

[eamelink]

De ironie van je enkele internetverbinding opzeggen om een andere enkele internetverbinding af te nemen, omdat er te weinig redundancy is bij de leverancier ontsnapt ons niet

[marco282]

Nadat de verbinding even werkte, is deze weer offline gegaan, hopelijk voor korte duur.

[yorroy]

Hier hetzelfde..

Nu dan maar weer verplicht vanuit mijn thuiswerkplek op zolder (loeiwarm) even buiten in de schaduw ontspannen