Maandag 30 augustus downtime door vervanging switches

Elke nieuwe server die we aanschaffen heeft tegenwoordig vier netwerkpoorten en een management-interface. Daarmee willen we onze hardware graag zo aansluiten dat de netwerkperformance en de beschikbaarheid optimaal zijn en blijven. Dat betekent onder meer dat elke server drie poorten op onze primaire switches in beslag moet kunnen nemen, terwijl er ook een verbinding met de backupswitches moet zijn. Zo is er per server vrijwel altijd drie gigabit aan bandbreedte beschikbaar, wat vooral nuttig is voor grote transfers zoals het maken van backups, terwijl er nog steeds een gigabitlijntje ligt voor als een primaire switch onverhoopt het leven laat.

Helaas heeft dit ideaal als consequentie dat onze primaire HP Procurve 2900-24G-switches zo'n beetje helemaal zijn volgeprikt, en ook op de Procurve 2824-backupswitches zijn nog maar weinig poorten over. De backupswitches zijn vanwege hun leeftijd bovendien aan vervanging toe, dus nemen we de gelegenheid te baat om twee nieuwe 48-poorts switches te plaatsen. We hebben dit keer gekozen voor een tweetal HP Procurve 2910al-48G's, die ieder ook nog eens zijn voorzien van vier 10Gbase-CX4-poorten. De 2900's, die tot backupswitch worden gedegradeerd, hebben ook elk twee CX4-aansluitingen. Dit viertal wordt volgens onderstaand schema aangesloten, zodat bij een eventueel gesneuvelde primaire switch altijd nog een korte route naar het andere rack beschikbaar is.

Het plaatsen van de nieuwe switches zou geen heel grote impact op de bereikbaarheid van de site moeten hebben. Het is echter niet onmogelijk dat de site gedurende de vervangingswerkzaamheden af en toe eventjes onbereikbaar is. Het plaatsen van de nieuwe switches begint op maandag 30 augustus om ongeveer 13:00u.

Reacties (99)

de boel wordt volgens mij wel super goed onderhouden. tweakers.net draait beter dan de website van een willekeurig groot bedrijf, al dan niet zijnde een webshop.

Dat komt omdat veel van die hosters/webshops/bedrijven nogal burocratisch zijn, of omdat er een gebrek aan communicatie is, waardoor beslissingen traag genomen worden, developers niet met het serverbeheer praten, en onder het mom van 'professionaliteit' er ingewikkelde procedures zijn voordat je uberhaubt iets mag tunen.

Ik bedoel; als ik een query op de mysqlserver zie die de boel vertraagt, dan schop ik een developer, en dan wordt het snel gefixt, of als ik een bug in een script zie dat ik zelf kan oplossen dan fix ik dat even snel, zonder dat ik een ticket inschiet, op een manager moet wachten die er een prioriteit aan gaat geven, een developer die het oppikt, de code submit, een tester die de code beoordeelt, een manager die de code goedkeurt, iemand die het in de queue voor deployment zet, en eindelijk 3 weken later is de fix er.

Ook voor het serverbeheer zijn wij niet te vies om de nieuwste hardware in te zetten, nieuwe software te gebruiken, schrijven onze eigen scripts, en in het algemeen hoeven wij op niemand te wachten voordat wij een probeem tacklen (zoals DBA's, externe partijen etc).

Dat gaat soms niet altijd even goed, soms is er wel eens een stukje hardware dat toch niet helemaal lekker werkt, een setting die niet helemaal tof is, maar meestal zijn wij in staat dat snel op te lossen, en vaak zonder dat de gebruiker er iets van merkt.

Dat gaat soms niet altijd even goed, soms is er wel eens een stukje hardware dat toch niet helemaal lekker werkt, een setting die niet helemaal tof is, maar meestal zijn wij in staat dat snel op te lossen, en vaak zonder dat de gebruiker er iets van merkt.

Dit is dus de grote MAAR waarom veel bedrijven dit niet doen.

Ik ben het eens met je communicatie, maar je trail & error hierboven klinkt verre van profi... wel van flexibiliteit.

en dat is nu net wat kees er weer voor zegt.

Dat komt omdat veel van die hosters/webshops/bedrijven nogal burocratisch zijn, of omdat er een gebrek aan communicatie is, waardoor beslissingen traag genomen worden, developers niet met het serverbeheer praten, en onder het mom van 'professionaliteit' er ingewikkelde procedures zijn voordat je uberhaubt iets mag tunen.

Beide aanpakken hebben voor EN nadelen. Uiteindelijk is het de burocratie hoog in de organisatie die beslist welke aanpak er gevolgd wordt

[Reactie gewijzigd door Freemann op 30 augustus 2010 13:08]

Dat is inderdaad de reden; managers die bang zijn dat ze de controle over een shop/project verliezen als programmeurs (deels) zelf bepalen wanneer ze een fix online gooien. Verder heb ik het idee dat veel managers performance niet heel erg hoog hebben zitten, en dus liever meer tijd besteden aan nieuwe features/bugs oplossen dan aan performance tuning; nog afgezien dat dat laatste vaak niet echt in een vaste tijd gedaan kan worden.

Zo'n flexibele, platte structuur kan alleen maar als je goede mensen hebt, die heel goed weten wat ze aan het doen zijn. Immers, even snel iets fixen zou zomaar ergens anders iets kapot kunnen maken, daarom zijn er van die lange procedures bij veel bedrijven.

En dat is denk ik uiteindelijk de reden dat het bij veel bedrijven minder goed gaat dan bij tweakers. Het t.net management is zelf techneut, en dus weten ze waar ze een goede sysadmin aan moeten herkennen. Een manager van een gemiddelde webshop is zelf meestal geen (goede) techneut, en neemt dus als sysadmin iemand aan die een HBO opleiding informatica gevolgd heeft, en daar alleen maar geleerd heeft waar ie moet klikken op zijn windows server.

Het grote verschil is dat Tweakers bij mijn weten geen SLA's heeft met de gebruikers, en een groot bedrijf al snel op hoge boetes kan rekenen als er iets mis gaat en de boel een paar uur plat ligt.....

Was het niet iemand van Shell die zei dat, als ze een dag downtime hebben, ze de zaak kunnen opdoeken?

Over het schema; waar zijn de verticale verbindingen voor? De onderste switch vervangt toch de bovenste bij uitval, lijkt me niet dat daar veel data uitwisseling tussen is. Ik zou eerder de twee back-upswitches verbinden, dan is er nog verbinding tussen de racks als beide hoofdswitches het begeven.

Ziet er voor mij onlogisch uit, wat zie ik over het hoofd?

Als beide hoofdswitches het begeven is er geen verbinding meer naar buiten, dus dat scenario heeft weinig zin om nog wat anders van te maken

Het voordeel op deze manier is dat onderhoud aan losse servers zo minder invloed heeft. Als de nics die op de primaire switch aangesloten zitten losgehaald worden, loopt het verkeer nog via de backup switch bijna dezelfde route. Anders had dat juist weer via het andere rack en dan via de primaire switches teruggemoeten.
Bovendien hadden we die korte CX4-kabels nog liggen en voor een extra verbinding naar de 'overkant' hadden we er nog een bij moeten kopen

we hadden (helaas?) geen fototoestel meegenomen. Mischien dat we er een volgende keer een pic van schieten.

Dat moet weer vaker worden gedaan

helaas?

Tuurlijk helaas! Kijk maar hoeveel enthousiaste reacties er altijd zijn als er een .plan gepost wordt over hardware upgrades. Wij wannabes met een 5-poorts gigabit switchje thuis willen ook wel es zien hoe het er "in het echt" aan toegaat!

Kan tegenwoordig ook met je GSM hoor. Daar zitten ook al van die snufjes op

Ik ben benieuwd wat jullie van de CX4 aansluitingen vinden. Laatst ook een setup uitgeleverd met CX4 maar ik vertrouw de aansluiting niet helemaal. De connector is nogal groot en lomp. De aansluiting "hangt" ook een beetje. Dit waren echter Cisco switches.

Tevens ben ik benieuwd wat jullie switch load is. De CX4 oplossing die ik uitleverde haalde een whopping 0.04% load....

De CX4 gebruiken we al, en dat werkt al ruim 3 jaar zonder enig probleem tussen de 2900 switches. Ja, het hangt een beetje door, maar voor 'interconnects' tussen racks is het ideaal. Hoge snelheid, voor een relatief lage prijs

Het nadeel is natuurlijk de gelimiteerde afstand die je ermee kan overbruggen, en de prijs van de kabels.

Waarom CX4 i.p.v. SFP+Cu (Twinax)? Fysiek veel stabieler, zelfde te overbruggen afstand (max 10m tegenwoordig) en VEEEEL goedkoper.

Tevens snap ik de keuze voor ProCurve niet zo. HP heeft met het aanschaffen van H3C toch een stuk betere netwerk vendor binnengehaald dan hun eigen producten ooit geweest zijn. Plus ze zijn een stuk goedkoper, met veel capaciteit in de switches.

Bekijk de prijzen van vergelijkbare switches en je ziet dat deze procurve niet zoveel duurder of zelfs goedkoper is dan de H3C-switches (ik zie dat de 4210G en 4510G nu goedkoper zijn). Verder zijn de CX4-module (J9149A, 400 euro) voor deze HP-switches juist veel goedkoper dan de vergelijkbare SFP+-modules (J9008A, 1000 euro). Dat is trouwens ook het geval voor die twee H3C-switches... En de kabels zijn nou ook niet bepaald veel goedkoper voor SFP+ (250+ voor de 7m variant van HP vs zo'n 160 voor onze 5m CX4). Bovendien hebben onze ouwe 2900's sowieso al twee ingebouwde CX4-poorten, dus daarvoor was het in ieder geval goedkoper om CX4 te nemen.

Misschien als je dure modules moet kopen, om van SFP of een of andere vendor-specific aansluiting een CX4 te maken, dat het goedkoper is. Of juist als je een switch met ingebouwde SFP+-poorten neemt. Maar voor zover ik na kon gaan waren de meeste van die switches sowieso al duurder. Ik hoor graag een tegenvoorbeeld, maar tot die tijd hou ik het bij mijn aanname dat CX4 juist de goedkopere variant is en dat het weinig gescheeld had om H3C-switches te nemen ipv deze

[Reactie gewijzigd door ACM op 28 augustus 2010 17:54]

Toen was er een netsplit @irc

* moto-moi fluit

Stomme Arethusa wilde ff niet leuk meespelen met de rest, nu weer wel
Nu het 2e rack nog ff omprikken en daarna de CX4 kabels aanleggen...

Haha 2x.. Mja het werkte wel

Server is nog steeds niet te bereiken...

Nou, goed dat het allemaal wordt verbeterd, maar wel jammer dat de site af en toe weg kan vallen, maar veel succes gewenst!

Nou, goed dat het allemaal wordt verbeterd, maar wel jammer dat de site af en toe weg kan vallen, maar veel succes gewenst!

Hoezo jammer? Lijkt mij eerder een logisch gevolg. Een lamp gaat ook uit, op het moment dat de stroom word onderbroken...

Dan kan het nog wel jammer zijn.
Maar de webservers worden niet allemaal tegelijk ontkoppelt.

Maar daar hebben we UPS-systemen toch voor? offeeh ben ik nu een nOOb?

Verkeerde analoog. Zie het als een ruimte met twee lampen waarin het licht aan moet blijven. Je kan prima lamp voor lamp verwisselen zonder dat de ruimte donker wordt.

Verkeerde analoog: er is ook minder licht in de ruimte aanwezig. "Er kan dus minder licht voorzien worden"

Analoog:"Er kunnen minder gebruikers van data voorzien worden."

Gevolg: af en toe valt hij misschien eens weg.

Altijd leuk om over dit soort werkzaamheden te lezen. Dat helpt weer bij het relativeren van je thuissituatie, waar je denkt het goed voor elkaar te hebben met je nieuwe gigabit NAS aan je vierpoorts D-link routertje.

Elke tweaker heeft toch wel een hp procurve 2824 en een 2524 en 2 servers thuis staan of ben ik een uitzondering?

De HP procurves heb ik niet, ik heb wel 2 24 poort 3com switches en 1 proliant dl380 g4 thuis draaien

Haha Mja irc is down

Wel een Dell PowerEdge 860, ASA5505 en een Cisco Linksys 4410N (PoE) maar nee, geen 2 servers

Ben ik uber met mijn 408 en Netserver LH4r? Heb nog een SonicWALL NSA 240 Total Secure als gateway

"De backupswitches zijn vanwege hun leeftijd bovendien aan vervanging toe, "

Sinds wanneer hebben switches een beperkte levensduur? Die dingen kunnen over het algemeen toch wel een lange tijd mee? (Als je puur en alleen naar levensduur kijkt bedoel ik )

Ze hebben bij ons wel een economische levensduur ivm afschrijvingen enzo en dat is dan (budgetverantwoordingstechnisch). Maar de 2824-switches die nu over blijven krijgen vast wel een tweede leven ergens in ons kantoor-rack of via V&A

mja, maar het zou pas ECHT top zijn als jullie 's een keer een servertje verloten onder de tweakersnet bezoekers. - gewoon een dualsocket servertje met wat xeons of andere zut,
ik bedoel hoe cool is het niet om een ECHT tweakers.net (home) server thuis te hebben staan. dat zou natuurlijk ook prima kunnen gelden voor switches al denk ik dat het nut daarvan weer iets minder is.. ik bedoel, een 24 of meer ports switch gaat bij mijn thuis geen nut hebben, - een optische (8 poorts) misschien WEL als er dan ook een stel fiber-nics bijzitten.
trouwens zou DAT misschien NOG wel cooler zijn.

het verloten van een verglazing van je thuisnetwerk. erg nuttig is het misschien niet maar wel UBER cool, met een patsfactor die gelijk staat aan ..... aan .... nuja een een glasvezel netwerk bij je thuis....

[Reactie gewijzigd door i-chat op 27 augustus 2010 19:32]

We gebruiken zelf uberhaupt geen glas. Althans, ons nieuwe kantoor heeft wel wat fiber, maar in de colo dus niet. Veel te duur en inflexibel voor die opstelling, cat5e/cat6 voldoet voor de meeste doeleinden prima (hopelijk wordt 10GbaseT wel een keertje betaalbaar).

Betaalbaar is natuurlijk relatief... 10 x 1GBit kost ook geld...
Als een 48p Gigabit switch 3000 euro kost, is 1 poort 62.5 euro.
Bij 10Gbit vervang je 10 x een 1GBit poortje, dus zou het relatief gezien 625 euro mogen kosten...

Ik weet niet wat de SFP/GBIC's kosten, maar 6/700 euro lijkt me een vrij normale prijs?

Je moet ook de 10GbE kaarten er bij optellen natuurlijk. Ik wil wel opmerken dat in de virtualisatie offertes het gaan van Gb naar 10GbE zo'n 20-30% meer kost. Dus ik vind het meevallen qua prijs. Een Arista 24x poorts SPF+ switch is zo'n 11K list. De SFP's minder dan EUR 400,00.

Als je de serverhardware (en dure software) er nog bij moet bestellen, dan is het allicht minder bezwaarlijk, zeker als je inderdaad een stuk minder poorten gaat bezetten (en dus van 48p of meer naar 24p kan).
FireDrunk's versimpeling per poort is weer niet geldig natuurlijk, ook als je geen 10Gbit nodig hebt en met 1Gbit genoeg had, zal je met een 10Gbit-switch die poorten moeten gebruiken (of natuurlijk eoa hybride switch nemen). Hoedanook, tov het soort switch dat we nu aangeschaft hebben is het nog een hoop geld om naar 10GbaseT of een andere 10Gbit-variant te migreren

10GBE zou je volgens mijn natte vinger denk ik niet moeten zien als vervanging voor meer dan 2 tot 4 trunked Gbit poorten, en uiteraard ontslaat 10GBE je niet van de noodzakelijkheid van multipath, dus moet je er eigenlijk minstens 2 hebben per server.

Die CX4 poorten van de HPs hangen met dedicated Infiniband-based koper aan elkaar?

Waarschijnlijk is het hetzelfde, maar onze kabels worden - vziw - specifiek verkocht voor ethernet. Maar de stekker is hetzelfde als voor SAS en Infiniband en de kabel onder het rubber is vast ook hetzelfde

Waarschijnlijk is het hetzelfde, maar onze kabels worden - vziw - specifiek verkocht voor ethernet. Maar de stekker is hetzelfde als voor SAS en Infiniband en de kabel oner het rubber is vast ook hetzelfde

Ik denk dat het van koper is

CX4 is inderdaad koper kabels. Zit standaart op de 2900 serie met 1 CX4 kabel.

(hopelijk wordt 10GbaseT wel een keertje betaalbaar).

Er zijn al 10GBASE-T modules voor de Cisco Catalyst 4900M en als lijnkaart voor de Catalyst 6500.

Het wachten is op de moederbord fabrikanten. Zodra je een server moederbord kan bestellen met onboard 10BASE-T (dus een standaard RJ45 connector) zullen de prijzen voor 10Gbps ethernet snel dalen. Gewoon: omdat het kan. PC heeft een gigabit aansluitig, dus dan wil je ook een gigabit switch hebben. En als iedereen dat vindt, zullen prijzen snel dalen.

Nu was het een korte stap on van 10BASE-T naar 100BASE-T te gaan. Van 100BASE-T naar 1000BASE-T duurde een stuk langer. De stap naar 10GBASE-T zal nog langer duren.

Zorg wel dat je dan CAT6a (55 meter max.) of CAT7 bekabeling gebruikt als je de volle 100 meter wil overbruggen.

Errr... De eerste keer bedoel je 10GBASE-T neem ik aan

10GBASE-T kaarten bestaan inmiddels, maar kosten nog enige duizenden euros. Voordat dat spul economisch haalbaar is om onboard te stoppen duurt nog wel even.

Een intel 10GBase-T heb je intussen al voor een € 650 hoor.
De switches zijn echter nog heel duur en bijna onvindbaar.

Nadeel is ook het relatief hoge stroomverbruik. Maar dit is uiteraard minder dan 10 X 1 Gbit.

Zo'n server wil je ook niet thuis hebben hoor, tenzij je een eigen rack hebt, ergens ver weg van je werkplek, en geluidsdicht

Zet maar eens de stofzuiger aan, en ga dan werken, dan heb je ongeveer een idee van de geluidsproductie van zo'n server. Ze hoeven ook niet stil te zijn, maar ik zou er niet nonstop naast een willen werken

ja bedankt maar ja dan ben ik al op school:)
wel een beetje duur die switch's

Tja, duur is relatief. Onze cisco switches kosten 10.000 euro per stuk. Waar we er 16 van hebben.

En dat is nog goedkoop

De mijne kostte 20 euro. Vraag en aanbod. Ik win

Toegegeven, de mijne is om te oefenen voor mijn Cisco certificaten, en doet maar 100 Mbit over de 48 poorten (en 2 Firewire trunklijnen).

Goed netwerkspul is sowieso duur. Het kost toch behoorlijk wat rekenkracht om pakketten met hoge snelheid/lage latency te switchen. Dat gaat tgelukkig via de hardware (niet via het OS), maar die chips zullen ook niet goedkoop zijn. Dan komt er nog eens licensing bovenop, eventueel nog beheerskosten....

[Reactie gewijzigd door citruspers op 5 september 2010 23:14]

succes met vervangen, maar dat zal niet meer dan appeltje/eitje zijn, toch ?

Het wordt even vechten met de kabelbrij in het rack denk ik

Het nadeel van de hele tijd in hetzelfde rack werken, en in het rack zelf servers vervangen, is dat hoe netjes je het ook houd, het na een tijdje vanzelf een rommeltje wordt.

Het wordt even vechten met de kabelbrij in het rack denk ik

Ik weet het wel zeker, ik heb er al zin in

Het nadeel van de hele tijd in hetzelfde rack werken, en in het rack zelf servers vervangen, is dat hoe netjes je het ook houd, het na een tijdje vanzelf een rommeltje wordt.

Vanzelf? Gaat het patchen van de UTP-kabels dan automatisch?

Vanzelf en automatisch zijn de toverwoorden in de ICT: Alles gaat automatisch maar niets gaat vanzelf.

Mag toch hopen dat je boven en onder een switch een rangeer paneeltje heb zitten.

Was laatst bij een bedrijf, die alles overigens ook op voip had draaien , die gewoon de volgende indeling had.
Patchpaneel
48poorts switch
Patchpaneel
Patchpaneel
48Poorts switch
Patchpaneel
En zo verder... Dus geen rangeer stroken maar patchkabels van 20cm en alles volledig door gepatch. Waarschijnlijk had die netwerkbeheerder een onbeperkt budget ofzo

Het is wel grappig om te zijn dat de ene patchkast echt netjes is terwijl ander gewoonweg een zooitje zijn (patchkabels van 3 meter gebruiken voor een patch van 50cm, alles met grijze patchkabels ipv kleuren gebruiken)

Mag toch hopen dat je boven en onder een switch een rangeer paneeltje heb zitten.

*knikt heftig ja*

3 van die dingen in elk rack, anders wordt je inderdaad heel snel heel erg verdrietig