Downtime 8-12-2007 *Updated*

Nog redelijk dichtbij het einde van het jaar gaan we toch nog even een ingrijpende wijziging doen op het gebied van systeembeheer.

Onze fileserver Atlas, die inmiddels alweer ruim twee jaar oud is, is toe aan vervanging. We gaan deze vervangen door een IBM 2U-server met een Intel E5310 en in totaal zes Hitachi Deskstar E7K500-schijven, waardoor we nu een comfortabele 1,8 terabyte tot onze beschikking hebben. De oude Atlas moest genoegen nemen met een paupere 216 gigabyte.

De downtime zal aanstaande zaterdag om acht uur 's ochtends beginnen en jullie hopelijk niet langer dan een uur verstoken laten van jullie favoriete website (Waar je nog steeds op kan stemmen )

Uiteraard had ik graag plaatjes laten zien, maar als je de camera vergeet tijdens het plaatsen van een server kom je daar niet ver mee Gelukkig (voor jullie ) moeten we binnenkort nog naar de colo om een upgrade van Athena (onze backupbak) te doen, en tijdens het kopiëren van al die terabytes hebben we meer dan genoeg tijd om muziek te leechen via de 1Gbps-lijn die we van onze vriendjes van True hebben liggen foto's te maken.

*Update*
En dat was de downtime al weer. Na een korte rsync actie, waarbij 863419 files, in totaal 97.347.832.858 bytes, gesynced werden, was de nieuwe server klaar om de taken van de oude server over te nemen. Al met al hopen we dat je er weinig van gemerkt hebt. De merkbare downtime duurde een minuut of 3-4 en betrof voornamelijk plaatjes en usericons die een 404 gaven.

Reacties (120)

[Postman]

Ligt het aan mij of is 6x 500 GB ietsje meer dan 1,8 TB?
Zelfs uitgaande dat een 500 GB schijf maar 450 GB werkelijke ruimte heeft, dan nog kom je met 6 schijven uit op een dikke 2,5 TB. Dus waar blijft die 900 GB dan?

[Operations]

Iets met RAID denk ik zo RAID6 denk ik 4x500 is namelijk wel 2TB minus het gene wat je echt beschikbaar hebt op een schijf kom je op 1,8TB. (die 2 andere schijven heb je niet tot je beschikking door de RAID6 config)

[Reactie gewijzigd door Operations op 24 juli 2024 12:03]

[vinnux]

Ik neem aan dat ze de schijven in een RAID configuratie plaatsen. Hierdoor is er vanwege "redundantie" minder ruimte beschikbaar. Door een RAID opstelling kan het uitvallen van een schijf opgevangen worden, zodat er geen data verloren gaat.

Meer over RAID is te vinden in het forum forum: RAID FAQ

[Reactie gewijzigd door vinnux op 24 juli 2024 12:03]

[roefje]

Doordat je raid5 gebruikt met een hotspare heb je dus 1*450GB Hotspare en 5*450GB=2250GB.
Hiervan gaat dus ongeveer 20% af vanwege de parity control, dus in dit geval mis verlies je 450GB en hou je dus 1,8TB over

[moto-moi]

We gebruiken uiteraard raid5 en een hotspare vinden we altijd ook nog prettig

[Lurge]

Waarom Raid 5 als je toch een spare hebt, dan kan je toch beter raid 6 inzetten? Dan zit de spare tenminste in je actieve systeem. Hierdoor hoef je bij een eventuele uitvallende schijf niet direct naar het rack toe. Lijkt me beter toch ?

[moto-moi]

Bij een uitvallende schijf pakt hij de hotspare, bij een volgende failure hoef je er 'pas' heen (al ben je gek als je zo lang wacht ), RAID6 werd ons niet aangeraden door onze RAID-goeroe Femme, dus daar houden wij ons dan aan

[Guru Evi]

RAID6 doet het niet zo goed performance-wise bij het schrijven en als er al 2 schijven tegelijk uitvallen dan is de performance nog slechter. RAID5 met een hotspare geeft dezelfde garantie (als er 1 schijf doodgaat en dan nog een tegen dat de RAID5 rebuild is)

[Verwijderd]

Ik heb dezelfde setup, draait lekker hoor, kan ik je verzekeren

[Blokker_1999]

redundantie

[Feni]

Raid 5?

[PeterSelie]

waarschijnlijk een raid opstelling

[centauri]

Wekker vergeten te zetten?

[Kees]

nee hoor

root@atlas(08:04:15)(0):/home/kees
kees$ /etc/init.d/networking restart

Om 8:04:15 nam de nieuwe server de taken al over

[Reactie gewijzigd door Kees op 24 juli 2024 12:03]

[djidee]

Soepeltjes en snel, goed werk

[jaapbrandhof]

Ik wens jullie succes met overpompen.

Ben hier bezig met 3TB, schiet nog niet echt op.

[Kees]

Daarom gebruiken we rsync. De meeste data staat er al op, alleen de veranderingen van die nacht zullen we nog even over moeten pompen. Dat wordt dus een kwestie van rsync; servers plat gooien, rsync nog een keer; nieuwe server opzetten.
Al met al zijn het wel een kleine 820.000 files die erop staan, maar met rsync duurt het een minuutje om het te syncen.

[jaapbrandhof]

jullie geluk.

Ik ben hier dus 1:1 aan het kopieren.

Bijna op de helft nu met tussen pauzes.

[ovaal]

Waarschijnlijk ben ik de enige die nu niet meer kan zoeken op GOT . Of moet de boel eerst nog opnieuw geïndexeerd worden of zo?

[Pascal]

Je bent niet de enige
_{werkt weer}

[Reactie gewijzigd door Pascal op 24 juli 2024 12:03]

[Kees]

hm, hier is dat geen enkel probleem?

[moto-moi]

stomme omegascript staat ook op atlas, dus ik heb xinetd moeten herstarten voordat het weer werkte

[Pascal]

Hmm.. hier (@ouders) geen problemen....
_{werkt weer...}

[Reactie gewijzigd door Pascal op 24 juli 2024 12:03]

[osorkon!]

Een uurtje zonder got zal nog wel lukken zeker

[sprankel]

als alles goed loopt zal het een uurtje duren, maar als je met IT bezig bent dan weet je dat er gemakkelijk iets verkeerd gaat of er een of ander probleem onstaat en dan ben je gemakkelijk weg voor enkele uren. Nu heb je wel het voordeel dat ze bij tweakers.net wel weten waar ze mee bezig zijn maar je mag nog zo goed zijn als je wilt, soms heb je van die problemen waarbij je niet meteen weet hoe of wat

[Kees]

Ik verwacht niet langer dan 5-10 minuten downtime te hebben als alles goed gaat; als het misgaat hebbben we dan nog 50-55 minuten om dat te fixen.

We weten donders goed dat er allerlei dingen mis kunnen gaan, vandaar dat we er een behoorlijke ruime tijd voor inplannen

[Martine]

Misschien een maffe vraag, maar waarom beginnen alle servernamen met een A?

[Kees]

Het zijn ook allemaal griekse namen die iets met de mythologie te maken hebben

Dat is ooit zo bedacht door Reinder, en sindsdien hebben we ons daar aan gehouden.

[Martine]

Okay, bedankt! Weer wat geleerd!

[Reinstein]

Reinder? ik weet van niks....

[i-chat]

wel als je over 5jaar terug komt op deze site, is ie groter dan google en geloof me dan is 't verrekte handig als per data-center je servers duidelijk en heel gemakkelijk te herkennen zijn...

[Kees]

als we over meerdere datacenters gaan zitten, dan laten we ze voor het tweede datacentrum wel met een andere letter beginnen

Maar zover is het nog lang niet, en de 2.5-3m pageviews die wij per dag doen worden prima door de 15 servers afgehandeld

[YVG]

Hebben jullie dat ding nu pas binnen !
We hebben dat ding een maand ,ofzo, geleden al in elkaar gezet.
En had toen nog spoed ook.

[Kees]

Wij hebben soms de neiging om spullen te testen voor we ze in het rack hangen, en daar kwamen een paar problemen uit (die achteraf gezien de schuld van hylke waren!! ).
Na de tests is hij afgelopen dinsdag in het rack gehangen, afgeconfigureerd, en nu dus in gebruik genomen.

[Hold]

Downtime???

[Reactie gewijzigd door Hold op 24 juli 2024 12:03]

[Kees]

geen problemen = korte downtime, veel problemen = lange downtime

Dit waren geen problemen

[Verwijderd]

Waar blijven de beloofde foto's inderdaad? Of hadden jullie het te druk met het leechen?

[moto-moi]

Volgens mij moet je het bericht nog eens goed lezen, daar staat bij binnenkort. Sowieso zijn kees en ik vanochtend vanaf huis bezig geweest, ip omzetten en files overgooien heb je echt geen fysieke toegang voor nodig

[Yonni]

En nu zijn er weer plaatjes down?

[Kixtart]

Probleempje met de fileserver, zie:
http://gathering.tweakers...message/29247771#29247771

Er wordt dus een .plan aan gewijd

Edit: Hoppa:
plan: Server- & netwerkstatusmeldingen VIII

[Reactie gewijzigd door Kixtart op 24 juli 2024 12:03]