Nog meer server-onderhoud *updated*

Gisteren (woensdag 4 april) is de voeding van Artemis vervangen, hierdoor hadden we ongeveer een uur downtime, we kwamen toen een aantal problemen tegen:

• De SuperMicro 370DLE die we gebruiken gaf wat problemen met de twee Pentium III 1GHz processoren. Na het wisselen van de processoren van socket werkte dit wonderbaarlijk wel. Een volgende keer dat we een upgrade zullen uitvoeren moeten we echter even het BIOS flashen naar de laatste versie, naar het schijnt heeft dit moederbord ondanks eerdere berichten van Supermicro nog steeds wat problemen met de twee 1GHz processoren.
  
• De SCSI kabel die de vier Seagate Cheetah X15 harddisks aan elkaar verbindt heeft een kapotte connector. Hierdoor kan de controller nog niet volledig gebruik maken van de schijven. Deze kabel willen we zo snel mogelijk vervangen.

Ook zijn we op dit moment in gesprek met 2source4 over een Cisco Catalyst 2924XL Enterprise switch. Deze zullen we uiteraard eerst ook moeten configgen, daarna kunnen we hem in het rack plaatsen.

De bedoeling is om volgende week de SCSI-kabel te vervangen en het BIOS van het moederbord te flashen. Eventueel kan dan ook de nieuwe switch worden geplaatst. Dit zal naar alle waarschijnlijkheid dus wederom op een woensdag (18 april) gebeuren tussen 16:00 en 17:00. Ik zal proberen in samenwerking met Femme, Kees en Rick deze week nog een verhaaltje (met foto's) te schrijven over de upgrades die we net achter de rug hebben en de hardware en apparatuur die we allemaal nog gaan plaatsen .

Update:

We hebben besloten alle upgrades in één keer te willen doen, dit scheelt downtime en eigenlijk kunnen we op dit moment alleen de SCSI kabel vervangen aangezien de harddisk van Apollo (de nieuwe DB-server) nog niet binnen is. Seagate Cheetah X15's blijken erg moeilijk leverbaar te zijn en de HD komt waarschijnlijk één dezer dagen binnen.

Verder hebben we zojuist van GaMeOvEr een Cisco 2924M-XL-EN switch te leen gekregen voor ongeveer 2 maanden. Deze moet nog geconfigged worden, waarna deze ook bij Vuurwerk geplaatst kan worden. Aanschaf van onze eigen switch is daardoor voorlopig overbodig geworden.

Zoals het er nu naar uitziet zal de upgrade woensdag 2 mei kunnen plaatsvinden, dit alles natuurlijk onder voorbehoud .

27-04: De 2U kast voor Apollo wordt vervangen door een 3U Antec U3U20ATX300. De 2U Procase rackmounts die we voor Odin en Arshia gebruiken hebben een PCI riser card met 3 slots, maar de 2U kast die ons door Hardware.nl werd geleverd heeft er slechts 2 en is nogal krap. In het 3U kastje van Antec staan de PCI kaarten gewoon rechtop en is er dus ruimte voor kaarten.

Reacties (50)

[Marcel van Veen]

Mooi. Goed om te zien dat er zoveel wordt gesleuteld om een werkende en stabiele omgeving te creeren voor T.net (en Fok! en GOT en Fok!Forum). Het ironische is wel dat om downtime te voorkomen er eerst downtime moet zijn

[witchdoc]

Misschien ook effe de moeite om op de error-page die we allen dan te zien krijgen te vermelden wat er precies aan de hand is en hoe lang jullie denken dat het zal duren.
Niet iedereen leest dit bericht en niet kunnen connecten terwijl je niet weet waardoor is erg irritant.

[CyberSnooP]

te leen gekregen voor ongeveer 2 maanden

Is dat niet een beetje kort? Na die 2 maanden moet je hem weer weghalen... en dan? Lijkt mij toch prettiger om zelf een switch aan te schaffen.

[Krypt]

te leen gekregen voor ongeveer 2 maanden

Is dat niet een beetje kort? Na die 2 maanden moet je hem weer weghalen... en dan? Lijkt mij toch prettiger om zelf een switch aan te schaffen.

Heb je gezien wat zo'n switchje kost? Catalyst 2900 XL WS-C2924C-XL-A (vergelijkbaar met de WS-C2924M-XL-EN) kost 5963,- guldentjes.
(Volgens de pricewatch, vind het wel wat veel)

Kunnen ze beter even lenen vind ik... is een flink bedrag om in een keer uit te geven...

[tex5]

Huh, waarom die cisco "enterprise" switch?

[Daniel]

Sja, die 6 servers hangen nu nog aan een 3Com home-network geval van Femme en daar moet toch wel een alternatief voor komen .

We wilden erg graag een managable switch, vandaar deze...er zijn we alternatieven maar voor deze Cisco konden we dus nog wat dealen met de prijs enzo .

[tex5]

Ah heh, dacht dat jullie gewoon elke server op een switch van Vuurwerk hadden hangen

Managable switch, wat heb je daar eigenlijk aan? Als je niet 20 andere switches er op zet met elke weer 20 servers lijkt het me beetje overdone. Het kost je toch weer extra tijd, dat managen en configgen.. terwijl het volgens mij geen fuck uitmaakt voor de snelheid ofzo. Gebruik zelf paar netgear switches, eentje met 1000mbit ports en mja tis zo makkelijk Je hoeft hem alleen maar aan te zetten en het scheelt toch veel in prijs. Voor routers lijkt het me duidelijk dat je cisco pakt of een ander "groot" merk maar bij switches voor een "paar" (like tot 20) servers maakt het niet veel uit. Maja als je hem toch gesponserd krijgt zou ik er ook voor gaan ja.. als je de tijd om hem te managen erin wil steken that is.

[Floor-is]

We kunnen gebruik maken van de Switch van vuurwerk, deze wordt echter ook door anderen gebruikt, omdat we willen voorkomen dat een of andere onverlaat een van onze kabels er uit haalt plaatsen we een eigen switch.

Daarnaast zijn er nog een heel aantal voordelen:
1. We kunnen users op de switch bannen, zodat een user bijvoorbeeld wel van t.net gebanned is, maar niet van het forum of andersom. En zodat de user wel gebruik kan blijven maken van fokzine en/of realgamer.
2. We kunnen beter inschatten hoeveel unieke bezoekers we hebben.
3. We kunnen eindelijk zien hoeveel intern en extern dataverkeer we _precies_ hebben.
4. We kunnen door gebruik v/d switch eenvoudiger _tijdelijk_ 1 server uit het rack halen voor onderhoud zonder een deel van de site plat te leggen. (DNS round robin snapt het namelijk niet zo goed zoals het nu is).
En zo nog legio dingen.

[Verwijderd]

Met je eigen switch ben je er natuurlijk ook zelf voor verantwoordelijk. Dus alstie kapot gaat..

[tex5]

1. Huh, the cisco switch snapt jullie login systeem? Nice
2. Aight, zou niet weten hoe maar als het kan idd cool.
3. True true Als je geen router gebruikt moet je zoiets idd met een switch doen.
4. Probably yeah.

Iig. thx for da infos.. snap het nu

[Hans]

Daarnaast zijn er nog een heel aantal voordelen:
1. We kunnen users op de switch bannen, zodat een user bijvoorbeeld wel van t.net gebanned is, maar niet van het forum of andersom. En zodat de user wel gebruik kan blijven maken van fokzine en/of realgamer.
2. We kunnen beter inschatten hoeveel unieke bezoekers we hebben.
3. We kunnen eindelijk zien hoeveel intern en extern dataverkeer we _precies_ hebben.
4. We kunnen door gebruik v/d switch eenvoudiger _tijdelijk_ 1 server uit het rack halen voor onderhoud zonder een deel van de site plat te leggen. (DNS round robin snapt het namelijk niet zo goed zoals het nu is).

Dit alles kan ook allemaal met IPchains of IPtables. Dont need no steenkin' Cisco switch for that .

[Verwijderd]

Neuh, maar hardware 'switcht' nog altijd stukken sneller dan software.

[Femme]

Zo'n gezellig knipperend OfficeConnect switch gevalletje geeft anders wel een warm huiselijk gevoel tussen al die kille 19" apparatuur .

[Grenco]

Zeg femme? wat is er mis met het oude vertrouwde COAX 10Mbit/s ??? Is dat soms weer niet goed genoeg? nou ? nou ?

Enne, de tweakout logo hebben een mooi plekje aan m'n muur gekregen hoor

[arnob]

Ik vind Cisco erg goed met routers, je kan bij wijze van spreken op de naam gaan. Maar met switches, dan zegt Cisco me niet zoveel. Niet dat het slecht zal zijn maar ik denk meer aan de 'Cisco' prijzen. Die zijn in het algemeen toch erg pittig.

[Verwijderd]

Cisco was heel erg goed... Nou zijn er echter anderen die betere produkten maken. Zoals Juniper, Extreme networks en Netscreen.

[Bezulba]

wrom worden die upgrades niet 's ochtends zo vroeg mogelijk gedaan zo rond een uurtje of 8:30 dan is het nog niet zo druk als 's middags en hebben minder mensen er last van

[Femme]

Omdat we dan geen toegang tot de serverruimte kunnen krijgen (knutseluurtje voor co-located klanten is op woensdag tussen 16:00 en 17:00u).

[aKra]

Slechte server-ruimte dan... Degene waar ik goed contact mee heb is gewoon 24/7... Co-located of niet.

[Femme]

Heeft te maken met een gebrek aan personeel.

[aKra]

Hmmm... Ik weet niet hoe het met Vuurwerk werkt, maar waarom zouden jullie geen eigen access tot het data center mogen krijgen? Ze hebben er toch wel camera's hangen etc. en je bent een betalende klant?

[Floor-is]

Camera's ja (3 verschillende systemen zelfs als ik me goed heb laten informeren). Alarm ja ook dat, beveiligingsagenten 's nachts die langshobbelen af en toe: ook al.

Echter: We zijn geen betalende klant En we worden net als elke andere colocator behandeld. We kunnen af en toe wel een keer een half uurtje of een uur ofzo op een ander moment, maar dat is in principe niet de bedoeling zegmaar.

[aKra]

Ik snap ja ;-)

Alsnog mooi, nu maar hopen dat we eindelijk goed kunnen surfen zonder dat de database hard gaat flippen :-)

Anders heb ik nog wel een dual'tje voor de sponsorering

[Verwijderd]

Maar wat dan als het een grote klus is die in 1 keer afgerond moet worden? en dat lukt niet binnen 1 uur?

[Floor-is]

Dan moet je in principe je server mee naar huis nemen en daar het onderhoud plegen. Meestal kan je echter wel wat langer onderhoud plegen, het is niet de bedoeling, maar wordt vaak wel gedoogd.

Daarom was Artemis dus ook uit het Rack gehaald, het onderhoud was niet binnen 1 of 2 uur uit te voeren, dan haal je je server uit het rack (kost je dus downtime, of in ons geval het gemis van een aantal functies) en kan je hem de volgende dag weer terugplaatsen.

[tabaqui]

Ik denk omdat de server crew dan in de file moet staan en asociaal vroeg hun bed uit moet gaan. Volgens mij woont femme namelijk niet naast vuurwerk en de andere mensen van het server park ook niet.

En er zijn maar 3 mensen fulltime met t.net bezig. de rest werkt hieraan in hun vrije tijd. Dan komt aan het einde van de middag ook beter uit lijkt me (correct me if i'm wrong).

Als je echt een update zou willen doen als er bijna niemand last van heeft moet je het om 04.00 doen.
check dit maar .

[victorb]

Nou bij vuurwerk slapen ze dan nog

[0siris]

Hoe krijgt in hemelsnaam een kabel in een server waar je niet dagelijks aan zit te prutsen een kapotte connector? Heeft de schoonmaakdienst met de stofzuiger in de server zitten rossen ofzo?

[P5ycho]

Floris heeft er per ongeluk over gekwijld toen ie boven Artemis hing

[Floor-is]

Nee ik denk eigenlijk dat tijdens het vorige onderhoud er een foutje is opgetreden, er is toen naast de 4 SCSI schijven ook een IDE drive geplaatst (WD 205BA). Hiervoor moest de kabel er even uit en weer in, ik denk dat bij het herplaatsen van de kabel er een pinnetje krom is gebogen...

(Er is een pin krom iig)

[sju]

Nou snap ik et ff niet..
-Er staat bovenaan dat er een connector van de KABEL stuk is.. en dat de KABEL vervangen moet worden.. maar je zegt hier dat er een pinnetje krom is..
Dus of ik ben dom omdat ik niet weet dat die SCSIkabels pinnetjes hebben , of er is geen pinnetje van de kabel krom maar van iets anders..

[Femme]

LVD SCSI connectors zijn mannelijk, dus pinnetjes in de connector op de kabel en gaatjes in de connector op de harddisk .

[Verwijderd]

En de pinnetjes zijn _klein_ die zet je dus niet effe recht met een schroevendraaiertje ofzo .

[Verwijderd]

Gaan jullie de replication server ook bij vuurwerk neerzetten? Of ergens anders. Als jullie de tweede cluster ergens anders willen plaatsen, dan wil ik jullie wel sponseren met een rack + bandbreedte.

[Ulysses]

Ja, jij hebt wel 40U en 1TB per maand over voor gratis in een goed geroute netwerk? Hmmm volgens mij heeft Tweakers.Net qua hosting nu al wel de beste deal.

[Verwijderd]

Ja hoor
Ik heb maar 1 hop tussen de kast en de ams-ix.

traceroute to www.tweakers.net (62.250.6.5), 30 hops max, 40 byte packets
1 ams-ix (217.115.192.1) 0.192 ms 0.147 ms 0.253 ms
2 sara.amsix-ge1.versatel.net (193.148.15.47) 0.705 ms 0.830 ms 0.542 ms
3 62.58.131.17 (62.58.131.17) 0.705 ms 0.731 ms 0.831 ms
4 srp0-0.12008-1.hlm.versatel.net (62.58.128.69) 1.309 ms 1.326 ms 1.303 ms
5 62.58.143.141 (62.58.143.141) 1.486 ms 1.430 ms 1.300 ms
6 62.58.142.2 (62.58.142.2) 1.619 ms 1.679 ms 1.708 ms
7 194.178.232.1 (194.178.232.1) 2.474 ms 72.002 ms 3.243 ms
8 unused-62-250-6-5.vuurwerk.net (62.250.6.5) 2.408 ms 2.541 ms 3.178 ms

[Floor-is]

Heb ik dan bij toeval van jou ook net dat mailtje gehad?

Ennuh de schatting op het moment is dat we 1,5TB dataverkeer hebben. We hebben ongeveer 23U nodig om de servers te kunnen plaatsen. (En de switch en ik heb voor het gemak ook de GameServer maar even meegerekend ). als dat mailtje van jou is, dan zal ik wel ff contact met je opnemen

[fallen_angel]

Waar is die server ruimte van Vuurwerk eigenlijk? Ik krijg sterk het idee dat die op de kruislaan in Amsterdam is, maar goed. Ik weet ook niet alles.

[Femme]

Vuurwerk zit in Haarlem (NOC zelf zit ergens op industrieterrein Waarderpolder). Van daaruit 2x622Mbit naar Amsterdam.

[XDK]

Het is inmiddels 22 april ik helemaal niets meer gelezen over het onderhoud op 18 april. Wat is nu eigenlijk de status ?

[Femme]

De harddisk komt pas op de 23ste (Cheetah X15's zijn moeilijk leverbaar), dus waarschijnlijk kan Apollo pas over 1,5 week geplaatst worden.

[knutsel smurf]

die Cisco Switch is echt een lekker dingetje ik heb er ook 1 hier en Geloof me daar kan je echt veeel mee.
Als er nog hulp nodig is moet je maar ff mailen

[Verwijderd]

Cisco is goed, alleen het configgen is een .. .. nouja je weet wel

[Martin Sturm]

Dat moet je kunnen, maar als je het kunt, is het volgens mij niet zo moeilijk.