Vorige week donderdag werd door mij en Daniël een bezoekje gebracht aan de TrueServer colo in TeleCity in verband met de stabiliteitsproblemen van de webserver Aphrodite. Appie ging in mei stuk toen we nog bij Vuurwerk werden gehost. De oorzaak bleek een brakke netwerkkaart te zijn. Eind mei werd Aphrodite in een herbouwde geconfiguratie met een nieuwe behuizing en andere NICS teruggeplaatst bij Vuurwerk, maar al vrij snel ging de machine werderom plat. Tijdens de TrueServer verhuizing op 15 juni, toen er eindelijk tijd was om de problemen met Aphrodite nader te inspecteren, constateerden we dat de server willekeurig na enkele minuten crashde zodra de behuizing werd gesloten. Vorige week zijn de problemen met succes opgelost door vervanging van het moederbord en de heatsink. Sindsdien draait Appie samen met Athena en Odin mee in het webserver cluster dat Tweakers.net en Fok! serveert.
 |
Bij onze aankomst in de TrueServer colo bleek dat Artemis plotseling niet meer gepingd kon worden over de NIC voor het interne netwerk, die gebruikt wordt voor het SQL verkeer. De connect scrippies zijn daarna zo snel mogelijk aangepast zodat de SQL queries over de netwerkkaart voor het externe (internet) netwerk werden omgelegd. De oorzaak van de problemen zijn ons niet duidelijk geworden. Het verwisselen van de UTP kabels, het proberen van een andere poort op de switch en het resetten van de switch had geen effect. Uiteindelijk bracht een reboot oplossing. De connect scripts van Tweakers.net zijn inmiddels zodanig aangepast dat bij een falende connectie op het interne netwerk automatisch het externe netwerk wordt geprobeerd.
 |
Volgens de management software van de twee Micronet switches die we sinds de TrueServer verhuizing gebruiken, genereerden de 3Com netwerkkaarten van Athena een ongezonde hoeveelheid collisions. Botsingen tussen netwerk packets horen uiteraard niet voor te komen als een netwerkkaart in zijn uppie gebruik maakt van een switch poort. Beide NICs zijn daarom vervangen door twee nieuwe 3Com's die we ter plekke uit onze rescue kit toverden. De downtime van Athena bedroeg slechts enkele minuten. Na het vervangen van de netwerkkaarten zijn alle collisions verdwenen. Verder werden de UTP kabels op de switches opnieuw gereorganiseerd, waardoor sommige servers voor enkele seconden onbereikbaar waren.
Meer NIC troubles
Zondagochtend is Arshia, de webserver waar het forum op draait, enige tijd onbereikbaar geweest. Opnieuw bleek een niet-functionerende netwerkkaart het probleem te zijn. Arshia was nog wel bereikbaar via het interne netwerk en kon op die manier zonder de hulp van de Masterswitch gereset worden. Na de zoveelste problemen met 3Com netwerkkaarten hebben we inmiddels besloten om in het vervolg gebruik te maken van Intel NICs.
 |
De foto's van de TrueServer verhuizing kunnen hier bezichtigd worden.
:strip_exif()/u/2600/avatar.gif?f=community){kind=avatar}
:strip_icc():strip_exif()/u/4738/crop61e94d5cc0eac.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/24831/fsn-rin.jpg?f=community){kind=small}
