Server- & netwerkstatusmeldingen X

Problemen met de servers en de netwerkverbinding van Tweakers.net worden in deze .plan gemeld. De laatste informatie over de serverloads en -uptimes kun je volgen op de statistiekenpagina.

Statusmeldingen

17-06-10 Zoals je hebt kunnen merken hebben we er even een half uurtje uitgelegen. De oorzaak hiervan lag in het netwerk van onze hostingprovider, iets wat wij nog niet vaak meegemaakt hebben. We zijn er weer, en we hopen ook weer te blijven!

17-02-10 Dus het was stuk, geen idee wat er nu weer aan de hand was, maar na tig machines te hebben gereboot (nieuw load record gehaald trouwens, 10000!), alles stijf te hebben gescholden wat er maar voor handen was, hebben we nu weer een semi site. Nu alle kleine puntjes weer aflopen..

19-01-10 Goed, zoals jullie merken hebben we nog altijd geen afbeeldingen. Ons filesysteem weigert na een disk failure de aanwezige hotspare te gebruiken, en nu blijkt ook met een nieuwe schijf aan boord dat het geval het hardnekkig blijft vertikken op normale wijze een rebuildcyclus uit te voeren. De machine gedraagt zich dusdanig wazig en tegenstrijdig dat we op dit moment geen idee hebben waar de uiteindelijke oorzaak gezocht moet worden.

Terwijl de engineers van Dell trachten het systeem toch tot leven te wekken zijn wij bezig met het optuigen van een andere machine die tijdelijk de taken van athos kan overnemen. Omdat zolang het kreng bokt geen data van het filesysteem kunnen trekken zullen we hiervoor een backup moeten terugzetten. In ieder geval hopen we in de loop van de avond weer afbeeldingen te kunnen serveren.

18-01-10 ocfs2 veroorzaakt meer problemen. Vandaag is blijkbaar een van de harde schijven overleden, wat zo te merken voor ergere problemen zorgt dan we tot nog toe van dit iscsi-systeem "gewend" waren. Kees is druk bezig met in ieder geval een firmware-update, die ons door de Dell-supportafdeling is aanbevolen, versneld te installeren. Misschien dat dat wat helpt, morgen krijgen we de nieuwe disk.

18-01-10 Nouja, ocfs2 gaat nu voor de verandering eens niet over de zeik, maar de achterliggende bak, aka, athos, onze iscsi bak. Ben blij dat er atm op kantoor een vervanger ligt waar we mee bezig zijn, dit begint te irritant te worden. Dus alle problemen die je ziet, icoons die niet willen uploaden, missende plaatjes, search die brak is, je weet nu waar je je fanmail heen kan sturen :|

Reacties (82)

Erg jammer dat de server dienst blijft weigeren. Toch maar eens kijken naar een andere opstelling?

Daar waren wij al mee bezig, maar de recente problemen maken dat steeds meer een haastklus. De vervangende server is er iig al en grotendeels geinstaleerd.

OpenSolaris werkt als een trein Installatie... 30 minuutjes

Ohja vergeet niet te unplumben (en IPv6 uitzetten op een netwerk wat het niet praat kan ook voordelen hebben)

[Reactie gewijzigd door Skinkie op 20 januari 2010 00:26]

als je de installatietijd als de tijd die een migratie van een serverpark naar een compleet ander systeem kost ziet getuigt dit van absoluut geen gevoel voor de werkelijkheid.

dat een installatie 30 minuten, 1 uur of 5 uur duurt maakt niet uit, dat je minimaal een half jaar aan het plannen, scenario schrijven, testen, herschrijven, hertesten en uiteindelijk implementeren lijkt een heel stuk realistischer.

Haast is een ziekte. Gewoon rustig aan, goed eten en op tijd naar bed, morgen is er weer een dag. Niemand sterft, lijdt zelfs geen honger, door een paar dagen zonder TN.

Zit ik net een post op het forum te maken, "kan pagina niet weergeven". Gvd, pagina terug, tekst pleite, kan ik weer opnieuw beginnen. Houd een andere tab in de gaten of T.net nog steeds bereikbaar is, klik op verstuur, BAM weer fout. Terug, weer tekst weg. Zeer frustrerend. Derde post kwam ondanks een database error gelukkig wel door.
Als het een DDOS is, laat mij dan even bij de dader, dan doet-ie het nooit meer

probeer ctrl-a, ctrl-c, verstuur, terug, ctrl-v

Ja, moet je dat net wel ff doen voordat je op 'verstuur' klikt slimmerik. Andere optie had ook printscreen kunnen zijn, al moet je het dan nog wel over typen. De essentie staat er nu iig, dat vind ik al genoeg.

Ik heb iets te vaak op F5 zitten rammen denk ik! Sorry

Of stap over op Opera, die bewaart de teksten die je aan het typen was .

Daar is vast een firefox plugin voor

(nieuw load record gehaald trouwens, 10000!)

Nogsteeds niet over op open solaris dus

Jawel... en rara wat nu bokte...

Kernel panic op 2009.06?

Nee, het systeem was gewoon bereikbaar (ik kon er op inloggen en heel leuk zien dat 'nfsstat' aangaf dat er niks met nfs gebeurde), desalniettemin was nfs niet bruikbaar en de nfs4-mounts op de servers waren allemaal onbruikbaar geworden.
Dat leverde weer enorme loads van wachtende processen op bij die servers en daar gingen ze niet erg goed mee overweg, met als gevolg dat we het halve serverpark uiteindelijk hebben moeten reboten.

Je gaat me toch niet zeggen dat je in de NFS Solaris vs Linux pitfall bent getrapt?

NFSv4 op Linux is experimenteel. En NFSv3 tussen Solaris en Linux is op z'n zachts gezegd niet compatibel vanwege de synchroniciteit van Solaris versus de asynchroniciteit van Linux. Dit is een zeer bekend probleem, ik vraag me dan ook af of je dat NFS probleem ook hebt gezien tussen een andere Solaris machine en je storage systeem.

Wat je hier probeert te doen is verre van een 'goeie combi', ik hoop dat je de rsize/wsize in ieder geval hebt geconfigureerd. Ik ben trouwens ook benieuwd of je het storage systeem hebt moeten rebooten om de boel weer werkend te krijgen.

Vertel eens waar dat "zeer bekende" probleem beschreven wordt dan? Want wij zijn daar niet tijdens het bekijken van oplossingen tegenaan gelopen...
Ik ben benieuwd of die 'bekende problemen' het soort zijn dat wat wij nu meemaakten konden verklaren.

En blijkbaar kunnen we het gewoon nooit goed doen, want nfs3+linux server en clients bokte, iscsi werkt niet lekker en nu is blijkbaar opensolaris +zfs+nfs4 (dat is een stuk fijner mounten als je meer dan 1 file system in je zfs gebruikt) ook al niks.

Mail dus

Nieuwe dag, ziet er goed uit, meeste plaatjes lijken weer te werken.
Opgelost? Of tijdelijke workaround?

http://twitter.com/keeshoekzema/status/7965192029

meeste plaatjes zouden weer moeten werken. Video's komen zo (die zijn ietsjes groter)

Volgens mij is er een nieuwe server ingericht voor levering van de pics en vids.
Oude athos wordt door Dell onder handen genomen in de martelkamer op het hoofdkantoor inmiddels?

Hmm, ligt Athos er weer uit?
Daarjuist een 404 bij het forum, en http://downforeveryoneorjustme.com/ gaf aan dat T.net down was? Overigens doet T.net het nu wel, maar zijn alle afbeeldingen weer weg

Weet iemand trouwens waar ik nog ergens dat overzichtje kan vinden van servers die up zijn en degenen die down zijn? Had het ten tijde van de Athos-crash ergens zien staan, maar kan het niet echt meer terugvinden.

[Reactie gewijzigd door Petervanakelyen op 17 februari 2010 17:42]

net weer een half uur down geweest

Die staan hierzo:
http://tweakers.net/stats/?Action=Serverstats

Nou, 't was wel indrukwekkend vandaag (cf. IRC down?). Tussen 21:37 en 22:09 zat er geen enkele Nederlander meer op T.net. Al wie vanuit het buitenland surfte had evenwel geen problemen. Heel gekke situatie dit.

Vanuit België kwam ik er toch ook niet op hoor

True down.

@ r.vd.essenburg

Meneer, uiteraard is het gezegde alles kan kapot zo. Echter is het wel bijzonder dat een simpele handeling zoals hotspares die de taken eigenlijk zonder problemen moeten overnemen, niet werkt. Het systeem is daar juist voor bedoeld en als dit vervolgens niet werkt, dan is dit in mijn ogen best wel jammer/zorgwekkend.

Echter is het wel bijzonder dat een simpele handeling zoals hotspares die de taken eigenlijk zonder problemen moeten overnemen, niet werkt. Het systeem is daar juist voor bedoeld en als dit vervolgens niet werkt, dan is dit in mijn ogen best wel jammer/zorgwekkend.

Exact. Het is juist de core functionaliteit van die bak om de array in stand te houden d.m.v. een failover systeem dat zeer gangbaar is, namelijk RAID. Als het dat al niet eens voor elkaar krijgt... Triest gewoon.

Waarom is er eigenlijk niet voor een eigen setup gekozen? Een (kale) Linux distro, software RAID, iSCSI serveren... lijkt me een veel makkelijker te debuggen setup namelijk. Nu hangt er een grote afhankelijkheid op de Dell bak/implementatie/software/support en dat is daarmee gelijk een 'extra' SPOF t.o.v. een eigen bak imo.

[Reactie gewijzigd door gertvdijk op 19 januari 2010 17:43]

Waarom is er eigenlijk niet voor een eigen setup gekozen? Een (kale) Linux distro, software RAID, iSCSI serveren... lijkt me een veel makkelijker te debuggen setup namelijk. Nu hangt er een grote afhankelijkheid op de Dell bak/implementatie/software/support en dat is daarmee gelijk een 'extra' SPOF t.o.v. een eigen bak imo.

Tsja, je gaat ervanuit dat iets hips als iscsi (wat we trouwens nog steeds vinden) hardwarematig meestal wel de voorkeur heeft tov. software. Alleen blijkbaar is er altijd iets mis als we storage willen hebben, de IBM die liep te kloten met z'n raidarray, nu dit graftakken ding, ik mag hopen dat ons nieuwe idee (opensolaris,zfs) beter gaat werken

Verder, spofs voorkomen is uiteraard tof, maar het moet wel enigzinds redelijk blijven qua prijs. Sowieso is dit iscsi gedrocht uitgevoerd met dubbele interfaces en zou 'ie -in theorie- niet stuk moeten kunnen. Blijkbaar lopen wij weer tegen een edgecase aan waardoor we zo'n ding in een paar dagen compleet aan de grond weten te krijgen. Mike Rowe zou trots op ons zijn

iSCSI is een prima protocol. En ben het zeker eens met moto-moi, redundantie is prima om je spofs zo min mogelijk te maken, maar je moet een bovengrens trekken en dat is bijna altijd de financiën. Je kunt een iSCSI systeem zo duur maken als jezelf wilt.
Toch blijf je afhankelijk van een stukje software, hoe redundant je het ook maakt. Het kan het iscsi protocol of de software van je raid controller zijn, het maak niks uit. Als je redundantie hebt, zit je vaak gebonden aan gelijke firmware versies, waardoor het andere stukje hardware precies dezelfde fout heeft als de originele hardware en je dus geen mogelijkheid hebt om terug te vallen op je back-up systeem.

Zoals eerder beschreven, heb ik een gelijkwaardige situatie meegemaakt en een firmware update zou dit moeten voorkomen (Vertelden de mensen van HP mijn achteraf). Maar mijn motto "if it's aint broken, don't fix it", was van toepassing voordat de boel op z'n gat ging. Ben hier nu wel iets op terug gekomen en lees nu wel altijd de release notes voor elke nieuwe firmware versie uitgebracht voor mijn hardware, om toekomstige problemen te voorkomen.

Maar ben heel blij met mijn back-up systeem, wat nog wel netjes heeft gelopen van die dag ervoor.

Zie nog geen status update van de huidige situatie van tweakers.net, succes mensen. Jullie zullen vannacht wel doorgaan, ik duik zo mijn nest in.

Tsja, je gaat ervanuit dat iets hips als iscsi (wat we trouwens nog steeds vinden) hardwarematig meestal wel de voorkeur heeft tov. software.

Waarom? Hip is geen argument. En iSCSI is niet iets wat alleen in hardware voorkomt.

ik mag hopen dat ons nieuwe idee (opensolaris,zfs) beter gaat werken

Dat wordt dan een software oplossing? Daar heb ik dan inderdaad meer vertrouwen in.

Verder, spofs voorkomen is uiteraard tof, maar het moet wel enigzinds redelijk blijven qua prijs. Sowieso is dit iscsi gedrocht uitgevoerd met dubbele interfaces en zou 'ie -in theorie- niet stuk moeten kunnen.

En wat als je zelf een bak samenstelt met gelijke specs in eigen config? Lijkt mij alleen maar goedkoper dan zo'n zeer specifiek product.
En stuk kan iets altijd gaan; het gaat om de oplosbaarheid wanneer een probleem optreedt. En juist dat is véél beperkter bij zo'n hardwarematige oplossing.

[Reactie gewijzigd door gertvdijk op 20 januari 2010 10:27]

+1

Eigenlijk dacht ik min of meer hetzelfde. Maar ik wilde geen kritiek geven omdat het makkelijk praten is vanaf de zijlijn.

Dit gejank van OCFS gebeurt wel vaker helaas.
Ik was benieuwd of de sysops van Tweakers al ideeën hebben en of ze al weten hoe hier een eind aan kan komen en wat er steeds gebeurd ?

ik ben ook wel benieuwd...

Dit was helemaal geen "gejank met OCFS", want dat gebruiken we sinds de aankondiging daarover van een paar weken gelden niet meer

Voorlopig terug naar NFS?

Wat ging er zojuist mis?

-edit: http://www.webhostingtalk...result&qtid=346769&r=7379

[Reactie gewijzigd door FlorisB op 1 februari 2010 13:08]

nvm.
Parse error: syntax error, unexpected T_STRING, expecting ')' in /mnt/web/tweakers/inc/config.inc on line 416

Ligt het forum er weer uit? Ik krijg nu een "error 404", terwijl de FP het wel gewoon doet...

Edit: ok, hij doet het weer. Korte hik kennelijk. Nevermind

[Reactie gewijzigd door wildhagen op 17 februari 2010 16:36]

Nu ligt het forum weer plat. ook een 404 (hoewel eerder access denied, 403)