Hoofdcategorieën
Device Settings

Ontbrekende afbeeldingen door fileserverproblemen - update

Door Arjen van der Meijden, woensdag 20 januari 2010 12:02, views: 23.780

Zoals jullie ondertussen vast wel doorhebben, worden de afbeeldingen in de content, avatars en diverse andere plaatjes sporadisch of helemaal niet weergegeven. Dit komt doordat onze centrale iSCSI-server Athos er inmiddels volledig de brui aan heeft gegeven. Het daarop liggende OCFS 2-filesysteem heeft voor de verandering redelijk weinig met de problemen te maken.

Gistermiddag bleek dat een disk van de raid5-array van Athos als 'failed' gezien werd. Helaas weigerde de controller echter om de reserveschijf (blijvend) in gebruik te nemen en ook een nieuwe disk wordt door Athos structureel genegeerd. Een en ander is ondertussen zó onduidelijk, zowel voor ons als voor de support-afdeling van Dell, dat we een andere machine als storageserver aan het inrichten zijn. Daardoor zouden we in ieder geval morgen een oplossing voor deze situatie moeten hebben, ook als Athos dan nog steeds loopt te bokken.

Hoelang de problemen nog aanhouden is ons dus helaas ook niet bekend. Hoewel we niet vreselijk veel data op Athos opslaan, gaat het toch over behoorlijk wat gigabytes aan kleine files. Zelfs het kopiëren uit de backup kost daardoor veel tijd. We proberen in elk geval om het ongemak zo snel mogelijk te verhelpen.

Update:

Ondertussen is een andere server aangesteld om de data die op Athos stond, via nfs aan te bieden. Aangezien we al bezig waren met een permanente vervanger voor het iSCSI+OCFS 2-verhaal, verwachten we dat deze oplossing hooguit enkele weken in gebruik blijft.

Zodra we die nieuwe oplossing in gebruik nemen, kondigen we dat uiteraard weer met een .plan aan.

Volgende 16:22 Development-update januari 2010
Vorige 01-'10 Tweakers.net zoekt nieuwe nieuwsposters

Reacties

«  1  2  3  4  5  6  »

OK. Vervelend voor jullie jongens. Succes ermee.

Okej, vervelend.... hoop dat het snel weer werkt. Succes met fixen! :)

Aha, ik begon al te twijfelen aan mijn computer.
Maar er is dus een aparte server voor alleen de afbeeldingen, ik dacht dat dat allemaal op een server werd gehost.

Tegenwoordig worden bij websites met veel traffic (zoals tweakers) de afbeeldingen en scripts vaak op een andere server gehost. Als ik me niet vergis is dit om enige snelheidswinst te behalen bij het laden van een pagina.

Dit heeft er mee te maken dat er maar een beperk aantal verbindingen naar een server kunnen worden gelegd door de client. Doordat de afbeeldingen via een ander domein te laten lopen kunnen er in totaal meer verbindingen worden ingezet voor het opbouwen van de pagina.

Het domein dat T.net gebruikt voor zijn afbeeldingen is ic.tweakimg.net
Ook omdat dit domein niet met cookies werkt levert dit een kleine snelheidswinst op per client maar in totaal is dit wel redelijk te noemen.

Voor meer informatie kun je hier verder lezen: plan: Content-afbeeldingen voortaan via ic.tweakimg.net

[q]Dit heeft er mee te maken dat er maar een beperk aantal verbindingen naar een server kunnen worden gelegd door de client. [/q
Overigens gaat het alleen om een ander domein, het is niet per se noodzakelijk om hier ook een fysiek andere server voor de gebruiken. Als je het echter om een site met veel trafic hebt, zoals tweakers.net, dan is het vaak weer wel zinnig om dit soort zaken fysiek te scheiden - de rest van de uitleg klopt wel overigens :)

Bij t.net is er dus ook een scheiding tussen de server die voor de plaatjes zorgt, de database server, de "front end" server ("tweakers.net"), file server en nog een aantal andere servers...

Volgens de http-specificatie hoort een client niet meer dan 2 verbindingen met een webserver te hebben. Meer servers is dus ook meer gelijktijdige downloads.

Zie daarvoor RFC2616 8.1.4 Practical Considerations
http://www.faqs.org/rfcs/rfc2616.html\
<quote>
Clients that use persistent connections SHOULD limit the number of simultaneous connections that they maintain to a given server. A single-user client SHOULD NOT maintain more than 2 connections with any server or proxy.
</quote>
In Firefox lijkt 6 connectionsr inmiddels standaard? network.http.max-persistent-connections-per-server

Clients that use persistent connections SHOULD limit the number of
simultaneous connections that they maintain to a given server. A
single-user client SHOULD NOT maintain more than 2 connections with
any server or proxy. A proxy SHOULD use up to 2*N connections to
another server or proxy, where N is the number of simultaneously
active users. These guidelines are intended to improve HTTP response
times and avoid congestion.
1. Er staat 'should' en niet 'must'. Er is dus geen sprake van dwang. Hooguit een zeer dringend advies.
2. Er wordt gesproken over 'guidelines'. Het wordt dus aangeraden, maar is niet verplicht. Even een quote van Wikipedia: "By definition, following a guideline is never mandatory (protocol would be a better term for a mandatory procedure)."

Misschien een kwestie van interpretatie, maar nergens staat IMO dat een client maar 2 connections hoort aan te gaan. Er staat alleen dat geadviseerd wordt dat een client niet meer dan 2 connecties aangaat.

Overigens zou IE8 standaard ook maximaal 6 connecties aangaan. (http://www.stevesouders.c.../10/ie8-speeds-things-up/)

Rechtstreekse bron: http://www.microsoft.com/...iness/developers-new.aspx.
Six connections per host for broadband scenarios instead of two, and a scriptable property, improve performance by allowing parallelization of downloads in Internet Explorer 8. This also increases functionality by ensuring that a request is not blocked to a host if two connections already exist. Websites can optimize downloads based on the window.maxConnectionsPerServer property.
Het document dat je aanhaalt is zo te zien inmiddels ruim 10 jaar oud (1999), in die tijd is de capaciteit van servers drastisch gestegen. Je kan je dus afvragen of dit advies inmiddels niet achterhaalt is.

[Reactie gewijzigd door Aganim op woensdag 20 januari 2010 01:02]


Aan de andere kant moet er ook een DNS look-up gedaan worden (eenmalig voor de eerste request tot de cache TTL verstreken is). Dit kost vaak ook nog wel aardig wat tijd (van +/- 100ms tot soms wel 1000ms).

Maar uiteraard is het uiteindelijk voor een site als t.net voordeliger, omdat er behoorlijk wat statische content geladen moet worden.

Tegenwoordig worden bij websites met veel traffic (zoals tweakers) de afbeeldingen en scripts vaak op een andere server gehost. Als ik me niet vergis is dit om enige snelheidswinst te behalen bij het laden van een pagina.
Dat, maar ook kun je door fysiek verschillende servers te gebruiken die servers specialiseren. Een fileserver heeft zo op zich geen enorm sterke processor nodig, maar wel goede storage (veel ruimte, redundantie) en een stevige netwerkverbinding. Een databaseserver heeft vooral snelle opslag en verwerkingssnelheid nodig, maar hoeft geen verbinding met de boze buitenwereld te hebben (en een DB server wordt natuurlijk in tweevoud opgeleverd). En tenslotte een webserver, die weinig opslag nodig heeft (daar de PHP scripts van T.net weinig ruimte innemen), maar wel een stevige processor om de zaak te berekenen.

Een databaseserver heeft vooral snelle opslag en verwerkingssnelheid nodig, maar hoeft geen verbinding met de boze buitenwereld te hebben
Euhm ik wil niet moeilijk doen, maar een database server die geen connectie met de buitenwereld heeft is een waardeloze server... en een goede verbinding ook als je latentie en bandwith wat onder controle wil houden.

Een db server heeft bijna (helaas komt het nog wel eens voor) nooit verbinding met de grote boze buitenwereld (het internet) nodig, het is voldoende als de webserver hem kan bereiken. Ook al ben ik een tweaker ik heb er geen behoefte aan om met een MySQL client t.net te lezen ;).

een db server die in verbinding staat met een webserver is toch wel indirect verbinding met de boze buitenwereld? dat is toch juist de manier hoe mensen in belangrijke zogenaamd goed beveiligde projecten kan komen, door 1 andere pc die wel met internet als beveiligde ding is verbonden? het is misschien wel lastiger om erin te komen via de buitenwereld, maar het kan vast nog wel.

en voor debugging is het soms ook wel leuk om de database te kunnen bereiken hoor, dat je niet eerst naar de serverruimte moet om daar verbinding te maken

Ik had hier gisteravond al last van, dacht ook dat het aan m'n pc lag dus flashplayer geupdate en al die meuk.. Nog geen resultaat :P
Succes met de rebuild!

Haha, dacht hier het zelfde.
Dacht van doet mn pc toch vreemd.

Maarja hoop dat jullie de boel weer draaiden kunnen krijgen en anders ook niet direct een ramp omdat het alleen wat kleinere bestanden betreft.

En zoals DJT88 al zij, Success met fixen :P

Haha ik was dus niet de enige met die gedachte! Ik was ook al aan het updaten geslagen |:( hehe :+

Maare, succes met de herstelwerkzaamheden mannen!

ik dacht dat het aan m'n FF en caching lag, die dus beide gechecked en ook de site eens in IE geopend, maar daar hetzelfde probleem: conclusie was dus redelijk snel dat het server-sided moest zijn

Maak er maar veertien losse servers van. Natuurlijk niet allemaal bezig met maar 1 specifieke taak, maar toch.

Ik had een zelfde soort reactie, alhoewel ik er na een snelle check al achter was dat het niet aan mij lag, is dat toch de eerste aanname die je maakt. T.net heeft het altijd zo goed voor elkaar dat je gewend bent dat dit de enige site is op internet die het altijd doet. Wat ook blijkt uit het feit dat een ernstig bokkende server minimale interruptie oplevert en heel rap vervangen is. :)

Ga zo door mannen! En veel succes met fixen. :)

Zeer vervelend, hoop dat dit snel opgelost is

Anders ga je toch je geld terugvragen? Oh wacht.. :X

Vond al gisteren, dat het laden van sommige pagina's wat lang duurde (of pas de tweede poging lukte).
Succes ermee en misschien komt er uit de huidige chaos nog een briljante nieuwe ontwikkeling aan de oppervlakte.

ahh shit happens, hoop dat het snel gefixt wordt :)

Zonder plaatjes laad de site wel wat sneller ;), maar het is bepaald hinderlijk dat de plaatjes missen.

Is dat zo? Volgens mij is duurder om 404's te tonen dan deze gewoon te laten zien.

Zeer vervelend maar jullie lossen het zeker op! :D

Kan gebeuren, doe je niks aan.

Succes!

Heel jammer en 'kan gebeuren'. Succes met het oplossen van het probleem.
«  1  2  3  4  5  6  »

Op dit item kan niet meer gereageerd worden.

Volgende 16:22 Development-update januari 2010
Vorige 01-'10 Tweakers.net zoekt nieuwe nieuwsposters
VNU Media logo Hosted by True

© 1998 - 2012 Tweakers.net B.V. - Alle rechten voorbehouden - Contact - Jouw privacy - Algemene Voorwaarden

Uitgever van:

Website van het jaar 2011