Mirrordot gaat Slashdot-effect tegen

Al jaren veroorzaakt Slashdot.org een ongewenst effect op internet. Het weblog is zo populair dat iedere site die erop gelinkt wordt direct een vloedgolf van bezoekers over zich heen krijgt, wat met name bij kleinere sites zeer regelmatig het gevolg heeft dat ze volledig onbereikbaar worden. Dit zogenaamde Slashdot-effect veroorzaakt irritatie bij zowel hun eigen bezoekers als de beheerders van de getroffen sites. Het nieuwe project Mirrordot biedt een oplossing, door in alle nieuwe berichten te scannen naar links en vervolgens mirrors te bouwen van de pagina's waar naar verwezen wordt. Mirrordot is begonnen als een testproject, maar toen het ook echt bleek te werken heeft men besloten om het beschikbaar te maken voor het publiek. Niet iedereen is overigens even positief over het initiatief. Hoewel men het er wel over eens is dat er iets gedaan moet worden om kleine sites te beschermen tegen het Slashdot-effect, kunnen de grotere sites juist inkomsten mislopen door de mirrors. Ook wordt opgemerkt dat een dergelijk initiatief niet van derden maar van Slashdot zelf zou moeten komen.

Ook Tweakers.net heeft het verschillende keren zwaar gehad met de Slashdotters

Reacties (41)

[lost95]

Misschien ook wel interessant:

Slashdot should cache pages to prevent the Slashdot Effect!
Sure, it's a great idea, but it has a lot of implications. For example, commercial sites rely on their banner ads to generate revenue. If I cache one of their pages, this will mess with their statistics, and mess with their banner ads. In other words, this will piss them off.
[..]
So perhaps we could draw the line at sites that don't have ads. They are, after all, much more likely to buckle under the pressure of all those unexpected hits. But what happens if I cache the site, and they update themselves? Once again, I'm transmitting data that I shouldn't be, only this time my cache is out of date!
[...]
So the quick answer is: "Sure, caching would be neat." It would make things a lot easier when servers go down, but it's a complicated issue that would need to be thought through in great detail before being implemented.

http://slashdot.org/faq/suggestions.shtml#su900

[n4m3l355]

een optie zou zijn om zoiets als een rss feed te construeren als mirror zijnde zodra de originele webbie getweaked wordt de volgende push feed de mirrors update om zodoende het cachen in te perken en toch up to date te blijven. en via die feeds maak je ook direct kenbaar dat je gemirrord wilt worden zodra commerciele sites niet hoeven te zeuren

[Olaf van der Spek]

Een betere optie is om peer to peer technieken in te zetten waarbij een groot deel van de content (alle images bijvoorbeeld) peer to peer verzonden wordt en alleen HTML nog maar van de originele server afkomt.

[leuk_he]

Dat staat er al jaren. En de editors weigeren hieraan iets te doen. Er zijn wel vaker mirror/cache systeemen langs gekomen.

In feite veroorzaakt /. ze een heleboel schade bij kleine sites die voor hun bandbreedte moeten betalen.

[Boss]

Zonde dat hier iets aan gedaan wordt. Op die manier komt er een einde aan 'de legende'. Moet je over een paar jaar aan je (klein)-kinderen uitleggen wat het slashdot effect is, omdat ze het zelf niet meer kunnen meemaken.

Da's toch juist de charme van het hele gebeuren? Kan je als site-eigenaar vol trots vertellen dat je geslahdot bent

[Blokker_1999]

als kleinere site geslashdot worden is niet leuk. Meestal huur je dan ergens webspace of een eigen server en als er dan ineens enkele tienduizenden of honderduizenden bezoekers komen loopt de rekening voor traffiek direct op.

Ook bestaat de kans dat de verbinding van je server het niet kan trekken en dan word je site onbereikbaar. En dan zit je pas echt met problemen. Je site genereert enorm veel traffiek en niemand krijgt iets te zien. Vele eigenaars van kleinere sites zijn er net niet tevreden mee.

Ik heb het met een project waaraan ik meewerk 1 maal meegemaakt en gelukkig bleef het /. effect binnen de perken en kon onze server het nog verwerken. Onze sponsor was minder tevreden met de traffiek die toen gegeneerd werd.

[yootje]

En de rekening betalen.

[Saus]

Een beetje ISP filtert meestal je topdag toch uit de stats om te voorkomen dat je krom moet liggen omdat je ge-dossed wordt.
Binnen een dag kun je je content wel verhuizen of weghalen........

[Anoniem: 45450]

Als dit jouw interpretatie van 95-percentile is wens ik je sterkte met je eerste DDoS. 5% van een maand is bepaald geen 24 uur.

Met de 95-percentile methode wordt gemiddeld zo'n 36 uur weggefilterd hoor. Dus was Saus zegt klopt wel. Alleen betalen de meeste kleine afnemers gewoon een Avarage datavekeer. Als je dan wordt geslashdot, kan dat inderdaad aardig in de papieren lopen. Tot wel honderden euro's als je een beetje pech hebt.

[burne]

Als dit jouw interpretatie van 95-percentile is wens ik je sterkte met je eerste DDoS. 5% van een maand is bepaald geen 24 uur.

[Anoniem: 102970]

@bume

5% van een maand is nog altijd ruim 36 uur

Ruim tijd genoeg dus.

[Anoniem: 81030]

Zit er geen copyright op de gekopieerde sites met hun inhoud dan? Toch wat vreemd om dat zomaar te kopieren, ook al is het voor 'het goede doel'.

[Valium]

Een mirror/cache/buffer/proxy mag content kopiëren als het niet langer gebufferd blijft dan x uur. Weet niet zeker hoeveel uur dit is, volgens mij 24. Staat meer info over in het kazaa-proxy nieuwsbericht van enkele maanden terug.

[jochemd]

Cachen mag, daar is een aparte uitzondering voor gemaakt in de Europese richtlijn e-commerce (net zoals voor hosting en 'doorgifte'). De grenzen aan caching worden ook niet gesteld in de vorm van "het mag maar X uur", maar in de vorm van:
- niet wijzigen
- niet gebruiken om passwords te omzeilen
- regelmatig updaten van de cache
- geen trackers omzeilen
- informatie verwijderen zodra de bron weg is
(Voor de exacte juridische formulering zie artikel 13, richtlijn 2000/31/EG.)

[Anoniem: 2072]

Woohoo, een bug in de regel geving:

- informatie verwijderen zodra de bron weg is

Als de website uit (bijvoorbeeld door het /. effect) de lucht is is de bron weg.

[the_stickie]

hehe wat is dan nog het nut van de google cache?
die is dan toch niet legaal? je kan er immers info bekijken van sites die echt al maanden niet meer oline zijn.

Of wat dacht je van deze? die doen letterlijk niets anders dan caches aanmaken

[Tozz]

[quote]
Woohoo, een bug in de regel geving:

- informatie verwijderen zodra de bron weg is

Als de website uit (bijvoorbeeld door het /. effect) de lucht is is de bron weg.

Nee, de bron is onbereikbaar. Dat is wat anders dan dat de bron verdwenen is.

[Anoniem: 2072]

Nee, caching word tot zekere mate gedoogd. Maar in principe is het volgens de copyright wetgeving illegaal om iets te mirroren\cachen (dus copieren en her publiceren) zonder toestemming.

[Bliep]

Kan iemand mij uitleggen was het slashdot effect nu precies is?

edit:

iets als: Slashdot mirrort naar andere sites?

[Kees]

Het ./ effect is het effect dat je kan waarnemen als een (kleine) site op slashdot terecht komt (in het nieuws dus).

Op dat moment gaan erg veel mensen kijken naar die site, zo veel dat de site (de server waar de site op draait) het niet meer trekt en onderuit gaat / onbereikbaar wordt. Ook kan voorkomen dat een sponsor de verbinding afkapt omdat er ineens erg veel dataverkeer is.

Het meest voorkomende effect blijft dat de server het niet trekt omdat de pagina waar het op staat dynamisch is en in vergelijking met een statische file erg zwaar is voor de server.

Een statische file zou een server echter nooit onderuit mogen trekken*, maar zelfs dat gebeurd wel eens.

* dat mag niet, want een server als tux (die ik nu een beetje aan het testen ben) haalt op een beetje server al snel enkele 1000'den requests per seconde, met meerdere 100'den connecties tegelijkertijd)

[Olaf van der Spek]

Een statische file zou een server echter nooit onderuit mogen trekken*, maar zelfs dat gebeurd wel eens.

Bij dynamische files zou het natuurlijk ook niet mogen, maar ja, de meeste 'generators' zijn toch niet zo snel.

[Kees]

Klopt, maar een dynamische file is vele malen zwaarder om te serveren dan een statische file, zowiezo moet de file geparsed worden, data uit een database opgehaald worden, data in de database gezet worden etc. dus veel zwaarder -> veel eerder de server op z'n bek

[Olaf van der Spek]

zowiezo moet de file geparsed worden, data uit een database opgehaald worden, data in de database gezet worden etc.

Alle drie de punten zijn niet strikt noodzakelijk voor dynamische pagina's.
Het hangt allemaal af van de taal die je gebruikt en de caching die je gebruikt.

[the_stickie]

natuurlijk deel je bij veel hosts een server en verbinding met andere sites (zeker in de categorie "kleine sites ) waardoto de server niet alleen jouw site moet hosten...

[marsattacks]

Het slashdot effect is als je webserver in brand staat omdat 'ie opeens 10000 hits per seconde moet verwerken.

[Kees]

10.000 hits per seconde genereerd zelfs slashdot niet. dat zijn er eerder een goede 100-200 per seconde extra.
Tweakers.net trekt op dit moment ook 200-300 hits per seconde gemiddeld en meer dan 500-600 per seconde als er een piek is.

[Anoniem: 19358]

"example, commercial sites rely on their banner ads to generate revenue. If I cache one of their pages, this will mess with their statistics, and mess with their banner ads. In other words, this will piss them off. "

exactly, geen mirrors van sites die het niet willen, enkel sites die toestemming geven mogen gemirrored worden imho

[dfr0st]

Eerder andersom, het is makkelijker om die paar grote site's bij te houden niet niet gecached willen worden.
Plus een kleinere site wordt misschien niet 24/7 aan gewerkt dus zijn ze niet altijd beschikbaar. De site is al plat voordat ze het weten.
Een grote site krijgt gewoon een mail of er gestopt moet worden met mirroren. Als je dat auto doet dan is het opgelost in een muisclick.

[Anoniem: 18254]

Kleine correcte: Slashdot is geen weblog, maar een nieuwssite.

[@baddon]

Nu zijn zij zeker offline nu dit op onze FP staat

[TD-er]

Het probleem van verouderde cache is natuurlijk snel op te lossen door de cachende site per 1000 hits of per 5 minuten te laten kijken of er dingen veranderd zijn.
Je hoeft bij het verversen vaak dan alleen de HTML-code binnen te halen en niet de plaatjes, dus het verkeer wat je genereert is zelfs als je per minuut zou kijken nog erg gering.

[NoUser]

@n4m3l355

Geen push, wel cache:
http://www.tweakers.net.nyud.net:8090/feeds/mixed.xml

[PcDealer]

Hoewel men het er wel over eens is dat er iets gedaan moet worden om kleine sites te beschermen tegen het Slashdot-effect, kunnen de grotere sites juist inkomsten mislopen door de mirrors

Is het niet beter de betreffende site om toestemming te vragen voordat het gemirrord wordt?