Hoofdcategorieën

Populariteit RSS-feeds begint bandbreedte op te slurpen

Door Harm Hilvers, vrijdag 24 september 2004 15:14
Bron: eWeek, views: 19.306

Steeds meer sites zijn de afgelopen maanden RSS-, ATOM- en andere op XML-gebaseerde feeds gaan publiceren om hun content te verspreiden. Dit is echter niet gratis, zoals veel sites beginnen te ondervinden, zo schrijft eWeek. Feeds beginnen steeds meer bandbreedte en serverpower te vereisen, wat ervoor gezorgd heeft dat contentproviders zich zijn gaan herbezinnen op de feeds. Onder andere Microsoft liep recent tegen problemen aan met zijn RSS-feeds van de weblogs op het Microsoft Developers Network (MSDN). In eerste instantie werden de complete meest recente blogs van ieder weblog gepubliceerd. Dit zorgde echter voor een relatief grote RSS-feed. Microsoft besloot toen om in de feed te gaan knippen en voortaan verkorte versies van de blogs aan te bieden. In de toekomst zullen aparte feeds per onderwerp aangeboden gaan worden op MSDN.

Microsoft en andere bedrijven zien nog meer dan voldoende opties om bandbreedte- en serverproblemen in de toekomst te voorkomen. Zo is het mogelijk om RSS-feeds te verspreiden over internet, waardoor bandbreedte- en serverpower niet meer bij één server vandaan hoeft komen. Een andere optie is het limiteren van het aantal keren dat een feed binnen een bepaalde periode opgevraagd kan worden. Sommige feedaggregators laten de gebruiker hierin volledig vrij terwijl andere readers een vaste updatetijd hebben. In het verlengde hiervan zouden ip-bans ingezet kunnen worden om overijverige feedupdaters in te perken. Een volgende optie is het cachen van feeds, zodat ze niet iedere keer opnieuw aangemaakt hoeven te worden op de server. Ten slotte zouden ook HTTP-caching-headers gebruikt kunnen worden, waardoor alleen gewijzigde gegevens binnengehaald worden.

Volgende 15:15
Vorige 13:36

Reacties

«  1  2  3  »


Alleen een beetje jammer dat er alleen "First post" staat

Viel te verwachten. Veel menesen hebben een RSS programma op hun desktop (of ergens anders) dus dat gaat bandbreedte slurpen na verloop van tijd. Dat had iedere idoot kunnen verzinnen. Het lijkt me overigens sterk dat all RSS feeds van Microsoft van één server komen.

Misschien heeft ie wel een FiPo omdat ie de RSS bijhoudt van tweakers :+


offtopic:
erikv1983: je bent een kneus!
Ik kan het best begrijpen dat die feeds flink bandbreedte beginnen te zuipen. Ik hoor het steeds vaker dat lui rss-feeds in hun site maken...erg leuke feature, maar hoe meer mensen er gebruik van maken deste meer bandbreedte dat die rommel gaat zuipen. Nu lijkt het mij alleen wel dat als die mensen ipv de RSS feed lezen, gewoon de site weer zouden betreden dat meer bandbreedte moet innemen dan die RSS-Feed die steeds updaten...
Maargoed, er zijn nog zat mogelijkheden om het in te perken dus..

Behalve als de refresh van de feeds te hoof staat, bijv elke paar seconde...

Ja precies, daar moeten ze dan ook zeker gauw iets aan gaan doen, het is natuurlijk ook belachelijk om dat iedere paar seconden te updaten. eens per minuut is eigenlijk al belachelijk IMHO, 1x per 10 minuten ofzo is al ruim voldoende imo. Ligt er misschien maar net aan welke doelgroep het betreft offcoarse...

Heb net toevallig vandaag de tweakers RSS feed in firefox aangezet. Hebben mensen al gemerkt dat deze site trager is? }>

Het probleem van microsoft was dat alle blogs in 1 rss feed zat, niet echt slim, als je een rss feed per blog maakt dan krijg je dat probleem niet, want ik neem aan dat niet 1 persoon alle blogs wil lezen bij msdn..

Daarnaast staat bv slashdot al niet toe dat je vaker als 1 uur pollt (dan krijg je een ban geloof ik)

Storm in een glas water.

Misschien wel leuk om hierbij even een linkje te zetten naar de
t.net frontpage rss feed http://www.tweakers.net/feeds/mixed.xml
de GoT xml feed http://gathering.tweakers.net/xml.php
de got rss feed http://gathering.tweakers.net/rss.php
en de meuktracker http://www.tweakers.net/feeds/meuktracker.xml

sttt! straks heeft tweakers.net ook geen bandbreedte meer :P

RSS Feeds zijn héérlijk geniaal :) Text only, zelf op te maken met wat CSS, geen reclames, linkjes naar het volledige artikel, en met een goeie stylesheet leest het net als een krant :) Wat mij betreft dé nieuwe manier om je nieuws elke dag op het matje te krijgen.

Maar zoals hierboven beschreven, staat het inderdaad nog in de kinderschoenen. (hebben we hier een RFC voor ?? )

Opties die geopperd zijn zijn o.a. inderdaad serverside push (vereist eigenlijk een nieuw protocol), http headers (lastig ivm veel verschillende programmas, en programmeurs die niet op HTTP niveau kunnen / willen werken) en IP bans (onzin, je wil geen readers bannen)

Ik ben zelf van mening dat de serverside push methode het meest in aanmerking zou kunnen komen als opvolger, een server zou dan zijn lezers moeten registreren, en zodra er een nieuw bericht geplaatst wordt eenmalig kijken of een client online is, en een boodschap naar deze client verzenden :)

Maar daarmee ben je nog niet van alle problemen af :) Verdere problemen zijn o.a. het feit dat veel verschillende blogs dezelfde informatie aanbieden (erg makkelijk als je 20 dev blogs in je reader hebt staan :{ ) en dat sommige feeds bij gebrek aan populariteit zomaar inene verdwijnen.

Geen verstand van de techniek achter RSS, maar voor het nieuws open ik de dag met [/linkspam] http://www.startnieuw.nl [/linkspam]. Nieuws, sport, ict nieuws en weblogs onder 1 knop.

Ik kan me alleen maar voorstellen dat nieuwssites blij zijn met een vermelding op zo'n site, het levert toch bezoekers op (en dus advertentieinkomsten) die je anders wellicht niet zou hebben gehad.

Andere site die RSS feeds ook wat ontlast is [spam] http://www.qport.nl [/spam]

Die cached de feeds ook (superveel verschillende feeds) en de gebruiker laadt dus van de server daar, en niet de orginele server...

serverside push kun je echt wel vergeten.
Want dan zouden alle clients een live connectie naar de server moeten houden. Daar wordt je niet blij van.
Want kijken of de client online is en dan een push doen kan tegenwoordig niet meer. Bijna iedereen zit of gaat achter NAT routers zitten dus ze zijn niet direct toegankelijk..

Ten slotte zouden ook HTTP-caching-headers gebruikt kunnen worden, waardoor alleen gewijzigde gegevens binnengehaald worden.
Of je zet BitTorrent of andere peer 2 peer achtige technieken in om de feeds te verspreiden.

Of je zet BitTorrent of andere peer 2 peer achtige technieken in om de feeds te verspreiden.

Hebben ze/zijn ze mee bezig: uit het artikel: Zo is het mogelijk om RSS-feeds te verspreiden over internet, waardoor bandbreedte- en serverpower niet meer bij één server vandaan hoeft komen.

BitTorrent gaat niet werken, omdat elke torrent zijn eigen hashcode heeft. Die is verwerkt in de .torrent file en wordt zowel door de tracker als de client gebruikt.

direct gevolg: voor elke update zou een aparte .torrent op de tracker moeten lopen. Dat red zelfs het hele serverpark van Microsoft na een aantal dagen al niet meer - en is bovendien erg onefficient.

Wat misschien wel zou werken is dat je een bepaalde (hoofd)site aanroept en dat die site je vervolgens doorwijst naar de snelste mirror. Als je die soort loadbalancing combineert met gelokaliseerde mirrors dan kom je al een heel eind.

Mwoh, er is gewoon iets fundamenteel mis met RSS en dat is het feit dat het helemaal gebaseerd is op polling. Je RSS reader kijkt om de x minuten of er iets veranderd is, ook bij een site waar maar 1x in de twee weken een artikel bijkomt.

Wat een heel stuk beter zou werken is push, als er iets veranderd worden de geinteresseerde partijen op de hoogte gesteld. Dit kan bijvoorbeeld met PubSub wat een onderdeel is van Jabber, dit wordt o.a. gebruikt op deze site:

http://www.pubsub.com/

Zeker het bekijken waard, ook voor site owners en developers.

Iemand die zijn feed NIET cached via zn CMS is niet goed bezig lmd...

Aan de serverside kan je wel cachen, maar de meeste client programma's ondersteunen dit niet. Kortom: de hele methode is dan nutteloos :)

Euhm, als jij je RSS niet cachen, dan worden er bij elke request queries gedaan. Als jij die wel cached, is die RSS file gewoon een statische file.

Lijkt me toch een enorm verschil...

Klopt, maar het artikel gaat hier over bandbreedte, niet over serverload ;)

het maakt wel zeker uit. ik heb zelf ook een aantal rss feeds op http://madcat.student.utwente.nl/rss/ en ik genereer elke 15 minuten een rssfeed update. omdat als iedereen het realtime ophaald mijn arme P200 het niet zo goed aankan. mysql vreet best wel wat. en ik denk dat bij grote bedrijven dat wel zeker uitmaakt als 100K gebruikers elke minuut een query doen.

Die RSS Feed van t.net, die is ook ommundig groot bij mij. Firefox kan ze neit allemaal in 1x laten zien, moet er doorheen scrollen. Zit hier op 1024x768 te surfen.

Dingen uit de meuk tracker e.d. zitten er ook tussen.

edit: typo

Leuk die RSS dingen, maar zo super is het ook alweer niet. De Live-bookmarks in Firefox zijn icm de bookmarks toolbar wel super, maar de waarde van een RSS reader boven een lijstje headlines op een site snap ik niet...
Uiteindelijk moet je toch naar de site om het hele verhaal te lezen.

Het voordeel van een RSS feeds, met het grote aanbod nieuws van vandaag de dag, zijn de samenvattingen die er in staan. Zo kan je aan de hand van je samenvattinkje gelijk zien of een bericht nieuwswaarde voor jou heeft. Verder is het ICM weblogs, voor bedrijven, etc een geniale manier om nieuws te verspreiden i.t.t. de tegenwoordig redelijk gehate mailinglist :)

Microsoft besloot toen om in de feed te gaan knippen en voortaan verkorte versies van de blogs aan te bieden.
Dit haalt naar mijn mening het hele nut van RSS onderuit: lekker offline en op een centrale plek de berichten lezen.

Niet alleen MS doet dit, ik zie steeds meer en meer content providers hetzelfde doen (sp.nl bijvoorbeeld doet dit korten ook al een tijdje).

Jammer eigenlijk, RSS gaat dus aan z'n eigen succes tenonder.

Zelfs daar vind ik dan eigenlijk wel weer wat voro te zeggen. Ook tweakers en fok! bieden eignelijk gewoon een samenvatting aan van hun nieuws. Niets op tegen, zo verdienen de sites ook nog een centje aan hun pageviews :)
«  1  2  3  »

Op dit item kan niet meer gereageerd worden.

Volgende 15:15
Vorige 13:36
VNU Media logo Powered by True

© 1998 - 2008 Tweakers.net - Alle rechten voorbehouden

Uitgever van: