Populariteit RSS-feeds begint bandbreedte op te slurpen

Steeds meer sites zijn de afgelopen maanden RSS-, ATOM- en andere op XML-gebaseerde feeds gaan publiceren om hun content te verspreiden. Dit is echter niet gratis, zoals veel sites beginnen te ondervinden, zo schrijft eWeek. Feeds beginnen steeds meer bandbreedte en serverpower te vereisen, wat ervoor gezorgd heeft dat contentproviders zich zijn gaan herbezinnen op de feeds. Onder andere Microsoft liep recent tegen problemen aan met zijn RSS-feeds van de weblogs op het Microsoft Developers Network (MSDN). In eerste instantie werden de complete meest recente blogs van ieder weblog gepubliceerd. Dit zorgde echter voor een relatief grote RSS-feed. Microsoft besloot toen om in de feed te gaan knippen en voortaan verkorte versies van de blogs aan te bieden. In de toekomst zullen aparte feeds per onderwerp aangeboden gaan worden op MSDN.

Microsoft en andere bedrijven zien nog meer dan voldoende opties om bandbreedte- en serverproblemen in de toekomst te voorkomen. Zo is het mogelijk om RSS-feeds te verspreiden over internet, waardoor bandbreedte- en serverpower niet meer bij één server vandaan hoeft komen. Een andere optie is het limiteren van het aantal keren dat een feed binnen een bepaalde periode opgevraagd kan worden. Sommige feedaggregators laten de gebruiker hierin volledig vrij terwijl andere readers een vaste updatetijd hebben. In het verlengde hiervan zouden ip-bans ingezet kunnen worden om overijverige feedupdaters in te perken. Een volgende optie is het cachen van feeds, zodat ze niet iedere keer opnieuw aangemaakt hoeven te worden op de server. Ten slotte zouden ook HTTP-caching-headers gebruikt kunnen worden, waardoor alleen gewijzigde gegevens binnengehaald worden.

Reacties (41)

[SchizoDuckie]

RSS Feeds zijn héérlijk geniaal Text only, zelf op te maken met wat CSS, geen reclames, linkjes naar het volledige artikel, en met een goeie stylesheet leest het net als een krant Wat mij betreft dé nieuwe manier om je nieuws elke dag op het matje te krijgen.

Maar zoals hierboven beschreven, staat het inderdaad nog in de kinderschoenen. (hebben we hier een RFC voor ?? )

Opties die geopperd zijn zijn o.a. inderdaad serverside push (vereist eigenlijk een nieuw protocol), http headers (lastig ivm veel verschillende programmas, en programmeurs die niet op HTTP niveau kunnen / willen werken) en IP bans (onzin, je wil geen readers bannen)

Ik ben zelf van mening dat de serverside push methode het meest in aanmerking zou kunnen komen als opvolger, een server zou dan zijn lezers moeten registreren, en zodra er een nieuw bericht geplaatst wordt eenmalig kijken of een client online is, en een boodschap naar deze client verzenden

Maar daarmee ben je nog niet van alle problemen af Verdere problemen zijn o.a. het feit dat veel verschillende blogs dezelfde informatie aanbieden (erg makkelijk als je 20 dev blogs in je reader hebt staan ) en dat sommige feeds bij gebrek aan populariteit zomaar inene verdwijnen.

[Anoniem: 106989]

Geen verstand van de techniek achter RSS, maar voor het nieuws open ik de dag met [/linkspam] http://www.startnieuw.nl [/linkspam]. Nieuws, sport, ict nieuws en weblogs onder 1 knop.

Ik kan me alleen maar voorstellen dat nieuwssites blij zijn met een vermelding op zo'n site, het levert toch bezoekers op (en dus advertentieinkomsten) die je anders wellicht niet zou hebben gehad.

[Anoniem: 18005]

Andere site die RSS feeds ook wat ontlast is [spam] http://www.qport.nl [/spam]

Die cached de feeds ook (superveel verschillende feeds) en de gebruiker laadt dus van de server daar, en niet de orginele server...

[joco]

serverside push kun je echt wel vergeten.
Want dan zouden alle clients een live connectie naar de server moeten houden. Daar wordt je niet blij van.
Want kijken of de client online is en dan een push doen kan tegenwoordig niet meer. Bijna iedereen zit of gaat achter NAT routers zitten dus ze zijn niet direct toegankelijk..

[Olaf van der Spek]

Ten slotte zouden ook HTTP-caching-headers gebruikt kunnen worden, waardoor alleen gewijzigde gegevens binnengehaald worden.

Of je zet BitTorrent of andere peer 2 peer achtige technieken in om de feeds te verspreiden.

[Pietervs]

Of je zet BitTorrent of andere peer 2 peer achtige technieken in om de feeds te verspreiden.

Hebben ze/zijn ze mee bezig: uit het artikel: Zo is het mogelijk om RSS-feeds te verspreiden over internet, waardoor bandbreedte- en serverpower niet meer bij één server vandaan hoeft komen.

[bartvb]

Mwoh, er is gewoon iets fundamenteel mis met RSS en dat is het feit dat het helemaal gebaseerd is op polling. Je RSS reader kijkt om de x minuten of er iets veranderd is, ook bij een site waar maar 1x in de twee weken een artikel bijkomt.

Wat een heel stuk beter zou werken is push, als er iets veranderd worden de geinteresseerde partijen op de hoogte gesteld. Dit kan bijvoorbeeld met PubSub wat een onderdeel is van Jabber, dit wordt o.a. gebruikt op deze site:

http://www.pubsub.com/

Zeker het bekijken waard, ook voor site owners en developers.

[twiFight]

BitTorrent gaat niet werken, omdat elke torrent zijn eigen hashcode heeft. Die is verwerkt in de .torrent file en wordt zowel door de tracker als de client gebruikt.

direct gevolg: voor elke update zou een aparte .torrent op de tracker moeten lopen. Dat red zelfs het hele serverpark van Microsoft na een aantal dagen al niet meer - en is bovendien erg onefficient.

Wat misschien wel zou werken is dat je een bepaalde (hoofd)site aanroept en dat die site je vervolgens doorwijst naar de snelste mirror. Als je die soort loadbalancing combineert met gelokaliseerde mirrors dan kom je al een heel eind.

[procede]

Heb net toevallig vandaag de tweakers RSS feed in firefox aangezet. Hebben mensen al gemerkt dat deze site trager is?

[it0]

Het probleem van microsoft was dat alle blogs in 1 rss feed zat, niet echt slim, als je een rss feed per blog maakt dan krijg je dat probleem niet, want ik neem aan dat niet 1 persoon alle blogs wil lezen bij msdn..

Daarnaast staat bv slashdot al niet toe dat je vaker als 1 uur pollt (dan krijg je een ban geloof ik)

Storm in een glas water.

[TheOneLLama]

De echte oplossing is van het huidige "polling" model over te stappen op een push model. Een model dus, waar er iets naar de clients wordt toegezonden op het moment dat er een nieuw item is, ipv clients die continu een request doen om te kijken of er iets nieuws is.

Een goed systeem wat daarvoor gebruikt kan worden is Jabber (lees meer over Kabber op www.jabber.org).

Ik krijg m'n RSS items al per Jabber messages binnen als ik online ben. (Voor Jabber gebruikers die dit nog niet kennen en uit willen proberen, http://mimir.ik.nu/about).

Het backend systeem gebruikt nog wel "polling" voor de meeste feeds omdat er nog nauwlijks geen "push" feeds beschikbaar zijn. Toch zie je daar al een vermindering van traffic. Er is nog maar 1 systeem wat de "polling" doet, en waar alle gebruikers gebruik van maken.

Dit systeem kan *nog* efficienter gemaakt worden, door beter gebruik te maken van het gedistributeerde jabber netwerk. Dan gaat zo'n bericht maar 1 keer naar iedere Jabber server (met minimaal 1 subscriber), die het dan weer doorstuurt naar alle gebruikers van die server die subscriber zijn.

Er zijn ook andere aanbieders van deze "push" techniek op het Jabber netwerkt (bv www.pubsub.com)

[Skinkie]

waarom niet de providers pushen om multicast te ondersteunen al dit soort broadcast achtige diensten efficient te verspreiden?

[pietje63]

Misschien wel leuk om hierbij even een linkje te zetten naar de
t.net frontpage rss feed http://www.tweakers.net/feeds/mixed.xml
de GoT xml feed http://gathering.tweakers.net/xml.php
de got rss feed http://gathering.tweakers.net/rss.php
en de meuktracker http://www.tweakers.net/feeds/meuktracker.xml

[the_stickie]

sttt! straks heeft tweakers.net ook geen bandbreedte meer

[Anoniem: 110723]

Alleen een beetje jammer dat er alleen "First post" staat

Viel te verwachten. Veel menesen hebben een RSS programma op hun desktop (of ergens anders) dus dat gaat bandbreedte slurpen na verloop van tijd. Dat had iedere idoot kunnen verzinnen. Het lijkt me overigens sterk dat all RSS feeds van Microsoft van één server komen.

[schoene]

Misschien heeft ie wel een FiPo omdat ie de RSS bijhoudt van tweakers

[bredend]

Leuk die RSS dingen, maar zo super is het ook alweer niet. De Live-bookmarks in Firefox zijn icm de bookmarks toolbar wel super, maar de waarde van een RSS reader boven een lijstje headlines op een site snap ik niet...
Uiteindelijk moet je toch naar de site om het hele verhaal te lezen.

[SchizoDuckie]

Het voordeel van een RSS feeds, met het grote aanbod nieuws van vandaag de dag, zijn de samenvattingen die er in staan. Zo kan je aan de hand van je samenvattinkje gelijk zien of een bericht nieuwswaarde voor jou heeft. Verder is het ICM weblogs, voor bedrijven, etc een geniale manier om nieuws te verspreiden i.t.t. de tegenwoordig redelijk gehate mailinglist

[Q-collective]

Microsoft besloot toen om in de feed te gaan knippen en voortaan verkorte versies van de blogs aan te bieden.

Dit haalt naar mijn mening het hele nut van RSS onderuit: lekker offline en op een centrale plek de berichten lezen.

Niet alleen MS doet dit, ik zie steeds meer en meer content providers hetzelfde doen (sp.nl bijvoorbeeld doet dit korten ook al een tijdje).

Jammer eigenlijk, RSS gaat dus aan z'n eigen succes tenonder.

[SchizoDuckie]

Zelfs daar vind ik dan eigenlijk wel weer wat voro te zeggen. Ook tweakers en fok! bieden eignelijk gewoon een samenvatting aan van hun nieuws. Niets op tegen, zo verdienen de sites ook nog een centje aan hun pageviews

[Venator]

Kunnen RSS feeds niet op een P2P achtige manier gestuurd worden ipv op een centrale server? Misschien is dat een idee?

edit:


Jabber

[Anoniem: 65368]

Zou eigenlijk een soort van broadcast moeten zijn die men op kan pikken als je wilt. Server hoeft dan maar 1x te zenden en de ontvangers pikken het op... alleen ja, broadcasten op internet is niet echt mogelijk / gewild...