P2p-onderzoekers vrezen 'implosie' Bittorrent

Onderzoekers aan de TU Delft hebben ontdekt dat Bittorrent sterk afhankelijk is van de servers van The Pirate Bay. Mochten deze op de een of andere manier niet meer beschikbaar zijn, dan zal volgens hen het netwerk snel instorten.

Bittorrent is een p2p-protocol dat echter wel gebruik maakt van centrale servers voor het bijhouden van de torrents. Raynor Vliegendhart, onderzoeker van het Tribler P2P Team bij de technische universiteit van Delft, kwam bij een onderzoek tot de conclusie dat Bittorrent heel sterk afhankelijk is van The Pirate Bay. Hiervoor bekeek hij in een periode van ongeveer een jaar 283.031 torrents met in totaal 52.634.778 peers, en hiervan bleek meer dan de helft via The Pirate Bay te lopen.

Van de peers liepen er ongeveer vijf miljoen uitsluitend via The Pirate Bay; ongeveer evenveel liepen via meerdere trackers met The Pirate Bay als primaire tracker. Bij de overige torrents die The Pirate Bay gebruikten, gebeurde dat als secondaire server. De uiterst dominante positie van The Pirate Bay zorgt ervoor dat wanneer deze tracker down gaat, er zoveel verkeer naar de overige sites zal gaan dat deze de een na de ander zullen bezwijken, zo vertelde Vliegendhart aan TorrentFreak.

Een oplossing voor dit probleem zou zijn om Bittorrent te decentraliseren, zodat het protocol niet langer van trackers afhankelijk is. De meeste clients ondersteunen inmiddels ook trackerloze torrents via dht, maar dit protocol werkt niet bepaald feilloos. Volgens Johan Pouwelse van het Triblerteam is de implementatie van dht in de meestgebruikte client foutief, zodat het niet goed zal werken. Ook is het dht-concept volgens Pouwelse veel te gevoelig voor ddos-aanvallen. Er wordt nog gewerkt aan betere decentrale protocollen, maar vooralsnog lijkt het verstandig om ook eens andere trackers dan The Pirate Bay te gaan gebruiken.

Update, 10.45: De onderzoekers uit Delft waarschuwen al langer dat de centrale servers een gevaar vormen voor het Bittorrent-netwerk en lijken dit nu met cijfers te kunnen staven. Daarbij dient opgemerkt te worden dat het onderzoeksteam zelf de p2p-applicatie Tribler promoot en deze client is uitgerust met een gedecentraliseerde zoekfunctie. Hiermee is het mogelijk om .torrent-bestanden op te sporen zonder gebruik van een torrenttracker.

Reacties (104)

[Anoniem: 135756]

Door Terraniux, vrijdag 13 februari 2009 10:18

Ikzelf gebruik uitsluitend private trackers, die niet eens op dit lijstje voorkomen. Bovendien staat er ook een hoop rotzooi op Piratebay, en is de downloadsnelheid onder de maat...
Dat je een trage download snelheid heb vind ik niet zo eens zo gek.
Als er duizenden mensen via de site downloaden en de servers bijna altijd op full load staan, dan mag je eigenlijk niet klagen dat je een trage snelheid heb.

Das natuurlijk onzin he... je download het torrent bestand en vervolgens gebruik je enkel de tracker voor minimale informatie. hoe SNEL je download is, heeft te maken met het aantal seeders t.o.v. het aantal leechers en helemaal niet meer met de server in kwestie.
Alleen: op private trackers heb je vaak een ratio en laten mensen hun torrent nog even flink wat uploaden op de ratio weer prettig te krijgen. resultaat: meer seeders en dus meer snelheid met downloaden. Heeft NIKS met die server te maken maar met de policy van de torrent site.

[houseparty]

Ik bedoel: hoe representatief is zijn steekproef?

Waarschijnlijk vrij representatief wat betreft public trackers.

Zie onderstaande quote:

Van de torrents liepen er ongeveer vijf miljoen uitsluitend via The Pirate Bay; ongeveer evenveel liepen via meerdere trackers met The Pirate Bay als primaire tracker. Bij de overige torrents die The Pirate Bay gebruikten, gebeurde dat als secondaire server.

Door de zoekfunctie/indexer op TPB te gebruiken kom je in de regel vooral aan torrents die enkel door TPB getrackt worden. Via een isohunt, mininova, etc, krijg je over het algemeen torrents die naast TPB ook door anderen getrackt worden.

Zie ook het staafdiagram in het artikel. Via de site van TPB krijg je vooral single tracker torrents. De primary tracker torrents en foreign tracker torrents in het staafje boven TPB in het diagram komen vooral vanaf 3rd party zoekmachines/indexers. Regelmatig gaat het zelfs om dezelfde torrents als die op TPB, maar dan met extra trackers toegevoegd. En uiteraard kom je via een isohunt ook gewoon aan torrents die TPB als single tracker hebben.

De conclusie van dit onderzoek: dat TPB met grote afstand de grootste public tracker van dit moment is, is gewoon de waarheid. Je hoeft niet eens wetenschappelijk onderzoek te doen om dat voor jezelf vast te kunnen stellen als je een beetje rondneust op public sites. De meeste torrents die je tegenkomt zal TPB in bepaalde mate bij betrokken zijn.

[RayNbow]

Je hoeft niet eens wetenschappelijk onderzoek te doen om dat voor jezelf vast te kunnen stellen als je een beetje rondneust op public sites. De meeste torrents die je tegenkomt zal TPB in bepaalde mate bij betrokken zijn.

Maar het is mooi als je je gevoel kunt onderbouwen met een mooi grafiekje. Ik had zelf ook wel het gevoel dat TPB een enorme populaire tracker was, maar hoe populair wist ik pas toen ik de meting had verricht.

Grafiekjes van kortere, recentere metingen geven trouwens hetzelfde beeld. TPB steekt ook in deze grafiekjes met kop er boven uit, alleen is de schaal van de y-as anders en de bezetting van plek #2 t/m #20 wisselt wel eens.

[Smoothcrimineel]

Implosie denk ik wel, ik denk dan ongeveer een weekje dan pakt een andere site het wel weer op. Wat gebeurde er na torrentspy? Niks toch? Er komt gewoon een andere die dan de plek van The Piratebay in neemt en zo zal het een mooie tijd doorgaan. Immers Torrents kunnen altijd weer geupload worden als je ze bewaard... Ik kan het mis hebben natuurlijk. Maar dat is mijn gedachte er over.

[hing]

Onderzoekers aan de TU Delft hebben ontdekt dat Bittorrent sterk afhankelijk is van de servers van The Pirate Bay

Ze bedoelen waarschijnlijk alleen hier in het westen. In Azie gebruiken ze hele andere servers/trackers waar een hoop aziatische content te downloaden is.
Ook voor streaming video maken veel sites/programma's in azie gebruik van bittorrent technologie...

Dus ik betwijfel het dat wanneer the piratebay het begeeft, het gebruik van bittorrent implodeert.

[bbob]

Lijkt me dat dit ook voer is voor anti piracy instellingen die nu weer een argument hebben tegen de pirate bay.

[SuperNull]

Nee niet echt. TPB is net zoals Google.
Als het er opeens niet zou zijn stapt iedereen gewoon over op iets anders, maar zolang het er is gebuikt iedereen het omdat iedereen het kent en het prettig is,

Zouden mensen minder gaan zoeken op het internet als Google er niet was? Neen.
Worden er minder torrents geshared als TPB offline gaat? Nee. Tijdedelijk wel natuurlijk totdat er een nieuwe favoriet is.

edit:
Ik snap het verschil tussen een tracker en een zoekmachine. Ik heb het hier over het gebruikersperspectief. Je doet geen searches omdat je Google zo graag in actie wil zien maar omdat je iets wil opzoeken. Same goes voor TPB als je torrents wil hosten/leechen.

[Reactie gewijzigd door SuperNull op 23 juli 2024 01:41]

[ajmwegman]

Zullen zoekmachines meer dataverkeer moeten kopen, als Google er me stopt.
Zullen ze meer aanvragen krijgen, zullen meer data moeten opslaan.
Kunnen ze dat betalen?

Kan een Bittorrent tracker de kosten betalen als er ineens geschoven wordt, komen ze niet te veel in het oog van Brein en consorte waardoor het niet meer rendabel is etc.

Er zijn meer haken en ogen dan even naar een andere tracker te gaan. Voor jou misschien niet maar als 1 miljoen dat doen is het een ander verhaal.

[houseparty]

TPB is net zoals Google.

Fout, TPB is héél iets anders dan Google. Isohunt is net zoals Google, dat is een zoekmachine/indexer.

De hoofdfunctie van TPB zijn hun trackers. Daarbij is TPB met zeer grote afstand de grootste public tracker van de wereld. De functie als zoekmachine/indexer op hun site geldt slechts voor hun eigen public trackers, en is daarmee niets meer dan een front end voor die trackers.


[edit.]@ DOT

Dat klopt inderdaad. Maar nog waarschijnlijker is dat wanneer TPB ooit neergehaald wordt de bittorrent community snel omschakelt naar het trackerloos gebruik van het protocol. Wat in principe al mogelijk is, maar wat niet populair is aangezien de noodzaak ontbreekt en het nu nog minder goed werkt. Elke tracker heeft het risico dat ie down gaat, het gigantische volume wat TPB vertegenwoordigt zal eerder aanzet zijn bittorrent van de afhankelijkheid van trackers te ontdoen. Als de cliënts daarnaar omschakelen dan volgt de downloadende massa als vanzelf.

[Reactie gewijzigd door houseparty op 23 juli 2024 01:41]

[Anoniem: 69437]

Je mist het punt. Google wordt gebruikt door de hele wereld, maar als Google er vandaag mee ophoudt, dan gaat morgen iedereen verder met Yahoo. Je bent gewoon niet afhankelijk van 1 zoekmachine, ook al gebruik je er slechts 1.

[YopY]

Klopt, maar dat hebben ze ook al langer. Maar zoals wel op te maken is uit het artikel, TPB is dan wel de grootste en meest gebruikte, maar zeker niet de enige.

Jaren terug was het Suprnova, als TPB ten onder gaat zal de volgende wel weer opduiken.

[Ywa]

Suprnova is weer terug overigens, weliswaar als onderdeel/zuster van TPB.

[TheCapK]

Misschien is dit ook de reden waarom de RIAA en MPAA zo hard achter hen aanzitten.
Als TPB echt zo'n grote link is dan is uitschakeling van hen voor de rechthebbenden van grote invloed. Daar wil je wel wat voor over hebben, van valse beschuldigingen tot en met politiefunctionarissen op je loonlijst. (als de beweringen kloppen)

[mhindrik]

Ik ben niet bang voor een implosie of dat ineens torrents niet meer kunnen werken. Net zoals de val van een andere torrentsite (suprnova als ik mij niet vergis) waren er tientallen, en nu al weer honderden, andere sites die het overnamen.

Verbaasd me niks als ergens de database wordt gekloned en ergens anders gewoon verder gaat.

Nee dit is bangmakerij van je ergste soort.

_{edit: @hieronder, suprnova ja die bedoel ik!}

[Reactie gewijzigd door mhindrik op 23 juli 2024 01:41]

[houseparty]

(torrentnova als ik mij niet vergis)

Volgens mij haal je er twee door elkaar?

Suprnova, een van de oer zoekmachine/indexer sites. En min of meer de oorsprong van alle xxxxxnova spin offs die er nu zijn en geweest zijn.

En torrentspy, een andere succesvolle grote zoekmachine/indexer.

Verbaasd me niks als ergens de database wordt gekloned en ergens anders gewoon verder gaat.

Daar ga ik ook van uit. De servers van TPB zijn al lang gedecentraliseerd en over allerlei uithoeken verdeeld.

En het onderzoek zegt verder vrij weinig. Ze hebben het trackergebruik gemeten. De load op trackers is niet zo heel erg groot, zelfs niet op die van TPB, als je die load vergelijkt met de load op de servers waar de .torrents vanaf worden getrokken en zoekacties op worden uitgevoerd.

De TPB tracker kan gemakkelijk en zeer snel doorstarten, als ie al ooit echt offline gehaald kan worden. Wellicht dat dat voor de site wat moeillijker is, maar die site wordt in verhouding toch al door minder mensen gebruikt dan de tracker. Het is nu immers al zo dat veel mensen aan hun op TPB getrackte .torrents komen via zoekmachines/indexers zoals isohunt, mininova, seedpeer, etc, etc.

Nee dit is bangmakerij van je ergste soort.

Er zal heus ooit wel eens een einde komen aan het TPB tijdperk. Maar iedereen die denkt daarmee bittorent als share p2p uit de weg te ruimen koestert ijdele hoop. Je zult hooguit een tijdelijke afname zien.

[RayNbow]

En het onderzoek zegt verder vrij weinig. Ze hebben het trackergebruik gemeten. De load op trackers is niet zo heel erg groot, zelfs niet op die van TPB, als je die load vergelijkt met de load op de servers waar de .torrents vanaf worden getrokken en zoekacties op worden uitgevoerd.

Er is al een eerder een meting verricht op de load van trackers, zoals bijv. in Jelle Roozenburg's Master Thesis. Uit deze metingen bleek dat TPB slechts in de helft van de gevallen een announce request afhandelde. Als een announce request werd afgehandeld, dan was de gemiddelde response time minstens 140 seconden.

[ATS]

Hiervoor bekeek hij in een periode van ongeveer een jaar 283.031 torrents met in totaal 52.634.778 peers, en hiervan bleek meer dan de helft via The Pirate Bay te lopen.

En hoe had hij deze geselecteerd? Door op de Pirate Bay te gaan zoeken naar torrents? Ik bedoel: hoe representatief is zijn steekproef?

[RayNbow]

Van de Tribler wiki:

The .torrent files of these swarms were obtained by running the Tribler TorrentCollecting software for roughly a year. Swarm sizes were constantly updated during this time.

Oftewel, de torrents waren verzameld door gewoon de Tribler client te laten draaien. Tribler clients zoeken elkaar regelmatig op en wisselen belangrijke informatie uit, waaronder een selectie van .torrent files die elk van de twee ontmoetende clients in het verleden hebben ontdekt.

Als je nu de vraag wil stellen hoe representatief dit onderzoek is, dan moet je je afvragen hoe representatief het downloadgedrag van Tribler gebruikers is voor andere BitTorrent gebruikers. Dit gedrag bepaald immers welke torrents er rondzweven in het Tribler netwerk.

[GroGG]

Sjonge waar geeft de TU toch zijn geld aan uit.

Naast bv Mininova mis ik aardig wat grote trackers.


Ze zijn ook nog eens de private trackers vergeten.

[RayNbow]

Naast bv Mininova mis ik aardig wat grote trackers.

Omdat je het zo vriendelijk vraagt...

>>> stats.number_of_peers(trackers=[Tracker('tracker.mininova.org')])
10295

(Let wel, de torrents zijn automatisch verzameld via het Tribler netwerk. Het is niet zo dat er selectief torrents zijn opgenomen in de meting.)

Ze zijn ook nog eens de private trackers vergeten.

Hier is Hann1BaL al op ingegaan. Private trackers zijn inderdaad lastig te onderzoeken.

Tevens zijn private trackers niet interessant (voor P2P onderzoekers). Scalability is bijv. geen issue bij een private tracker, gezien de grootte van de bijbehorende community te overzien is. De groei wordt namelijk beperkt door niet iedereen de mogelijkheid te geven om te registreren.

[Reactie gewijzigd door RayNbow op 23 juli 2024 01:41]

[Wakoz]

Mininova tracked zelf geen torrents, hij indexeert ze alleen maar.

[Anoniem: 82404]

Niet helemaal waar. Mininova tracked wel, maar alleen 'featured content' wat allemaal legale stuff is. Dus waarschijnlijk zal je mininova niet snel terug vinden in deze stats

[Hann1BaL]

Ja, maar de private trackers vallen redelijk buiten dit verhaal. Mensen die de public tracker van thepiratebay gebruiken zullen naar een andere public tracker gaan als deze wegvalt. Een private tracker kom je zomaar niet op en dus kan het effect wat ze voorspellen wel degelijk waarneembaar zijn, mocht het zover komen. Mininova is wel een voorbeeld die ze mijn inziens mee hadden moeten nemen.

Private Trackers zijn ook lastig te onderzoeken, omdat je er zomaar niet bij kunt.

[Anoniem: 80466]

Wat moet ik hiermee ?

Hiervoor bekeek hij in een periode van ongeveer een jaar 283.031 torrents

Van de torrents liepen er ongeveer vijf miljoen uitsluitend via The Pirate Bay;

[Quacka]

Wij van wc-eend adviseren wc-eend:

nieuws: Tribler wil torrenttrackers overbodig maken

En tweakers.net trapt er heel netjes in

[Givanisovic]

Wij van wc-eend adviseren wc-eend:

Het eerste gedeelte komt van Raynor Vliegenthart van de TU Delft. Hij veronderstelt dat er mogelijk een te grote dominantie is voor The Pirate Bay. Dit heeft niets te maken met jou uitspraak.

De schrijver van het artikel wijst vervolgens naar een mogelijke oplossing in de vorm van DHT.

Een oplossing voor dit probleem zou zijn om Bittorrent te decentraliseren, zodat het protocol niet langer van trackers afhankelijk is.

Vervolgens is Johan Pouwelse van het Tribler team gevraagd om wat uitleg over de DHT-problemen te geven.

De schrijver van het bronartikel eindigt met:

So please direct your prayers to trackers around the world. May they function in peace and prosperity.

[Reactie gewijzigd door Givanisovic op 23 juli 2024 01:41]

[MMaI]

Raynor Vliegenthart is zelf een core developer bij Tribler voor het dht systeem hierin.
Dus wel degelijk een wc-eend momentje.

[RayNbow]

Helaas, maar Raynor Vliegendhart werkt niet aan een DHT. De huidige DHT's (Mainline en Azureus) kampen trouwens met problemen.

De oplossing waar het Tribler team nu aan werkt voor het gedistribueerd tracken van peers valt in ieder geval niet onder Structured P2P Networks (wat DHT's zijn).

[martijnvanegdom]

Jups dat is hij.. Maar ik had van de week hier al een gesprek met hem over dit probleem.. Hij gaf ook aan dat DHT tot nu niet echt succesvol is gebleken.. (Sorry Raynor) Maar het laat nog steeds nog steeds zien dat het systeem nog steeds niet gedistribueerd is.. en dat is het punt wat hij wil maken.. nog steeds a single point of failure : TPB

[Rob Coops]

Denk je nu echt dat TPB een single point of failure is? Ik denk dat Raynor en met hem veel andere een ding heel erg onderschatten... economisch effect. Als TPB er uit klapt om welke rede dan ook dan komt er op eens een groot aantal bezoekers meer op andere sites, sites die ook gewoon reclame op hun site hebben staan net als TBP, de inkomsten zullen dus stijgen voor deze sites omdat er meer mensen zijn die mogenlijk op de reclame zullen klikken.
Het geen de beheerders dan zullen doen, als zij merken dat de vraag groter is dan het aanbod? Juist groeien, het zal op het moment dat TPB dood gaat heus wel even een dip in het P2P verkeer op leveren, maar als je ziet hoeveel mensen er gewend zijn geraakt aan makelijk beschikbare simpel te vinden torrents via een website is gewoon weg te groot om te denken dat als TPB niet meer is dat er niemand anders op dit gapend gat in de markt zal duiken.

Het grote probleem met de decentraale aanpak van een tracker is dat meteen de geen die illegale bestanden aanbied, of de link hier naar toe al snel het risico loopt veroordeeld te worden omdat zij de copyright schending mogenlijk maken iets wat steeds vaker in steeds meer landen voldoende is voor een veroordeling.
Als je kijkt naar de bestanden op de pirate bay en andere trackers dan zie je al heel snel dat juist de copyrighted files de grote publieks trekkers zijn, de legaale downloads vind bijna niemand interesant en die worden meestal via de website van aanbieder van deze bestanden van een tracker voor zien, dus TPB is daar niet voor nodig, nog is een decentrale tracker van belang omdat het bij dit soort dingen de aanbieder op de een of andere manier voordeel haalt uit de versprijding van deze bestanden en dus de kosten van het hosten van de tracker en bijbehorende bandbreete etc voor lief zal nemen.

Een decentrale tracker is een leuk idee maar het kan gewoon weg niet de centrale trackers vervangen omdat het voor de gebruikers die illegaale bestanden downloaden ver uit de beste methode is om deze bestanden te verkrijgen en zelf buiten schot te blijven.

[RayNbow]

Denk je nu echt dat TPB een single point of failure is?

Elke centrale tracker is een single point of failure. Er zijn dus heel veel single point of failures. Het schaalt in ieder geval niet met het aantal gebruikers.

Ik denk dat Raynor en met hem veel andere een ding heel erg onderschatten... economisch effect. Als TPB er uit klapt om welke rede dan ook dan komt er op eens een groot aantal bezoekers meer op andere sites, sites die ook gewoon reclame op hun site hebben staan net als TBP, de inkomsten zullen dus stijgen voor deze sites omdat er meer mensen zijn die mogenlijk op de reclame zullen klikken.

De reclame's staan echter op de .torrent index/zoeksites, niet op de trackers die peers bijhouden. Mocht een grote tracker uitvallen, dan wordt de load verspreid over andere trackers in de announce-list.
In eerste instantie betekent niet meteen dat andere trackers hun inkomsten zien stijgen.

Pas wanneer bijv. TPB's index site langer uit de lucht blijft, gaan mensen op zoek naar andere sites waar mogelijk reclame opstaat. Dan pas zien de beheerders van die sites een groei van inkomsten.

[...]Een decentrale tracker is een leuk idee maar het kan gewoon weg niet de centrale trackers vervangen omdat het voor de gebruikers die illegaale bestanden downloaden ver uit de beste methode is om deze bestanden te verkrijgen en zelf buiten schot te blijven.

[coretx]

Goh, leuk dat je met Rayonor hebt gesproken.
* coretx heeft met mensen van TPB gesproken, en op basis daarvan deel ik je meden dat ze niet down KUNNEN gaan. Dat is nml technisch onmogelijk.
( Ze kunnen wel down, maar hooguit 24hr )

TPB zit namelijk niet op 1 point. En ze zijn meden daarom dus geen SPOF

[martijnvanegdom]

Haha... Ignorance is bless... God himself could not sink the Titanic..... Als je dat echt denkt.. dat TBP niet plat kan.. Dan denk ik dat je toch beter je geschiedenis moet gaan kennen..

Er zijn zoveel dingen die inziens van alle mensen onmogelijk waren die later tot gebeurd zijn.. juist door technische prestaties.. 300 geleden was het onmogelijk dat we nu op de Maan zijn geweest, dat we met 900 kilometer per uur vliegend aan de andere kant van de wereld zaten.

[Anoniem: 278437]

en dan?

Lijkt mij het beste dat we kijken naar de inhoud en niet naar de onderzoeker en bevoordeelde/benadeelde partijen zijn. Anders gaan we met de partijdigheid snel bergaf in nieuwswaarde.

[koter84]

Inhoud is natuurlijk wel afhankelijk van de band die de onderzoeker heeft met bevoor/benadeelde partijen.

Het is altijd goedom te kijken waar iets vandaan komt, zoals met die "Joe the Plumber" in de USA, die vent stond elke keer op TV te vertellen wat Obama verkeerd deed (voornamelijk meer belastingen enzo) Toen hebben ze zijn gegevens even nagezocht en bleek hij al 2 of 3 jaar geen belasting meer betaald te hebben......
(het is een beetje een vergezochte verbinding met dit verhaal, maar toch...)

[bouvrie]

5 miljoen peers? Een torrent heeft meerdere seeders/downloaders?

[sub0kelvin]

Je moet het zo zien: A, B zijn bedrijven in de chatwereld. Zeg dat ieder van die een marge van 5.000 chatters heeft, dat is de hoeveelheid extra gebruikers die ze kunnen verwerken boven hun normale load. Krijgen ze veel meer dan hun marge te verwerken boven op hun standaard klanten, dan raken de servers overbelast en kan niemand meer chatten bij dat bedrijf.

Goed, daarnaast heb je C, een grotere vis, die gemiddeld 100.000 mensen van chatplezier voorziet. Als C dan wegvalt en iedereen gaat naar de andere chatdiensten gaan kunnen die de plotselinge aandacht niet aan en raken ze een voor een overbelast. En hoe meer er uitvallen, hoe meer de overgebleven servers te verwerken krijgen en hoe sneller ook zij moeten opgeven.

Bedrijven/websites hebben namelijk geen oneindige serverkracht klaar liggen, want grote marges kosten veel geld.

[telenut]

die trackers zijn simpele kleine bestandjes. Een paar 10000 gebruikers meer of minder zal het verschil wel niet maken zeker?