Delftse onderzoekers maken bittorrentprotocol sneller

Onderzoekers van de TU Delft stellen dat zij een verbeterd algoritme voor het bittorrentprotocol hebben ontwikkeld. De 'super seeding standard' van de Tribler-client zou de downloadsnelheid vooral bij trage verbindingen verhogen.

De TU Delft werkt al jaren aan p2p-technologie en dan vooral aan verfijningen van het bittorrent-protocol. Zo is de universiteit bekend van de client Tribler, een p2p-client die geen centrale tracker nodig heeft om torrents te kunnen vinden en downloaden. Inmiddels heeft het team van wetenschappers onder leiding van Johan Pouwelse een techniek ontwikkeld die p2p-gebruikers sneller moet laten downloaden, door middel van wat zij de super seeding standard noemen.

Het idee achter de super seeding standard is volgens Pouwelse deels gebaseerd op de share ratio enforcement-techniek, die door veel gesloten torrenttrackers wordt gehanteerd. Daarbij worden uploaders door middel van een creditsysteem beloond voor hun werk. Het nadeel van de meeste ratioalgoritmen die torrentsites hanteren, is echter dat gebruikers met een lage uploadsnelheid in het nadeel zijn en dat seeders vaak in de meerderheid zijn, zodat zij zeer lang online moeten blijven om hun ratio's te behalen.

Het Tribler-team heeft na het bestuderen van de downloadsnelheden bij diverse gesloten torrenttrackers een eigen algoritme ontwikkeld, dat in de laatste builds van Tribler is geïntegreerd. Dit werkt op basis van een meer verfijnd creditsysteem en zou een flinke snelheidswinst kunnen opleveren zonder dat torrentgebruikers eindeloos moeten seeden. Pouwelse laat Tweakers.net weten dat de downloadsnelheden voor gebruikers met tragere verbindingen bij private trackers tot vier keer groter kunnen worden. Bij publieke trackers zou een snelheidswinst met een factor twee behaald kunnen worden. "Daarvoor zijn wel circa duizend seeders nodig, maar omdat bijvoorbeeld Tribler zonder centrale tracker werkt, is dat haalbaar."

Nog niet duidelijk is of het super seeding standard-algoritme zal uitgroeien tot een breed omarmde standaard binnen het bittorrent-protocol, en populaire clients als μTorrent en Transmission. Pouwelse wijst er echter op dat zijn Tribler-team in de afgelopen jaren nauw betrokken was bij het onwikkelen van een gedecentraliseerd torrentsysteem. Daarbij zijn geen trackers meer nodig om het downloaden via dit p2p-protocol mogelijk te maken.

Reacties (29)

[.oisyn]

Met andere woorden, als ik het goed begrijp is het niet zo dat downloadsnelheden worden verhoogd door het gebruik van betere netwerkstrategieën, maar puur doordat er een nieuw algoritme is bedacht om non-seeders te straffen, wat minder nadelig zou zijn voor mensen met een lage bandbreedte?

Tja... het is idd zo dat het protocol daarmee sneller wordt, maar uiteindelijk gaat het om het weghalen van kunstmatige limieten, en niet zozeer om het efficienter maken van het verkeer zelf. Je kunt ook gewoon die limieten helemaal weghalen, is het nog sneller .

[Reactie gewijzigd door .oisyn op 24 juli 2024 23:37]

[mduijvendijk]

Standaard krijgen bij het superseeden gebruikers met een hoge upload voorrang. Dit is dan ook voornamelijk bedoeld om een torrent op gang te brengen. Mensen met een lage upload kunnen pas later over het volledige bestand beschikken als er voldoende mensen zijn die een volledig bestand delen.

De aanpassing op het algoritme zorgt er dus voor dat mensen met een lage upload meer prioriteit krijgen dan bij het huidige superseed algoritme.

[synctext]

Even berichtje van Tribler team...

Ter verheldering: we willen stimuleren dat mensen zich socialer gaan gedragen, that's all.
Onze Superior Seeding Standaard is bedoelt om er voor te zorgen dat mensen langer en meer seeden. Dus: hit-and-run gedrag geeft iets lagere download speeds. Seeden wordt beloont.

We hebben gemeten dat mensen slechts gemiddeld 2-3 uur seeden in public swarms. Veel mensen seeden totaal niet. Private swarm seeden mensen wel 24-48 uur, groot verschil in performance. Zie onze meeting van jaartje werk: www.usenix.org/event/iptps10/tech/full_papers/Meulpolder.pdf

Performance en availability van long-tail content zal goed verbeteren als mensen 12x langer seeden en misschien ook 2x zoveel disk space doneren. Ratio enforcement is iets wat nie goed werkt, denken we nu opgelost te hebben. Erg benieuwd hoe veel mensen hun seed gedrag zullen aanpassen als er zelf beter van worden...
Tribler coordinator, johan.

[Reactie gewijzigd door synctext op 25 juli 2024 05:34]

[uqrax]

Klinkt interessant, ik ben benieuwd hoe het in de praktijk zal uitpakken. Het veelgebruikte botte ratio enforcement ben ik nooit zo van onder de indruk geweest omdat dit dergelijke systemen hun doel gedeeltelijk voorbij schieten: Data wordt inderdaad beschikbaar gesteld maar is niet of niet goed beschikbaar voor gebruikers met lagere upload snelheid.

Het probleem is dat uploaders met een share ratio van hoger dan 1 in feite leechers worden, omdat ze zo andere gebruikers de kans ontnemen om een goede ratio op te bouwen. Voor de gebruikers met de goede share ratio zijn er enkel voordelen om nog meer te uploaden, maar voor de totale verspreiding van de data over de gebruikers is het in dit geval geen optimale methode om domweg een minimale ratio af te dwingen.

Ik heb zelf vaak op private trackers moetie gehad om boven de minimale ratio uit te komen vanwege mijn relatief lage upload snelheid. Dan gebeurt het regelmatig dat ik een aantal torrents aan het seeden ben en wel degelijk zelfs met mijn upload capaciteit wat toe te voegen zou hebben aan de swarm, maar simpelweg de kans niet krijg omdat een 100Mbitter met een share ratio van 25 al druk bezig is mijn peers te bedienen. Het maakt niet uit voor de gebruikers die die torrent aan het downloaden zijn of ze de data van mij en een groep andere seeders krijgen of van die ene grootverbruiker. Is wel vervelend voor mij en die 25-50 andere gebruikers die verplicht zijn een minimale hoeveelheid data te uploaden.

Overigens heb ik het idee dat eigenaren van dergelijke trackers de beperkingen van ratio enforcement wel prima vinden, omdat ze zo de gebreken buiten de algoritmen om kunnen corrigeren door mensen geld te laten doneren voor een hogere ratio, of om aanmaken van nieuwe torrents aantrekkelijker te maken.

[yiNXs]

omdat ze zo de gebreken buiten de algoritmen om kunnen corrigeren door mensen geld te laten doneren voor een hogere ratio, of om aanmaken van nieuwe torrents aantrekkelijker te maken.

Op mijn meest gebruikte private tracker maken ze zich er hard voor om dit juist nooit te doen. Doneren geeft je niets meer dan een icoontje bij je naam. Toch is overseeden daar ook nog steeds een groot probleem. Er zijn al verschillende oplossingen geboden op het forum, maar ze kunnen deze gewoon niet in gebruik nemen. Het frappante is dat dit niet vanwege onwil, of technische redenen is, maar omdat de top-seeders (en de uploaders) van die site dreigen te vertrekken zodra er iets aangepast wordt.

Die ratio is namelijk een status symbool, puur een ego ding. En hoewel overseeden in het reglement verboden wordt, zou het bestraffen een leegloop betekenen. Een hoop mensen weigeren overseeden ook als een probleem te zien, want de simpele redenatie is dat seeden altijd goed is en leechen niet. Dat er leechers nodig zijn om te kunnen seeden wordt niet op in gegaan.

Daarom hoop ik dus dat het torrent protocol of de clients zelfs met een oplossing komt, maar bij de ontwikkelaars van de bekende clients is automatische regulering een taboe. Waarschijnlijk omdat ze niemand tegen de schenen willen schoppen.

Zoals ik in een bericht onder al aangegeven heb (over bittyrant), zijn er dus al clients die regulering doen, maar die wordt vaak verbannen, of snel als "slecht" bestempeld. Mijn inziens wordt het dus vooral in stand gehouden door de grote massa leechers op publieke sites en de kleine elite op private sites, die als grote tegenpolen juist gezamenlijk het huidige systeem in stand willen houden.

Ik hoop echt dat programma's als b.v.Tribbler of BitTyrant populair zullen worden, maar ik vrees dat dat gedwarsboomd zal blijven worden.

[Yoozer]

dat mensen zich socialer gaan gedragen

Moeten ze de muziek, films en games maar kopen .

Komt er bij jullie geen commentaar binnen van auteursrechtenorganisaties dat jullie auteursrechtinbreuk en illegaal downloaden in de hand spelen?

[Pimmetje16]

Ik snap niet helemaal waarom mensen torrents altijd direct in verband moeten brengen met illegaal downloaden. Ja het is een veel gebruikt onderdeel maar naar mijn mening niet het doel van torrents. Torrents zijn er voor om op een efficiënte manier grote bestanden te verspreiden. Wat dat is, is aan de gebruiker.

_{Voor de duidelijkheid is heb niets met torrents behalve dat ik er wel eens een iso mee ophaal.}

[synctext]

Inderdaad.
Hopelijk gaat P2P richting "streaming" en kunnen we een Youtube-achtige services maken. Als mensen meer seeden, hard disk ruimte doneren en we distributed moderation begrijpen moet dit ooit lukken...

[koter84]

ja, en daarbij merk je dus totaal geen verschil met deze aanpassing...

puntje bij paaltje... van alle GB/s die via BitTorrent gaan is meer dan 50% niet legaal...
ik heb hier geen bron voor, maar wie kan me een site wijzen die groter of minstens net zo groot is als ThePirateBay, maar dan met legale BitTorrent content???

[RayNbow]

Komt er bij jullie geen commentaar binnen van auteursrechtenorganisaties dat jullie auteursrechtinbreuk en illegaal downloaden in de hand spelen?

Johan heeft gewoon goede PR skills.
Commentaar was er trouwens al in 2006 en er waren zelfs kamervragen, maar volgens mij is het sindsdien best stil.

[mbb]

Dit lijkt voornamelijk het doel te hebben sneller te uploaden/downloaden
Maar welk effect heeft dit op de leeftijd van de torrent? Juist het wekenlang moeten seeden van torrents zorgt ervoor dat ze nog lang na de eerste uploaddatum online blijven staan, waardoor ze bijvoorbeeld met usenet concurreren.

[koter84]

ik kan met usenet data van 3 jaar geleden downloaden, en daarbij sowieso m'n verbinding dichttrekken...

een paar weken beschikbaar is een lachtertje voor een beetje usenet-dienst

[Dual Infinity]

Volgens het paper is het toch subtiel anders.

Kort:
Het enforced share ratio systeem is oneerlijk tegenover mensen met lage uploadsnelheden, omdat de downloadbehoefte in de swarm veel sneller vervuld wordt door mensen met een dikke up-pijp. Het gevolg is dat de low-bandwidth peers nooit aan hun share ratio komen.
De 'toegenomen bandwidth' in hun algoritme komt voort uit de situatie dat low-bandwidth peers meer _mogen_ downloaden (en de totale vraag dus groeit).

Het mooie van het algoritme is dat het een verfijnder systeem is om de waarde van uploaden (en downloaden) te bepalen. Simpel gezegd is het gebaseerd op een vraag-aanbod model. In torrents met weinig aanbod en veel vraag seeden levert meer op, en van torrents downloaden die dik geseed worden kost minder (in termen van share ratio-effecten). Wat mij betreft een goede en logische verbetering op het huidige share ratio-systeem.

Natuurlijk is net zoals bij een share ratio-systeem een mechanisme om de ratio's te registreren nodig. Ik ben er niet van op de hoogte in hoeverre er daarvoor al gebruik gemaakt wordt van gedistribueerde algoritmen, maar je zou je voor kunnen stellen dat dit op een BitCoin-achtige wijze wordt gerealiseerd.

[RocketKoen]

Het zorgt ervoor dat je motivatie hebt om zo veel mogelijk te seeden, ook als je geen 100Mbit lijn hebt.
en meer seeds = voor iedereen hogere downloadsnelheden

[SuperDre]

Juist ja, het maakt het bittorrentprotocol dus niet sneller zoals de titel wel doet vermoeden..

[yiNXs]

Goed, ik zou me moeten verdiepen in details voor ik er zelf wat over kan zeggen, maar het lijkt toch een beetje alsof ze het idee voor een groot deel van de (omstreden) BitTyrant client hebben overgenomen. Dit is een afstudeer project van een paar lui van een Amerikaanse universiteit gedaan in 2006-2007. Ik heb het een tijdje gedraaid en het lijkt in grote lijnen het zelfde te doen.

http://bittyrant.cs.washington.edu/

En hun onderzoeks documentatie: http://www.cs.washington....atek/papers/BitTyrant.pdf

[Reactie gewijzigd door yiNXs op 25 juli 2024 05:34]

[RayNbow]

Nu is het alweer een tijd geleden dat ik de BitTyrant paper gelezen heb, maar als ik me goed herinner doet BitTyrant aan het optimaliseren van de downloadtijd. BitTyrant doet dit door strategisch de uploadcapaciteit in te zetten. Wanneer BitTyrant merkt dat hij van peer P met snelheid pieces ontvangt wanneer hij zowel met 10 KB/s als 30 KB/s uploadt naar die peer, dan zal de BitTyrant client beslissen om 10 KB/s in te zetten. Die 20 KB/s die BitTyrant bespaart kan hij dan bij een andere peer inzetten.

Het werk van de TU Delft wat in dit artikel besproken wordt beschrijft juist dat onder Share Ratio Enforcement (SRE), de uploadcapaciteit van peers niet volledig benut wordt en peers onnodig lang seeden. De 4 strategieën voorgesteld in de paper verkorten de seedtijd.

[Verwijderd]

Leuk maar wie heeft er nog nog een trage verbinding? Het is niets alsof je over je dure 3g datalimiet serieus gaat lopen torrenten.

[psychodude]

Er zijn voldoende mensen met een trage verbinding. Je concurreert namelijk op upload snelheid bij een nieuwe torrent. Zit jij in Nederland met een upload van slechts 3mbit en je moet op zien te boksen tegen mensen in Zweden met 30mbit of meer upload, dan wordt jij vervolgens achtergesteld op mogelijke download snelheid totdat de voldoende seeders aanwezig zijn.

Dit doet er natuurlijk niet bijzonder veel toe als je even een filmpje wilt downloaden van the piratebay of van één of andere private tracker.

Maar het doet er daarentegen wel weer toe als het bittorrent protocol ooit gebruikt zal willen worden voor bijv streaming media. Iets wat weer interessant kan zijn voor bijv. live evenementen. Deel de bandbreedte en de beperking tot low-resolution streams kan snel vervangen worden met HD kwaliteit.

[Verwijderd]

Staat er in het artikel dat het alleen voor Europa gemaakt is ?
Ze doelen op grote delen van Afrika (waar men dus bijv. openoffice via een torrent binnen kan halen) en eilanden waar internet via een satelliet gaat (en dat is retetraag, been there, done that.)

[i-chat]

en zijn het niet de belgen die altijd klagen over de trage verbindingen van telenet ... in landen als spanje echter is het NOG trager... maar zelfs in nederland in bijv de buiten gebieden waar je enkel met adsl zit heb je TRAAG internet...

waar ik hier met upc 1 a 2 mbit upload heb, heb ik met dsl nog geen 512kb weten te versturen.. met fiber zit ik echter minimaal aan 25mbit upload... als het grootste deel van de deelnemers aan een torrent meer dan 2mbit heeft, - kun jij met je adsl lijntje mooi schudden naar je ratio - en DUS naar je download snelheid. en mag je gewoon dagen wachten eer men je een keer gaat bedienen. terweil er in weze vaak bandbreedte genoeg is.

[Verwijderd]

Films is nog wat lastig, maar ik heb toch wel vaker een mp3 via m'n telefoon over 3G binnengehaald via SymTorrent (een Bittorrent client voor Symbian).

[SinergyX]

Nog steeds die onzin van 'share ratios', bittorrent al jaren achter me gelaten. Mischien nog best interessant voor de 'legale commerciele' toepassingen zoals de WoW client.

Een decentraal systeem zal toch nog steeds een 'index' moeten hebben, wie wat waar en wanneer heeft staan, al zie ik zelfs bij 'openbare' trackers maar amper duizend seeders, mischien bij wat populair materiaal, maar de oudere bestanden (ook bij privates) komen niet voorbij de 20-30 seeds.

[Verwijderd]

Nee hoor, die index kun je ook decentraliseren. Gelukkig wel, zo ontneem je Brein e.d. single points of failure om aan te vallen.

[Stoney3K]

Nee hoor, die index kun je ook decentraliseren. Gelukkig wel, zo ontneem je Brein e.d. single points of failure om aan te vallen.

En hoe wil je dat doen dan? Alle torrents gaan sharen via BitTorrent?

Je zal toch echt ergens een point-of-origin node nodig hebben waar gebruikers kunnen beginnen met zoeken. Net zoals je met de 'oude' P2P systemen (ED2K of Gnutella) ook een aantal bekende nodes nodig had om je verbindinge op te bouwen -- als een client niets weet over het netwerk kan ie moeilijk over het hele internet proberen te broadcasten.

[RayNbow]

Je zal toch echt ergens een point-of-origin node nodig hebben waar gebruikers kunnen beginnen met zoeken.

Ja, je moet op z'n minst 1 iemand kennen die deel uitmaakt van een P2P netwerk. Dit bootstrap-probleem zal je altijd houden.

Er is wel lichtpuntje: het maakt niet uit *wie* je van het P2P netwerk kent. Als je dus slim bent houd je dus een lijstje bij met peers die je kent. Dit is ook wat bijv. de Tribler client doet. De superpeers die in /Tribler/Core/superpeer.txt staan mogen offline worden gehaald. Je hebt dat lijstje alleen nodig voor de allereerste keer dat je Tribler start.

Voor mensen die Tribler installeren nadat de superpeers offline zijn gehaald hebben alleen in het begin een probleem. Het internet kennende kunnen we echter verwachten dat er binnen de kortste keren een alternatieve superpeer.txt op het web staat die mensen kunnen gebruiken om Tribler voor de eerste keer te kunnen opstarten.

[RayNbow]

Een decentraal systeem zal toch nog steeds een 'index' moeten hebben

In Tribler is er echter geen sprake van een "index" om de torrents te vinden. Verder kent het BitTorrent protocol uitbreidingen (nl. DHT en PEX) waardoor er geen "index" nodig is om de peers in een swarm te vinden.

[jorisp]

Pouwelse laat Tweakers.net weten dat de downloadsnelheden voor gebruikers met tragere verbindingen bij private trackers tot vier keer groter kunnen worden.

Ehm, gebruikers met trage verbinding hoeven bij een fatsoenlijke private tracker totaal geen moeite te doen om op volle snelheid te downloaden. Het "probleem" is dat ze niet zoveel zullen uploaden.

[Ample Energy]

Nederland download niet alleen veel, hele universiteiten zorgen ervoor dat het nog sneller kan

En die share ratio enforcement is zeker een goed idee. Al heb ik maar 2 Mbit upload, ik upload meer dan dat ik download. Wat voorrang tegenover mensen die niks uploaden zou prettig zijn.