P4p-routeringstechniek moet p2p-verkeer efficiënter maken

Volgens een onderzoek van de Amerikaanse isp Verizon en de Yale University kan het 'slimme' p4p-protocol bestandsuitwisseling via p2p-netwerken versnellen en tegelijkertijd het netwerkverkeer tussen internetproviders beperken.

Het huidige dataverkeer dat gegenereerd wordt door p2p-toepassingen zoekt min of meer willekeurig zijn weg. Hierdoor kan een gebruiker in Nederland via het populaire bittorrent-protocol data downloaden van een pc aan de andere kant van de oceaan, terwijl zijn buurman hetzelfde bestand in de aanbieding heeft. Gemiddeld zou een p2p-verbinding 5,5 hops - tussenstations, zoals routers - nodig hebben voordat de eindbestemming is bereikt. Isp's klagen al langer dat deze inefficiënte protocollen hun netwerken verstoppen en dat de kosten voor het dataverkeer te hoog oplopen. In de VS ging kabelprovider Comcast zelfs zo ver dat het torrentverkeer bewust afkneep in de hoop zijn netwerk te ontlasten.

Het p4p-protocol zou hier een einde aan kunnen maken, zo stellen de onderzoekers van de Yale University. Met het door de p4p-consortium gepropageerde Itracker-systeem moet het p2p-verkeer aanzienlijk efficiënter worden. De Itracker-software draait op de systemen van de isp en communiceert met p2p-software en -trackers over de ideale verdeling van het dataverkeer. Daarbij krijgen verbindingen met lokale peers voorrang. Volgens Verizon is uit praktijktesten op zijn netwerk gebleken dat met p4p-software het dataverkeer in 58 procent van de gevallen binnen het eigen isp-netwerk blijft, waarbij een ip-pakket gemiddeld niet meer dan 0,89 hops nodig heeft om het eindpunt te bereiken. Daarnaast zou de eindgebruiker zijn downloads circa tweemaal zo snel binnen zien lopen.

Verizon, dat zijn netwerkcapaciteit voor de helft gebruikt ziet worden door p2p-verkeer, heeft veel vertrouwen in het door Pando Networks ontwikkelde protocol. Het bedrijf stelt dat isp's hun kosten voor dataverkeer binnen de perken kunnen houden, terwijl de gebruiker hogere downloadsnelheden krijgt. Omdat het p4p-systeem geen omstreden deep packet inspections uitvoert, zouden niet alleen bedrijven, maar ook ontwikkelaars van p2p-applicaties actief mee willen werken aan het efficiënter maken van p2p-verkeer met p4p, zo hoopt de provider.

Het is echter de vraag of het p4p-protocol niet uitsluitend een speeltje zal worden van commerciële en legale contentaanbieders. Tot nu toe lijken opensource-ontwikkelaars weinig te zien in het actief meewerken aan traffic shaping. Het is immers niet ondenkbaar dat uit de p4p-software privacygevoelige informatie gedestilleerd kan worden waar copyrightwaakhonden of de providers zelf maar al te graag inzage in zouden willen hebben. Zo heeft de Amerikaanse isp AT&T begin januari aangekondigd dat het overweegt om zijn netwerk actief te filteren om piraterij tegen te gaan.

Reacties (49)

[locke960]

Zonder me er echt in te verdiepen kan ik zo al 2 grote problemen van dit systeem noemen:

1. De controle over wie met wie gegevens uitwisselt komt bij een derde partij (de ISP's) te liggen, en niet bij de p2p gebruikers. Dat zal niet snel geaccepteerd worden door de p2p gemeenschap.

2. De ISP die dit systeem gaat gebruiken krijgt gelijk een rechtzaak wegens het faciliteren van auteursrechten schending aan zijn broek omdat de p2p gebruikers illegale films en muziek uitwisselen.

Kortom, dit zal falikant mislukken. Sterker nog, het zal niet eens geprobeerd worden. (Misschien alleen door dat hele kleine percentage aanbieders van legale content)

Het zou overigens wel interesant zijn om te zien of dit niet in een echt p2p protocol (trackerloos dus) geintegreerd kan worden. Meer snelheid voor de p2p gebruiker en lagere netwerk belasting voor de ISP is voor beide beter.

@SiliconError: Dat Kad uploads langzaam zijn komt niet zozeer door de pijp van de uploader maar door het feit dat het KAD protocol liever 2 langzame uploads tegelijk doet dan 1 snelle. (standaard instellingen)
En zelfs als het niet sneller wordt voor de eindgebruiker: als de ISP er baat bij heeft zal die minder reden hebben om over p2p verkeer te klagen en dus ook minder snel tegenmaatregelen nemen. En omdat de ISP's eigen kosten omlaag gaan kan uiteindelijk ook de prijs van je internet verbinding omlaag. Dus uiteindelijk toch voordelen voor de eindgebruiker.

[Reactie gewijzigd door locke960 op 27 juli 2024 07:06]

[SiliconError]

Ik kan me voorstellen dat de huidige p2p clients ook hops kunnen tellen, en daardoor dus de kortere routes hoger op de queue kunnen zetten. Maar of het nou wat uitmaakt?

Als je nu geluk hebt met netwerken als Kademlia pak je 1 van de 10 keer iemand met een flinke internetpijp. Helaas zit die meestal niet bij je eigen ADSL provider in het netwerk (op de huidige kabel / ADSL netwerken kan je een fatsoenlijke upload sowieso vergeten), maar ergens op een universiteit (aan de andere kant van de wereld).

Het lijkt me dus niet dat het direct iets gaat opleveren voor de eindgebruikers (wij dus).
Providers kunnen om verkeer te sparen beter een eigen Usenet server met fatsoenlijke retentie opzetten.

[oddish2211]

hiermee kun je dus effiecienter downloaden, maar wordt de download snelheid dan ook niet hoger? en dus blijft het bandbreedte gebruik dan niet even hoog?

p2p stond voor peer 2 peer, en p4p dan?

[Praetor]

Je download nog even veel uiteindelijk, de winst voor de ISPs is dat dit verkeer binnen hun eigen netwerk blijft als het protocol wat minder willekeurig wordt. Verkeer binnen het eigen netwerk is 'gratis' terwijl dataverkeer van en naar andere netwerken geld kost. Ook heeft het internet netwerk vaak een hogere dichtheid dan de verbindingen naar buiten en zou je misschien dus ook sneller kunnen downloaden.

[arjankoole]

dat 'kost geld naar andere netwerken' valt wel mee. Een hoop ISP's peeren met elkaar, bijvoorbeeld op de AMS-IX. Dat zijn flat-fee poorten.

je transits, die kosten geld, en niet weinig ook, daarom is peeren zo fijn, een hoop verkeer handel je dan goedkoop af, en niet over je dure transit.

[Verwijderd]

Hoe meer dataverkeer je hebt, hoe meer van die flat-fee poorten je zult moeten huren om performance acceptabel te houden.

[Ortep]

Nee...want nu krijg je het van je buurman en niet van Meneer Wu Ling Ho in Peking. De data hoeft niet heel de wereld over. Jij krijgt wel dezelfde snelheid dus. Jouw lijn is nog even druk, maar de lijn tussen Amsterdam en Peking heeft het rustiger

[Reactie gewijzigd door Ortep op 27 juli 2024 07:06]

[Rex]

Dat betwijfel ik ten zeerste. Wie weet heeft jouw "buurman" wel veel minder bandbreedte beschikbaar dan iemand aan de andere kant van de wereld die bijv. 10 mbit up heeft.
Ik denk dat dit alleen maar voordelen heeft voor de ISP en geen voordelen voor de gebruikers. Integendeel, gebruikers kunnen mogelijk last krijgen van bovenstaande nadeel.

[Sakkesa]

Je zal minder latency hebben met je buurman (al is zijn bandbreedte kleiner). Doordat de 'internationale' verbindingen gespaard blijven, zijn deze sneller voor wanneer je de echt nodig hebt, bv. wanneer de enige andere peer zich ver weg bevind.

[Shinigami]

Ook al krijgt de verbinding naar je "buurman" voorrang, en ook al heeft deze een brak internetlijntje, er wordt nergens gesteld dat dit niet aangevuld wordt met verbindingen als die van "Wu Ling Ho in peking". Nog beter: het schema onderaan het artikel laat zien dat de pakketjes tussen gebruikers van de ISP makkelijker uitgewisseld kunnen worden, maar dat pakketjes van andere ISP's nog steeds te ontvangen zijn.

[thegve]

Het idee is daarnaast dat de lijn naar je buurman (bij dezelfde ISP) sneller is dan die naar meneer Wu Ling Ho, zodat dus ook je eigen download snelheid beter word.

[Ge Someone]

Met protocollen als BitTorrent download je zowel van je buurman als "peers" verspreid over de wereld. Hoogst waarschijnlijk met verchillende snelheden. Alle beetjes helpen.
Je kunt hiermee hooguit een soort prioriteit aan peers bij je eigen provider aan toevoegen.

[TD-er]

Ik vraag me serieus af of je downloadsnelheid echt hoger zal worden, want dat zou inhouden dat de bandbreedte van de providers onderling (of in elk geval het verkeer naar buiten het netwerk van de provider) nu de bottle-neck is.
het lijkt mij met name een prijstechnisch voordeel, omdat lokaal netwerkverkeer goedkoper is dan verkeer naar buiten het netwerk.

[Verwijderd]

met bitrorrent gaat het vaak om hele kleine 'pakketjes' die maar over en weer gestuurd worden, dus alleen al op het gebied van latency is er voordeel te behalen.

maar bovendien - als jij bij Casema kabel zit en je het gros van het bestand van je mede kabelinternetters haalt, dan is dat toch sneller dan dat jet het bij een ouderwetse inbeller weg moet halen? Ook als je client zegt "bekijk 't even, gaat mij te langzaam", dan is er toch nog tijd verspilt aan het verbinding leggen, de verbinding testen, etc.

[TD-er]

Volgens mij is latency bij p2p verkeer geen performance-issue, omdat je namelijk meerdere connecties tegelijk open kunt hebben en volgens mij is het niet zo dat je voor elk pakketje afzonderlijk een request moet sturen voordat je een ander stukje krijgt.

Bij de meeste p2p-ers is de upload-cap van de verbinding de beperkende factor, dus dat zal niet sneller gaan als je het vrijwel alleen van lokale uploaders binnen krijgt. Sterker nog je zal dan alleen maar (per peer) beperkt zijn tot de uploadsnelheid die je zelf ook hebt, terwijl je nu vrij regelmatig iemand erbij hebt zitten die in z'n eentje vele malen sneller upload dan je zelf kan. Die snelle uploaders heb je dan veel minder snel erbij zitten.

[ACM]

Uit de bron:
"Here P4P stands for proactive network provider participation for P2P, or provider portal for P2P"

Oftewel, de 4 staat ervoor dat er 4 p's gebruikt werden ipv 'for'.

Het is natuurlijk maar de vraag of je echt winst hebt voor de gebruikers hiermee, je kan natuurlijk beter bij een aanbieder met 100Mbit up uit Zweden downloaden, dan bij je mede casema-kabelaar met 1Mbit... Desalniettemin is het voor isp's en ook voor gewone gebruikers bij populaire files natuurlijk een hele interessante ontwikkeling om te voorkomen dat je bestanden van ver moeten komen terwijl het ook dicht bij had gekund.
Voor de gewone gebruiker mogelijk bandbreedte- en latencywinsten, voor de isp natuurlijk een hoop minder dataverkeer via de peerings en andere up- en downlinks.

[Reactie gewijzigd door ACM op 27 juli 2024 07:06]

[Verwijderd]

"P4P" staat natuurlijk voor niets meer dan "P2P met een hoger nummertje".

[blorf]

Peer for peer? Ik weet het ook niet. Is het niet dat voor een bepaalde peer eentje wordt opgezocht die dichterbij is?

[TD-er]

Profit for Provider

[TD-er]

Het is immers niet ondenkbaar dat uit de p4p-software privacygevoelige informatie gedestilleerd kan worden waar copyrightwaakhonden of de providers zelf maar al te graag inzage in zouden willen hebben.

Op zich lijkt me dit vreemd, omdat het technisch gezien niet echt veel complexer is dan wat een torrent-tracker nu doet.
Nu "weet" een tracker wie welk stukje van de files mogelijk heeft en kan dus zo bijdragen aan het zo snel mogelijk verspreiden van de meest zeldzame stukjes. Het enige wat je er aan toe hoeft te voegen is een tellertje die hops gaat bijhouden tussen peers. Worst-case kun je dan n^2 hops gaan bijhouden, voor n leechers, maar in de praktijk zal dat waarschijnlijk minder dan 36 hops zijn per torrent. (5.5 hops gemiddeld)
Aan de hand van de onderlinge hops krijg je dan meerdere tabelletjes die bijhouden welke stukjes zeldzaam zijn per sectie, maar dat kun je met een beetje nadenken waarschijnlijk ook wel reduceren naar een paar grote geografische subnetten.
Kortom het hoeft een tracker helemaal niet zo complex te maken en als je de ISP's er een plezier mee doet, lijkt het me dat de ISP's dan ook iets minder makkelijk gaan meewerken aan opsporing als het hun niet echt in de weg zit.

Enige nadeel is dat lokale opsporings-diensten een grotere waarschijnlijkheid hebben om alleen van lokale peers te downloaden.
Voor ons Nederlanders is het wel een voordeel want uitlokking is bij ons niet toegestaan.

[justice strike]

volgens mij houdt een tracker alleen bij wie er zich aangemeld heeft voor een bestand. Dan moeten de gebruikers zelf onderling nog uitvissen wie wat heeft. Ik kan me voorstellen dat men clients maakt die wat slimmer is.

Bijvoorbeeld dat je lokale ip bekend is en dat de client dan ip adressen opzoekt die in dezelfde regio's zitten (ansich is bekend van de ip blokken waar de regio zich bevind)

[Reactie gewijzigd door justice strike op 27 juli 2024 07:06]

[xippie]

En wat nu met "private" trackers

Daar gaat dir kunstje niet bij op, denk ik.

[Verwijderd]

Dat is echter allemaal buiten DHT gerekend... DHT (Distributed Hash Table) zorgt ervoor dat er eigenlijk geen tracker meer nodig is om bittorrents te downloaden.

Normaal maak je van een data-folder een torrent door het aanmaken van een hashfile. Het hashfile is een miniatuurkopie van de data maar bevat bovendien de info ('announce' of aankondiging) van de tracker(s) die worden gebruikt om de data te verdelen.

Het is ook een kopie van dit gecodeerde file dat op een website wordt gezet. Wanneer iemand dit geposte gecodeerde file aanklikt, zal op zijn/haar PC de bitclient opengaan. Deze bitclient zal door middel van de announce in het kleine file, naar de tracker beginnen zoeken en contact maken met éénieder die ook op die tracker zit en waarvan de gecodeerde info overeenkomt met die in het aangeklikte file op de website.

Met DHT wordt de stap van het zoeken naar een tracker overgeslagen, en gaat de bitclient zelf op zoek naar andere 'peers' die dezelfde DHT code bezitten.

BitComet was de eerste bitclient die DHT gebruikte. Maar er zat een fout in de code waardoor ook privé trackers konden worden omzeild. (Privé trackers werken dikwijls met een downloadsleutel die aan het hashfile wordt toegevoegd bij de upload of posten van het hashfile op de website. Die sleutel gaat na of degenen die het file in hun client openen wel degelijk ingelogd/lid zijn van de betreffende site).

DHT maakt dus géén gebruik van een tracker, maar de data wordt rechtstreeks heen en weer gestuurd tussen de verschillende clients die de juiste code bezitten, wat dus een aanzienlijke hoeveelheid minder behandelingen betekend voor een tracker, dus voor die toestand gaat de mooie uitleg hierboven niet op.

Edit wegens woordverwisselling, met dank aan nxt...

[Reactie gewijzigd door Verwijderd op 27 juli 2024 07:06]

[nxt]

...DHT (Digital Hash Table) ...

Voor de volledigheid:
DHT staat voor Distributed hash table, niet digital.

[terror538]

een isp side tracker zie ik dus echt niet zitten
Beter zou zijn als isps een stukje software draaien wat laat zien met welke ranges ze peering afspraken hebben,en welke ranges het snelst te bereiken zijn
Dan kan de maker van een torrentclient ervoor KIEZEN dit te implementeren, en de gebruiker kan dan INSTELLEN of hij dit wil gebruiken
Op deze manier heeft de ISP veel minder inzicht in het p2p verkeer maar kunnen de bandbreedte problemen opgelost worden.
Hoe zou p4p bijvoorbeeld omgaan met private trackers ?!?

[Jogai]

niet meer dan 0,89 hops

Dan ben je van jezelf aan het downloaden toch? De provider is toch zowieso 1 hop. Als mijn buurman met hetzelfde abbonnement hetzelfde bestand aanbied dan verbind ik toch ook via mijn provider naar mijn buurman.
En als wij 1 router delen dan hopt hij toch zowieso via die ene router?

[freaky]

Ja dit ontging mij ook al. Erger nog, de meeste mensen hebben tegenwoordig een nat/router modem met een intern netwerk. De eerste hop is de modem, de 2de waarschijnlijk de wijk centrale. Minimaal 3 hops voor de router van de ISP...

0,89 hops brengt je dus nergens lijkt me. Daarnaast, de gemiddelde traceroute naar amerika kost mij 15-18 hops.

edit:
En dat zijn zichtbare hops... Theoretisch kun je switches e.d. ook als hops rekenen, die zie je niet met traceroute

[Reactie gewijzigd door freaky op 27 juli 2024 07:06]

[Verwijderd]

Een vreemde hop count, inderdaad.

Misschien dat elk Autonomous System (AS) als één hop wordt beschouwd?

[jeroen84]

De 0,89 hops is waarschijnlijk vanaf de ISP naar buiten het ISP netwerk. Een verbinding tussen 2 klanten van dezelfde ISP geld dan als 0 hops (naar buiten).

[geerttttt]

Voordat ik echt naar buiten ben ben ik sowieso al 5 hops verder. 1x mijn router en 4x versatel.

[beascob]

Volgens Verizon is uit praktijktesten op zijn netwerk gebleken dat met p4p-software het dataverkeer in 58 procent van de gevallen binnen het eigen isp-netwerk blijft, waarbij een ip-pakket gemiddeld niet meer dan 0,89 hops nodig heeft om het eindpunt te bereiken.

Dit verhaal geldt voor de ISP.
Een grote provider heeft dus de meeste content zelf al rondzwerven

[Reactie gewijzigd door beascob op 27 juli 2024 07:06]

[Kalief]

Klopt, en die 0.89 hops vindt ik ook niet terug in die pdf. Misschien stond die in een niet gelinkt persbericht?

[cybero]

Snapte ik ook al niet helemaal, maar binnen 1 lan kan dit wel. Er zit dan geen router tussen. Denk aan campus netwerken van universiteiten bijvoorbeeld. Dat zou inderdaad een enorme boost geven, omdat upload daar geen probleem is. Verder is het afhankelijk van hoe je ADSL of Kabel internet infrastructuur is opgezet bij je ISP.
Zou mooi zijn om dan verschillende uploads in te stellen 1 voor lokaal en 1 voor de rest. Die dan niet meetelt met je datalimiet uiteraard.

[nieternie]

Waarom moet dit bij de ISP gebeuren?
Als ik het goed begrijp kan dit toch ook gewoon in de tracker ingebouwd worden, zodat "verbindingen met lokale peers voorrang krijgen".
Provider enzo zijn toch bekend als het ip bekend is?

[Zaffo]

Maar dan moet de tracker er wel zin in hebben het in te bouwen. Als een ISP het zelf doet zijn ze niet afhankelijk.

[GoBieN-Be]

Nee maar downloaders vertrouwen de tracker meer dan een ISP itracker !

[Verwijderd]

Het moet van 2 kanten komen.
Of downloaders willen geen ISP tracker.
Of ISP wil geen downloader tracker.

[jvdmeer]

Waarom moet dit bij de ISP gebeuren?
Als ik het goed begrijp kan dit toch ook gewoon in de tracker ingebouwd worden, zodat "verbindingen met lokale peers voorrang krijgen".
Provider enzo zijn toch bekend als het ip bekend is?

De provider weet natuurlijk behalve wie er in zijn eigen netwerk zit, ook met welke netwerken hij peering-overeenkomsten heeft. Dat betekent dat de provider dus een veel groter deel van internet als lokaal verkeer kan behandelen.

[Verwijderd]

Ik snap inderdaad niet waarom het niet ingebouwd zit in een of andere tracker.
Het lijkt mij nou niet echt moeilijk de theoretische afstand tussen twee ipadressen te berekenen.

83.16.10.65 en 83.16.10.93 zitten dichtbij elkaar dan,
83.16.10.65 en 83.16.11.65. (Of welke logica/algoritme die je liever hebt)

Tuurlijk geeft het geen zekerheid van de kortste/snelste route, maar qua prioriteit geven aan waar je verbinding mee wil maken en zo lijkt het me wel een stuk efficienter.

[Rex]

Weet je waarom het niet ingebouwd zit? Omdat de tracker niet bepaald met wie jij verbinding maakt! De tracker geeft je alleen maar een lijst van alle IP adressen die op dat moment dezelfde torrent aan het delen zijn.

Het is wel zo dat bij torrents met duizenden seeds/leechers ervoor gekozen zou kunnen worden door de tracker om alleen de lijst te geven van IPs die theoretisch dicht in de buurt liggen. Maar ja, dit kost alleen maar performance. Zou jij als tracker-beheerder geld willen uitgeven om het de ISPs makkelijker te maken? Ik niet, (tenzij het ook voordelen zou hebben voor de downloaders).

[Verwijderd]

In dat geval zou een P2P client die afweging kunnen maken.

[GoBieN-Be]

Met dit systeem heb je natuurlijk ook kans op misbruik.

Bvb een rechtenorganisatie verplicht de ISP om via die itracker clients te verplichten om van een bep. IP (dat dan een computer van die rechtenorganisatie is) te gaan leechen. In bepaalde landen is dit dan genoeg bewijs om je te gaan veroordelen !

[B-BRAIN]

dus dan download geen illegale content

als je je wat jat uit een winkel kun je toch ook boete krijgen.

zelfde met illegaal bestanden downloaden.

Komt nog zover dat alle p2p poorten dichtgegooid worden.

[jeroen84]

Waarom is hiervoor een "iTracker" nodig?

Waarom kan er niet gewoon een 'tracert' functie in de normale trackers gebouwd worden? Dan kan het verkeer binnen een vergelijkende hostname naar elkaar gestuurd worden.

Of mis ik iets?

[Lex_th]

Dit kan toch alleen maar nadelig werken ?

Nu heb je :
- En je buurman
- En de rest van de wereld....

Als de beperking wordt : alleen je buurman, zal je altijd minder kunnen downloaden, tenzij er zoveel aanbieders van die specifieke torrent zijn bij je eigen ISP...