Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 34 reacties
Bron: New Scientist, submitter: T.T.

Wetenschappers menen dat de snelheden van het downloaden op internet behoorlijk hoger zouden kunnen zijn als er gebruikgemaakt zou worden van een afgeleide van Darwins evolutietheorie om een betere netwerkstructuur te ontwikkelen. Het herhaaldelijk transporteren van dezelfde populaire data over internet is een inefficiŽnte en kostbare methode, daarom wordt er al veel gebruikgemaakt van caching om de kosten en bandbreedtegebruik te drukken. Het is echter niet eenvoudig om uit te zoeken waar en voor hoe lang welke data bewaard moet worden. Een oplossing hiervoor zou kunnen zijn dat verschillende caches onderling gaan communiceren, maar ook dat is inefficiŽnt en zorgt weer voor een verhoogd bandbreedtegebruik.

Om hier een goede oplossing voor te vinden, hebben Pablo Funes van het Amerikaanse bedrijf Icosystem en JŁrgen Brank en Frederik Theil van de Universiteit van Karlsruhe in Duitsland zich verdiept in 'genetische algoritmes'. Om hun ideeŽn verder te ontwikkelen, hebben de onderzoekers een netwerksimulatie opgebouwd waarin een 'kopie' is gemaakt van een gedeelte van het internetnetwerk. Vervolgens zijn ze aan het werk gegaan om de algoritmes te verfijnen en te gebruiken om caches te configureren. Toen ze begonnen zijn de cachealgoritmes gevoed met enkele variabelen over het fysieke netwerk en het verkeer erin. Vervolgens is het netwerk 'aangezet' en zijn de algoritmes steeds een klein beetje verder aangepast, om zo het optimale netwerk te krijgen.

De geŽvolueerde algoritmen die hun werk het beste bleken te doen zijn vervolgens weer gebruikt om een nieuwe algoritmepopulatie te bevolken. Dit proces is enkele keren herhaald. Toen de algoritmen op een testnetwerk met 300 knooppunten, of nodes, getest werden, bleek dat de cachenodes ervoor zorgen dat downloads dubbel zo snel werden verstuurd. De technologie kent echter ook nadelen. Het is namelijk maar de vraag of het in de toekomst ook zo zal zijn dat netwerken te allen tijde aan iedere gebruiker alle informatie even snel door moeten geven. Het zou goed mogelijk zijn dat bepaalde informatie niet voor iedereen bestemd is en dat sommige gebruikers informatie dus ook niet meer op kunnen vragen. Hier zullen de netwerken op ingericht moeten worden.

Internetkaart (400x400)
Kaart van het internet
Moderatie-faq Wijzig weergave

Reacties (34)

mooi kaartje :P waar woont mijn pc?
deze kaart is al wat ouder, het moet een "kunstwerk" voorstellen en geeft het hele internet-netwerk weer, zoals al onder het kaartje staat aangegeven...

EDIT:
www.tweakers.net/nieuws/29870
Bedankt voor de link, en de links in de link :) Ik vroeg me inderdaad af waar ik hogere resolutie plaatjes van dat overzicht kon ophalen.
rechts, naast dat groene stipje :P
ontopic:
internet is wel ff iets groter dan 300 nodes, wie zegt dat dit onderzoek representatief is?
wel cool als dit werkt trouwens, met de toenemende breedbandverbindingen wordt de peer steeds vaker de vertragende factor.
dit onderzoek werd door een bepaald algoritme met pingen etc bepaald via routes en zo, reprensentatief ? nee niet echt het is een moment opname binnen bv een tijdspanne van een paar maanden, of dingen die zich niet laten tracen (die dus geen thuis geven bij een verzoek tot informatie)

duidelijk zal het nooit worden maar beter een beeld dan geen beeld. dit is voor het eerst dat iemand internet in kaart tracht te brengen op een "vrij duidelijke" manier ja zonder een adress c,q wegwijzers/herkennings punten kan je natuurlijk je gok van
rechts, naast dat groene stipje :P
als terecht beschouwen ;)
Voor het totale internet is dit niet interessant, maar voor kleinere netwerken wel. Zoals de netwerken van bedrijven die in elk land wel een kantoor hebben.

Internet is niet gestructureerd genoeg, maar bedrijfsnetwerken wel.
hoezo is dit voor internet niet interessant. Nou juist wel. Als dit goed werkt kan iedereen op de maximale snelheid data aan. Dat is toch positief. Tevens kan dat gebruikt gaan worden voor het ontwikkelen van nieuwe netwerktechnieken.(misschien zelf een routertje met deze techniek).
Omdat je nog altijd voor dataverkeer betaald.
Met cashing kan je dataverkeer besparen, maar om je download sneller te laten gaan moet je toch echt een beter abbonementje hebben.

Het zou natuurlijk wel handig zijn als HCCnet ergens op een server alle design-images van t.net zou hebben staan, maar dat kan ik thuis ook!
Als ze nou bijvoorbeeld Gaim-no-gtk-0.79.exe zouden opslaan, zouden alle HCCnet gebruikers dat uit de cache van de provider kunnen halen, totdat er een nieuwe versie langskomt en niemand meer de oude versie download. Maar hoe pak je dat effectief aan? En hoeveel maakt dat uit boven een flinke lijst met mirrors?
Een peuleschilletje vergeleken bij spam en virussen e.d....
Er zijn genoeg situaties waarbij de download snelheid niet bepaald wordt door de bandbreedte van jouw eigen verbindingen, maar door een bottleneck verderop op het internet. Op dat moment kan dit systeem wel degelijk je download verbeteren.

Wat betreft je opmerkingen over HCCnet. Caching op dat niveau is juist betrekkelijk simpel. Hoe vaker het bestand wordt opgevraagd, hoe langer je het in de cache houdt. Eventueel gemoduleerd met een grootte factor.
Idd... Het wordt vast wel weer commercieel. Snelheden op Internet verdubbelen zowiezo al aardig snel. Heb je dat caching ook niet meer nodig. Misschien moesten ze P2P gaan promoten. Kunnen ze dat beter optimaliseren qua internet-geografie... Een datablok eens in de zoveel tijd per gebied beschikbaar stellen en dat cachen.
ik vind t eigenlijk niet zo verbazend dat een betere indexering van de cache leidt tot snellere downloads, en ook niet dat evolutionaire algoritmen gebruikt kunnen worden om zo'n index te maken.

ik vraag me alleen het nut een beetje af, het internet is toch snel zat, en als het gaat om publiek toegankelijke bestanden lijkt me dat bittorrent-achtige technieken de toekomst hebben.

* 786562 smokalot
ik vraag me alleen het nut een beetje af, het internet is toch snel zat,
Nu misschien wel (voor de meeste mensen) maar naarmate meer mensen internet gaan gebruiken en een snellere verbinding willen worden de eisen aan de infrastructuur ook hoger.

Dit is dan ook 1 van de vele ontwikkelingen die ons daarop moeten gaan voorbereiden. Als het daarnaast ook nog eens goedkoper wordt zijn we extra blij.

Bittorrent is leuk, maar afhankelijk van de gebruikers. Met deze methode kun je een efficientieslag maken op serverniveau voor alle bestanden die over het internet gaan en niet alleen ge-torrente bestanden.
Maar als bittorrent de standaard zou zijn voor alle benodigde data op internet zou dat echt een voordeel zijn. Je haalt een bepaald stukje data niet op van een bepaalde server, maar van die server en iedereen in de buurt die de data sneller kan aanleveren. Ik las laatst iets over streaming media via torrent, maar kan helaas niet meer terugvinden.
Natuurlijk zitten hier nog wat haken en ogen aan (veranderlijke data e.d.), maar ik denk dat caches net zo gedecentraliseerd kan worden als files.

Woorden / zinnen als "The Network is the Computer", grid-computing komen in me op :)

edit:
Ik had het natuurlijk over Torrentocracy http://www.torrentocracy.com
Voor een goede uitleg over evolutionaire algoritmen en in het bijzonder genetisch programmeren, zie www.cwi.nl/~jvhemert/publications/kennisgeving.De_Creatieve_Computer.p df .
De geŽvolueerde algoritmen die hun werk het beste bleken te doen zijn vervolgens weer gebruikt om een nieuwe algoritmepopulatie te bevolken.
De computer is zeer goed in wiskunde en statistiek en dit lijkt meer op wiskunde en statistiek (plus evt. wat kansberekinging) dan op evolutie en dus zal men wel het beste model/algoritme hebben gevonden.

Maar wie geeft ons de garantie dat men bij het onderzoek geen aannamefouten gemaakt heeft en er niet een nog beter algoritme mogelijk is als men alles nog een keer doorrekend (vanaf het begin)???

Verder ben ik bang dat er hier van verbindingen wordt uitgegaan die allemaal een hoge down en upstream hebben, ofwel: Wat hebben we als normale gebruiker aan dit onderzoek? Tenslotte is het ook heel goed mogelijk om een cache 'dicht bij huis' -ofwel bij de ISP- te zetten voor de meest gebruikte toepassingen, dat werkt volgens mij net zo goed en daar heb je ook het genoemde security probleem niet...

\[Edit: En bit-torrent achtige technieken zorgen daarnaast ook nog eens voor een betere verdeling van de belasting over het internetn]

Zwaar off-topic: Als we dit moeten baseren op de evolutie-theorie (of beter: -hypothese) dan duurt het nog wel een paar miljard jaar voor we het juiste algoritme gevonden hebben...
De truc van evolutionaire algoritmen is dat je de computer het algoritme laat bedenken met behulp van technieken die gebaseerd zijn op evolutionaire principes als mutatie, crossover en selectie. De onderzoekers hebben de omgeving waarin het algoritme zich kan ontwikkelen gecreŽerd, maar ze hebben zeer zeker niet zelf het algoritme gevonden.

Er is overigens absoluut geen garantie dat het gevonden algoritme ook het beste algoritme is, maar uit de test blijkt wel dat het gevonden algoritme het heel goed doet. Alleen is het zeker mogelijk dat er met dezelfde techniek morgen alweer een beter algoritme gevonden wordt..
Lijkt wel mooi, maar is dit algoritme niet teveel op de data afgestemd?

Ik bedoel wat gebeurt er als mensen opeens andere sites gaan bezoeken? Klapt de performance dan gelijk in elkaar of past het algoritme zichzelf redelijk snel aan aan de nieuwe situatie?
Ik denk dat dat wel mee zal vallen. Zo'n netwerk kan zich denk ik uiteindelijk wel ontwikkellen tot een adaptief netwerk. Net zoals de connecties in de hersenen zich kunnen adapteren zou ik me kunnen voorstellen dat er meerdere wegen zijn die naar rome leiden.
Probleem is dat ik uit ervaring weet dat (financiele) modellen die volgens de methode "Probeer er veel, dan vind je er vast wel ťťn die werkt" gemaakt zijn uiteindelijk vrijwel perfect de data kunnen immiteren en een hele hoge voorspellende waarde lijken(!!!) te hebben. Echter in werkelijkheid blijkt dan dat ze geen enkele waarde hebben.

Het artikel hierboven beschrijft ook zo'n probeer maar veel methode, dus ben ik benieuwd of de geschetste performancewinst reeel is.
wat boeit het waar de data vandaan komt of heen moet?

routering is routering,hoe je het ook wendt of keert .......

als ze met deze algoritmes de routering, en dus datadoorvoer beter kunnen regelen....... dan klapt de performance toch niet ineens in als een gebruiker plots naar een andere site gaat?!

Dat is nou net het hele idee achter internet toch (of naja, webbrowsen......... dat is eigenlijk niet "internetten" maar een onderdeel ervan... dingen downloaden ofzo, ssh sessien, ftp sessies en andere data groot verbruikers.... hey!! Email? Spam? hehehe.. komt het nog sneller aan)..... dat je van hot naar her kan springen (ok, niet het idee van internet, maar het idee van het WWW )

[ik moet sneller zijn]
ps: adapteren klinkt zo krom, gebruik dan gewoon "aanpassen" ...
voor sommige mensen die zich afvragen wat de "thuisgebruiker" er aan heeft........

denk eens aan al die enorme routers? De zogenaamde internet exchanges?

De knooppunten kunnen hier echt wel een hoop profijt van hebben.

Nu worden er bakbeesten van Junipers of Cisco's of eh.. Forges (ofzo?) neergezet....... wellicht dat die nog steeds zo groot kunnen zijn, maar met behulp van deze algoritmes de data efficienter kunnen routeren doorsturen en whateveren.

Dit heeft uiteindelijk tot gevolg, is de aanname/conclusie van de onderzoekers, dat het hele internet er een stuk sneller van kan worden.

Wat houdt dit dan in? (zonder dat ik het artikel verder gelezen heb........) Dat de latencies minder worden, je minder overhead door de draadjes hoeft te verstouwen, dus effectief ook weer meer data -> is beter gebruik van je beschikbare bandbreedte -> sneller downloaden.

Vooral de knooppunten in Azie kunnen er profijt van hebben, want de ping latencies naar Azie zijn bedroevend. Snelle lijnen, dat wel, maar ping van 500-1000ms is niet echt handig voor een citrix sessie vanuit ik noem maar wat, Manila naar Amsterdam....

Dus, als de backbone van het internet hier sneller van kan worden, profiteert de thuisgebruiker er ook van uiteindelijk ...... je merkt het misschien niet aan een dikkere lijn naar je huisje, maar wel aan een responsievere lijn (hmm, is dat een correct woord? responsiever :P ... lagere latency dan maar :P)
Ik wil je droom niet aan diggelen schoppen, maar eh:

Volgens mij levert deze techniek van slim cachen wel een snellere download op van de laatste Mozilla of Windows Media Player, maar een snellere ping daar hoef je volgens mij niet op te rekenen...

De enige manier om dat op te lossen is een directere verbinding zonder sateliet ertussen(!) - dus een kabel van Amsterdam direct naar AziŽ (laten we zeggen Japan of India) en vandaar een directe verbinding naar het land waar je naar moet connecten (van Amsterdan direct naar bijv. Manila is nog mooier - maar of dat haalbaar is...)
Met een korte stelling wil ik het voordeel voor de consument wel even weergeven:

Efficienter = goedkoper

Als data overdracht goedkoper wordt, kunnen de ISP tegen een lagere prijs data kopen. Door de harde concurrentie zullen de prijzen van de internetabbo's automatisch ook omlaag gaan.

Als de data overdracht efficienter gaat door caching zullen bedrijven als AMS-IX minder snel hun apparatuur hoeven te vervangen en ze dus minder geld hoeven de vragen aan de ISPs.
De prijzen van de bandbreedte naar de IX-en hebben natuurlijk bijna niets met de ISP-prijzen naar de consument te maken...

Een 1000 Mbit verbinding bij een IX kost minder dan §1000 pm (ex huisvesting)

Dus stel dat ze 2 Mbit abbo's verkopen met een overboeking van 25: 1000 / 2 * 25 = 12500 abbo's

$1000 / 12500 = § 0.08 pm

Dus ik denk eerder dat het gros van de kosten bij een ISP liggen bij al die wijk-centrales en personeel.
Als ze al niet iets dergelijks doen, dit ligt precies in het straatje van bedrijven zoals akamai.
Is Justin Frankel's Waste niet ook een (primitief) voorbeeld van een evolutionair netwerk?

http://www.emulatorworld.com/forums/showthread.php?t=5396

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True