Wetenschappers willen internet verbeteren

CNN schrijft dat een groep onderzoekers van het Massachusetts Institute of Technology (MIT) bezig is met een project om internet in de toekomst betrouwbaarder te maken. De National Science Foundation (NSF) heeft het project twaalf miljoen dollar geschonken, als onderdeel van een groot programma om de informatietechnologie te bevorderen. De wetenschappers proberen een oplossing te vinden voor het probleem dat websites soms uit de lucht zijn, als er bijvoorbeeld te veel mensen tegelijk een bezoek aan brengen of als een hacker de betreffende servers aanvalt.

Het idee is om een gedecentraliseerd netwerk op te zetten, redelijk vergelijkbaar met de methodes die nu gebruikt worden voor het uitwisselen van met name muziekbestanden. Iedere individuele internetter zal dan als een soort server fungeren. Hoe meer mensen aangesloten worden, hoe beter dit systeem zal werken. Het is de bedoeling dat het project over ongeveer vijf jaar afgerond zal zijn:

The research will explore ways that computers could store and serve information through a decentralized network that would need no administrator and would have no central control point. "The goal is to build a test bed, make this version of the service available to other researchers and, in the long run, to the open public," Kaashoek said.

Governments and businesses worried about viruses or cyberterrorism are looking for next-generation networking and storage systems to prevent such problems, said Frank Anger, who coordinated the NSF grants this year.

Reacties (46)

[leonardo1504]

Even een misverstand uit de weg ruimen: het idee is niet dat internet tot een groot P2P-netwerk wordt omgebouwd. Het idee is dat je informatie distribueert over verschillende servers. Dat doe je dan zo dat geen enkele server over alle informatie beschikt. Je hebt dus een aantal servers nodig om alles te reconstrueren. Dat kan transparant voor de client-applicatie (bijvoorbeeld een browser) gebeuren. De grap is dat je N servers gebruikt om je informatie over te distribueren, maar dat iedere deelverzameling van M servers voldoende is om de informatie weer op te vragen (met M veel kleiner dan N). Deze redundantie maakt een aantal zaken mogelijk, waarvan de belangrijkste zijn :
1. load-balancing: hier zijn verschillende strategieen voor te bedenken
2. fout-tolerantie: De gegevens op een deel van de servers mag gewijzigd worden (door een hacker/scrip-kid bijv.). Door foutcorrigerende algoritmen te gebruiken kan dit automatisch hersteld worden. Defacen van een site is nu alleen mogelijk als je alle servers in het netwerk kan defacen.
3. Een deel van de servers mag uitvallen, bijv als gevolg van een DDoS attack, of een terroristische aanslag. Er blijven genoeg servers over om alle informatie te blijven serveren.

Er zitten voordelen en nadelen aan het gedistribueerd opslaan van gegevens.

Het absolute nadeel is dat de backend-applicaties vaak niet gedistribueerd draaien. Dat betekent dat je een verdomd goede caching strategie moet hebben om _alles_ up to date te houden.
Als je bepaalde zaken niet wil cachen, denk aan internetbankieren, of alles wat over een SSL verbinding gaat, dan ben je de voordelen van een gedistribueerd netwerk ook kwijt. Alle informatie die impliciet is, alle real-time queries op een database bijvoorbeeld, kan je niet cachen, tenzij je het lef hebt om je database en je backend te distribueren.

Overigens is het idee niet nieuw. De hele internetarchitectuur is gebaseerd op een soortgelijk idee. Kijk bijvoorbeeld maar eens naar de manier waarop DNS werkt. Een DNS wijziging doet er soms wel 24 uur over voor de hele wereld het weet. Voor Real-time systemen is distributie dan ook op dit moment iig geen oplossing.

[Verwijderd]

Ik vind het een heel mooi theoretisch verhaal ... maar we kunnen stellen dat DDoS aanvallen alleen gepleegd worden op grote sites. Op mijn site zal bijvoorbeeld nooit een DDoS aanval uitgevoerd worden omdat je daamee niets bereikt. Een service als Kazaa is een distributed network waarbij er niet een vaste inhoud aanwezig is (de content wordt dus niet bepaald door een centraal punt). Wat ik nou zo jammer vind is dat dit onderzoek dus niets anders is dan het verbeteren van het bestaande systeem dat voornamelijk met HTML paginas werkt. Hoe je het ook wend of keert HTML paginas zijn statisch en ze komen altijd van een bepaald IP-adres (wat je dus nu gaat verspreiden over meerdere IP-adressen) . Bij een service als Kazaa weet je niet waar de gegevens vandaan komen en bovendien zijn de gegevens niet vast ... de inhoud wordt bepaald door de gemeenschap.

Wat is nou eigenlijk mijn probleem ? :
Ik vind het zo enorm jammer dat het weer zo server -> client gericht is ... oftewel er is een grote instelling ( of een particulier die snel rijk wil worden) en die wil dat zijn pagina zoveel mogelijk pagehits krijgt ( tweakers.net hoort daar ook bij )
Nog beter zou zijn als we de gegevens goed met elkaar kunnen delen dus dat we client < - - > client krijgen en dat er geen servers meer nodig zijn .... helaas zitten we tot die tijd ons allemaal dood te staren aan HTML (en daarbij nuteloze toevoegingen : ASP, JSP, JavaScript, Flash, Perl, PHP, Java en zo kan ik nog wel ff doorgaan)

Wat ik wil?
Ik zou graag een soort systeem zien waarbij systemen als Kazaa/Morpheus/Soulseek etc.... omgebouwd/ingezet worden voor het zoeken van documentatie/informatie. Een soort combinatie tussen Google en Kazaa. Helaas ben ik een dromer want in elk persoon schuilt de drang om zoveel mogelijk te scoren en dit zou een dergelijk systeem weer onderuit halen (daar zou je dus iets voor moeten verzinnen).

[ge-e-dit bij mij]
load-balancing: hoe kan ik ervoor zorgen dat meerdere computers precies dezelfde inhoud naar de "luisteraars" PUSHEN.

fout-tolerantie: In een maatschapij waar alles om geld en cijfers draait kan het natuurlijk niet gebeuren dat er een klein foutje optreedt (gelukkig kan er in de hersens af en toe een klein foutje optreden)

uitval: Laten we zeggen dat bij kazaa om de seconde 10 servers uitvallen. (bij een glas bier gaan er wel wat meer hersen-cellen dood)
[/ge-e-dit bij mij]

[Tukk]

Wat ze dus willen is de cash van Internetproviders iets meer optuigen tot back-up webserver? Meer en minder is het toch niet?

Hoe willen ze dat gaan doen met sites waarvan de content per seconde veranderd?

[Biermeester]

Het zou misschien kunnen dat ze databases en webservers gaan ontwerpen die zichzelf (gedeeltelijk en tijdelijk) kunnen dupliceren op een andere van te voren bepaalde server wanneer de belasting te hoog dreigt te worden.

Het is dan vooral de vraag hoe ze data redundancy gaan voorkomen.

edit:
Dom dom! sab Joempia heeft gelijk. Ik bedoelde natuurlijk inconsistenties tussen de verschillende databronnen...

[sab]

Ze willen juist redundantie verkrijgen, niet tegengaan.

[Beaves]

Ja, het lijkt me een beetje lastig dat elke tweaker een complete kopie van de database en de scripts van Tweakers.net moet hebben, en dan ook nog eens die kopie up-to-date houden aangezien de inhoud elke milli seconde veranderd.

Daarnaast is het ook niet echt veilig, op die manier kan je wel erg makkelijk aan de scripts komen en dat is nou niet echt de bedoeling denk ik.

En ook al doe je het alleen met statische content, je moet dan wel een webserver hebben draaien en vooral de "normale" gebruiker doet dat niet echt snel.

[edit]
Wirf: Dat zou werken als de pagina statisch is, niet als het over dynamische content gaat, je ziet dan een oude pagina en daar heb je dus niets aan. Tweakers.net kan dan net zo goed 2x per dag een kopie maken en die laten aanroepen als Tweakers.net down gaat. Net zoals dat een tijdje gedaan is. Wanneer Tweakers.net down ging, kregen de bezoekers een pagina te zien van een paar dagen geleden.
[/edi]

[Wirf]

Je hebt NIET de database nodig en de scripts ook niet

het werkt waarschijnlijk zo:
- jij bezoekt tweakers.net, alle pagina's die jij bezoekt worden opgeslagen in op je harde schijf (net zoals dat nu ook gebeurd met cache)
- Tweakers.net gaat door de vele bezoekers plat
- Iemand anders (Femme) wil ook op tweakers.net, maar kan er niet opkomen, want tweakers.net is down
- Het programma van de jongens @ MIT vraagt aan het netwerk "Hee, ik wil http://www.tweakers.net/index.php en ik zit in lutjebroek, Nederland"
- Het netwerk geeft jouw computeradres door, omdat jouw computer de laatste was die tweakers.net heeft bezocht en ook nog eens in de buurt zit van lutjebroek.
- Femme kan nu via jouw computer toch tweakers.net bekijken

Dit is mijn gok hoe dit gaat werken. Het is niet onveilig (niet onveiliger dan Kazaa/MSN/ICQ draaien bijv.) en het is ook geen probleem voor website security (paswoorden sla je niet op, https:// verkeer ook niet, etc.)

lijkt me een leuk systeem wel

[Verwijderd]

maar deze bezoeker mag niet mijn meuktracker krijgen. Dat lijkt me nog lastig omdat in de toekomst er alleen maar meer dynamische sites erbij komen.

[Wirf]

Ja, klopt, dat word het grote probleem en daar gaan ze dus die twaalf miljoen dollar voor gebruiken

[Verwijderd]

met andere woorden, als je als laatste vóór de crash van een website een bezoek aan die site gebracht hebt, ben je flink genaaid, aangezien iedereen die erheen wil dan met jou verbinding gaat maken. in beval van tweakers.net zal mijn chello-lijntje dat niet zo tof vinden....

[Wirf]

Nee, zo erg hoeft dat ook weer niet te zijn, er word vast wel zoiets als "slots" gemaakt, dat er maar 8 mensen tegelijk gebruik kunnen maken van jouw computer.

Of bandwidth throttling, dat je maar 4kbyte/s maximaal wil verzenden

En alle mensen die van jou die pagina hebben opgehaald, gaan zelf die pagina ook weer aanbieden

[Verwijderd]

hmm... maar vast beginnen met extra glasvezel te trekken dan.....

[Mahena]

Het lijkt mij toch dat er een "centrale server" moet zijn die bij houdt welke site met welke informatie waar staat. Hoe vindt je anders een site waar de informatie op staat die jij zoekt, en het adres niet van hebt.

Het fijne weet ik er niet van, maar Kazaa, Napster en Gnutella werken ook doordat ergens een server staat die doorgeeft waar ik mijn informatie kan halen.

[boesOne]

Kazaa, Napster en Gnutella werken ook doordat ergens een server staat die doorgeeft waar ik mijn informatie kan halen.

Eh nee.. Napster wel, maar die is plat. Kazaa en zeker gnutella zijn decentralized.. De Nodes waar je aan connect zijn niet vaststaand en het het netwerk gaat niet plat als er een node wegvalt... Dus er hoeft zekers geen centrale server te zijn die alles bijhoudt.. Wel krijg je een internet met redelijk wat overhead voor de decentrale administratie.. net als bij Gnutella..

[Verwijderd]

Allemaal erg leuk en aardig, maar dan zal er vergeleken met de huidige situatie wel erg veel moeten veranderen. Upstream wordt een key factor hier, en een upstream zou nooit een downstream (al te veel) mogen beinvloeden. Bovendien moeten er vreemde constructies gemaakt worden om classified info classified te houden. Ik denk dat het interessanter is als bijvoorbeeld grote hosting providers zelf een dergelijk netwerk van gedecentraliceerde mirrors opzetten.

[NiGeLaToR]

Hmm.. zolang je dingen bij de client uit laat voeren kan de client er iets mee doen. Dus dan ga je naar een site en krijg je heel iets anders omdat er een client iets heeft zitten veranderen... Ik denk dat dat niet gaat werken.. tenzij er iets te halen valt.. net als die p2p netwerken.

Op zich wel een nobel streven, in principe willen ze internet weer maken zoals het een paar jaar terug was.. gratis en open.. zonder spam, betaalde content en overtollige reclame. Eigenlijk zou iedereen die op het net komt iets van info ergens moeten plaatsen.. alle beetje info bij elkaar is dan een onwijze kennis bibliotheek.. dan heb je een echt inter-net.

edit:
Beoordelingen: +1, 0: Gemodereerd, -1: Overgewaardeerd, +1: Inzichtvol, -1: Overgewaardeerd, Totaal: 0 / 5x Hey ik kan het nit helpen dat het maandag ochtend is chill ff ja

[boesOne]

Je kan net als bij Freedomnet ervoor zorgen dat de client niet weet wat er op zijn HDD staat door encryptie.. Op die manier is niemand verantwoordelijk voor wat er op dat moment op jouw HDD staat en kan er niet mee gerommeld worden.

* 786562 boesOne

[PoisonouZ]

en al helemaal als het kinder porno ofzo is.

Maar eh wat nu als je dan een warez site op je pc krijgt? ben jij daar dan verantwoordelijk voor?

[Verwijderd]

Als je internet betrouwbaarder wilt maken, begin dan met de glasvezels volledig rond de aarde leggen en niet alles via usa.

Als een Rus naar plaatjesparadijs Akiba surft dan moet de data door Rusland, daarna naar EU, daarna naar usa, daarna Azië. Waarom geen lijn van Rusland naar Azië?

[Verwijderd]

Als een Rus naar plaatjesparadijs Akiba surft dan moet de data door Rusland, daarna naar EU, daarna naar usa, daarna Azië. Waarom geen lijn van Rusland naar Azië?

Juist omdat dat niet als betrouwbaar wordt gezien. Hiermee verliest de USA namelijk controle en uitoefening uit handen ... dat zouden zij niet graag willen meemaken. Bovendien, de meesten landen in het oosten hebben niet eens kapitaal genoeg om zoiets te financieren en te onderhouden.

[Frying]

Klinkt wel eng, een onvernietigbaar, altijd werkend netwerk. Straks gaan de digitale koelkasten. broodroosters en magnetrons met elkaar communiceren, halen ze alle wijsheid van het internet, worden ze slimmer dan ons, gaan ze samenwerken en kunnen we ze niet meer stoppen omdat het internet niet meer plat te leggen is noo00 we'r all doomed.

[Wirf]

Klinkt wel eng, een onvernietigbaar, altijd werkend netwerk.

Dat is het huidige internet ook al zowat. Internet (Arpanet zoals het vroeger heette) is ontworpen zodat het nog steeds zal functioneren, ook al is tweederde van het netwerk stuk.

Straks gaan de digitale koelkasten. broodroosters en magnetrons met elkaar communiceren, halen ze alle wijsheid van het internet, worden ze slimmer dan ons, gaan ze samenwerken en kunnen we ze niet meer stoppen omdat het internet niet meer plat te leggen is noo00 we'r all doomed.

Ik heb er geen twijfels over dat computers slimmer worden dan wij, maar het is net zoals met kinderen, als je ze goed opvoed, zullen ze goed voor je zorgen.

[Verwijderd]

Internet (Arpanet zoals het vroeger heette) is ontworpen zodat het nog steeds zal functioneren, ook al is tweederde van het netwerk stuk.

Alleen Arpanet zat zo in elkaar, als jouw ISP het begeeft heb jij geen internet meer. Voor de gemiddelde gebruiker is de redundantie 0.

[Swop1200]

Voor het gehele verhaal: kijk de film-klassiekers Terminator 1 & 2

[Bl@ckbird]

Klinkt wel eng, een onvernietigbaar, altijd werkend netwerk.

...dan trek je toch gewoon de stekker eruit!

[Verwijderd]

Dat werd eens tijd dat ze dat eens gingen doen, heb vaak probleemen met sites die niet meer in de lucht zijn

[Expander]

Voor dat probleem is IMHO Google met zijn/haar cache-functie de beste (en een hele goede) oplossing.
Misschien kan men dit in een idee verwerken, een gedistribueerd cache systeem.

[RikY]

Zoiets bestaat toch al...

http://freenetproject.org/

behalve de loadbalancing werkt freenet ook nog eens volledig anoniem, dus je kunt iets publiceren zonder dat achterhaald kan worden wie je bent.

[Verwijderd]

Internet is gewoon takken en bomen werk. Wat ze dus willen is dus de takken en bomen wegzagen maar als ze dit doen dan word dit een kale en werkeloze bedoening. Ze willen dus een soort van P2P systeem opbouwen. Dit gaat echt niet de snelheid ten goede. Ik heb nog steeds snelheid problemen (ik noem maar een voorbeeld: kazaa (hehe), winmx etc.) en ja... Webservers op clients ?? Ik denk niet dat de mensen hier op staan te wachten. Die researchers zullen dan HEEL GOED moeten nadenken hoe ze dit willen aanpakken. Ik denk dat ze een beetje te vroeg hiermee zijn. Het enige wat ze misschien kunnen oplossen zijn de knooppunten van het internet plus de DNS servers want deze maken meestal het grote probleem.

[pietje63]

als ik het goed snap is dit wel een slim systeem, dan kunnen alle of een deel van de hosters samen werken en elkaars zwakke punten opvangen
nadeel is denk ik wel de extra hoeveelheid hdd die nodig is...