Toekomst van distributed computing bekeken

Op de site van Scientific American staat een interessant artikel over het zg. distributed computing, iets waar de gemiddelde tweaker ook aan doet door lid te zijn van de DPC. Er zijn nu al zeker twaalf startups die denken de idle time van onze computers te kunnen gaan verkopen, en dat ongeveer tegen 1/5 van de kosten die van huren van een supercomputer. De vraag is natuurlijk of mensen wel geinteresseerd zijn in het verkopen van hun idle time voor een beetje geld, maar dit is niet het probleem waar de startups last van zullen hebben. Volgens Adam L. Beberg, een van de oprichters van distributed.net, hebben al die startups geen kans van slagen, doordat het simpelweg niet veilig genoeg is op deze manier rekenwerk uit te laten voeren:

Completely open distributed computing has intractable security problems that will prevent firms from putting sensitive code and data out on the Internet for everyone to see. "The only market is behind firewalls," he says.
Andrew Grimshaw of Applied Meta agrees: "Most businesses won't buy consumer-grade [computing] resources from some Linux hacker's dorm room." Beberg and Grimshaw both argue that the real money is to be made with corporate networks, where tens of thousands of well-administered machines sit idle every night. (Applied Meta currently operates for the National Science Foundation a seamless, secure network of more than 4,000 CPUs.)

Proponents downplay such worries, pointing out that encryption, along with the very decentralized nature of the computing, make it unlikely that an adversary will be able to piece together more than a tiny bit of the big picture. Porter says that his company is mostly bidding on projects based on publicly available data and algorithms--it's only the computing power that his clients need. Minar points out that there's just as much need to protect PCs from potentially malicious distributed code. His company places programs in a Java-language "sandbox" that isolates them to prevent unauthorized access to a user's own information.

De volgende stap in distributed computing is bandwith sharing. Zo kunnen snelle internetters als tussenstation gaan werken voor tragere verbindingen, om zo backbones te ontlasten. Echter, iets zegt mij dat we hier in Nederland voorlopig nog niet aan toe zijn

ecteinascidin submitte de link.

Reacties (29)

[Verwijderd]

Ik heb hier een volledig modulair distributiesysteem bedacht/geprogrammeerd voor al het rekenwerk wat bij ons gedaan wordt, (specifieker kan ik niet zijn) het is dus altijd goedkoper voor een bepaalde tijd een aantal computers extra in te zetten.

Voordelen:
* in eigen beheer
* modulair (zowel hard, als software)
* multi-purpose
* efficient
* resultaten meteen zichtbaar

Nadelen:
* collega's denken dat alles gister al klaar was

[CubicQ]

Ik heb ook wel eens aan zoiets lopen denken, mbv Corba zou je zoiets ook nog wel eens transparant kunnen laten verlopen ook. Maar het probleem is inderdaad gewoon veiligheid, misschien is dat via certificaten ofzo wel op te lossen in de toekomst...

Ik neem aan dat het rekenwerk van jullie gewoon berekend wordt op eigen PC's en niet op PC's van mensen die je niet kent waarnaar je opdrachten via internet verstuurd?

[witchdoc]

Wat voor werk hebben jullie dan dat het rekenwerk al verdeeld moet worden over meerdere computers? Hoe verdeel jij dit.. Kan je een voorbeeld van de toepassing geven ofzo? Kunnen we ons een idee vormen van hoe wie wrom.
Noujah.. als't geen geheim is: uitweiden aub

[Verwijderd]

Met behulp van MPI of heb je zelf echt ALLES ontworpen?

Als ik je goed begrijp heb je dus een systeem dat een bepaald soort rekenkundige vraagstukken kan oplossen en de de berekeningen kan opsplitsen, verdelen, load balancen en coordineren.

Correct me if I'm wrong.. Which I undoubtedly am

[mth]

Bij sommig rekenwerk is het heel lastig om een oplossing te vinden, maar eenvoudig om die oplossing te controleren. Voorbeelden zijn RC5 en travelling salesman problem. Dat soort problemen kun je dus uitbesteden zonder dat je bezorgd hoeft te zijn over mensen die foutieve info terugsturen. In het ergste geval sturen ze terug dat ze niets gevonden hebben, terwijl hun zoekgebied wel een oplossing bevat. Door meerdere deelnemers dezelfde input te sturen kun je dit ontdekken.

Dat een bedrijf zijn data vrijgeeft, is alleen een risico als de concurrenten iets kunnen doen met die data. Stel dat ik als bedrijf de optimale layout van een printplaat laat doorrekenen. Dan kan mijn concurrent uitvinden welke componenten (grootte en aantal pinnen) er op die printplaat zitten. Maar wat er in die componenten zit, blijft geheim en zonder die info hebben ze er niets aan. Bijvoorbeeld de concurrent vermoedt dat er een FlashROM op de kaart zit, zonder de inhoud daarvan te kennen heb je niets aan die info.

Ik denk dus dat distributed computing a la RC5 en Seti best ingezet kan worden door bedrijven, maar niet voor ieder probleem.

Daarnaast is er denk ik ook wel een markt voor infrastructuur om binnen het bedrijf zelf gedistribueerd rekenwerk te laten verrichten. Zoiets als Logos blijkbaar gemaakt heeft (waarom moet je daar zo geheimzinnig over doen?). Een PC die gebruikt wordt voor tekstverwerken en e-mail staat 95% van de tijd niets te doen.

[feuniks]

Maar wat er in die componenten zit, blijft geheim en zonder die info hebben ze er niets aan.

Klopt, maar je geeft natuurlijk wel een stukje van je bedrijfgeheim prijs. En als we het hebben over een printplaat met bijvoorbeeld een Nvidia chipset, dan weet de concurrentie (zeker als ze ook die chip gebruiken) wel ongeveer wat er aan componenten op hoort te zitten en vooral in hoeverre het bedrijf afligt van hun eigen ideeën.


Verder kan dit rekenwerk bijvoorbeeld gebruikt worden voor bevolkingsonderzoek of iets dergelijks. Dan werken we al snel met privacy gevoelige informatie en kan het al snel zijn dat bij wet verboden is om zo je rekenwerk te verwerken, omdat je dan "de informatie aan derden ter beschikking stelt".

[Verwijderd]

Alsof je kunt lezen wat er aan rc5 blokjes-info wordt teruggestuurd.
Ik geloof niet dat iemand buff-out kan reverse-enigneeren (versleuteld met rc5-64 ??)

Wat ik wel een punt vind is dat je mogelijkerwijs meerekent aan dingen waar je niet aan mee wilt rekenen. Denk aan: atoombom.

[mth]

Een reden dat dnet de source van de client geheim houdt is juist dat de codering van de blokjes niet volledig veilig is. Je kunt de client reverse engineeren en op die manier vervalste info terug naar dnet sturen. Het is veel en saai werk, maar niet onmogelijk. Als de opbrengst hoog genoeg is (bedrijfsspionage) dan zal het ook vast wel gedaan worden.

De gevoelige info zit trouwens in de input, niet in de output. Dnet codeert denk ik alleen de output, omdat de input toch publiek is. Maar dat verandert de essentie van het verhaal niet: de client bevat het complete algoritme van de codering, alleen is het verpakt op een lastige manier (machinetaal).

[feuniks]

Chico, het gaat niet of iemand het kan. Het gaat erom dat iemand het ZOU KUNNEN. In de tweede wereldoorlog wisten de Duitsers ook niet dat hun enigma codering gebroken was, en de vijand dus gewoon hun gesprekken mee kon luisteren. Het feit dat je zelf je gegevens wegstuurd maakt het heel moeilijk na te gaan of iemand er meer mee kan doen dan jij wilde. Niemand breekt er namelijk bij jou in. Ze staan lekker aan de andere kant, vangen op wat JIJ naar HEN toe stuurt en slaan dit op om later te kunnen gebruiken.

[mth]

Asus zal hun gegevens over videokaart layout inderdaad geheim willen houden. Maar bijvoorbeeld 3Dfx niet, die maken hun eigen chipset, een concurrent kan geen losse Voodoo chipjes kopen om iets te doen met het afgekeken design.

[feuniks]

Nee, maar als er plotseling een heel ander design wordt uitgerekend dan kun je er gif op innemen dat ze iets nieuws gevonden hebben.

[victorb]

bandwidth sharing dat doen we toch ook gewoon met de DPC keyservers.
ik heb er ook 1 aan een chello kabel verbinding waar iedereen kan ophalen en wegbrengen wat veel sneller is dan uit amerika halen bijv.
en ik haal het weer van een andere server af die snel is zodat dat het verkeer verdeelt wordt

[RubZie]

Ja maar je krijgt er geen cash voor

[victorb]

tja dat is zo maar moet je overal geld voor krijgen
en het rc5 project is toch niet commercieel opgezet.
het kost best veel ja
server +/- 700
chello kabel verbinding 12x90 per jaar 1080,- per jaar
en dan nog de stroom rekening

maar het is gewoon leuk om het voor de dpc te doen

[dusty]

dus jij wilt zeggen dat je geen chello kabel verbinding had genomen als je geen key server zou draaien ?

Jij wilt ook zeggen dat je speciaal een computer hebt gekocht voor het draaien van een key server ?

Lijkt mij persoonlijk een beetje sterk. het enige wat het je echt kost is je bandbreedte (oh oh..) en de stroom. uitgaande dat je de computer die je ervoor gebruikt anders in de kast had opgeborgen en niet als firewall zou gebruiken.

[bille]

ehm om nog effe te reageren op Poohbeer

Er zijn progies om te distribueren over meerdere computers binnen een netwerk..een daarvan wordt aan de UVA ontwikkeld binnen het Dynamite project

Het gaat erom dat als een computer binnen het "rekenennetwerk" zwaar belast wordt dat de rekentaak dan wordt omgeleid naar een computer waar de belasting minder zwaar is....En dan wel realtime natuurlijk...zodat je constant alle idle time kan gebruiken om te rekenen. (moet je wel de computers aan laten natuurlijk )

Op die manier heb je constant een grote cpu...waar het voor gebruikt wordt??? ik heb geen idee, misschien voor het uitpluizen van DNA ofzo...
Wat ik wel weet is dat de UVA het commercieel op de markt gaat zetten...ik ben benieuwd wat voor bedrijven daar interessen in gaan hebben

[ajvdvegt]

Wel een beetje jammer dan de UVA daar nu pas mee komt, de israeliers hebben al zoiets (zie www.mosix.org ). Het enige 'nadeel' is misschien dat het alleen onder linux werkt.

[feuniks]

Dan hebben we het over load ballancing. Daar denk ik dat wel een aantal bedrijven interesse in heeft. Zeker grote bedrijven hebben vrij veel systemen staan die 90% van de tijd uit hun neus staan te vreten. Als ze zelf vee moeten rekenen dan zou het best wel eens zo kunnen zijn dat deze idle time gebruiken (en dus de software kopen) goedkoper is dan een of meerdere dedicated servers te kopen om hetzelfde te bereiken.

[wysime]

Natuurlijk is Nederland al klaar voor Bandwidth sharing, het wordt al lang toegepast. Is het lokaal hosten van content ook niet een vorm van bandwidth sharing? Het zal niet anders kunnen want technisch is het naar mijn (beperkte) weten niet mogelijk om, ik noem maar wat, heel Nederland tegelijk naar een breedbandstream te laten kijken. Wil dit ooit gebeuren dan zul je "met iemand moeten meekijken", chaining dus, in combinatie met een hoop lokale servers.

[Kahlan]

1 woord: satellietontvangst.
'nuff said

[Verwijderd]

Als er veel mensen op de sateliet gaan is dat ook zo snel niet meer hoor.. Nu wordt er vrijwel geen gebruik van gemaakt en is er dus relatief veel bandbreedte beschikbaar per user, als bijvoorbeeld alle casema slachtoffers op de schotel gaan zal je de 300 kilobytes/sec niet meer halen zoals nu nog wel het geval is.. helaas

[Verwijderd]

Nee, bandwidth sharing lijkt me nog geen optie nu.

[GoGoHaRrY]

Als ze geen klanten kunnen vinden kunnen ze altijd nog de Distributed.net client gaan draaien ....

[henk jansen]

het is wel leuk als je een langzame gebruiker bent maar als je de snelle gebruiker bent gaat dit ten koste van je bandbreedte en dan hoeft het voor mij niet meer.

[CmdrKeen]

Waarom zou NL niet klaar zijn voor bandwidth sharing? Het is toch alleen maar efficiënter en dus goedkoper?

[Verwijderd]

De toekomst van distributed computing is er wel degelijk. Misschien niet door het gebruik van publieke pc's, vanwege veiligheid issues, maar ik zit meer te denken aan het gebruik van de pc's van de onderneming zelf. Denk eens aan een philips of ibm, die kunnen ervoor zorgen dat de idle time van de pc's van de werknemers hiervoor gebruikt gaat worden. Dit soort bedrijven hebben namelijk een gigantische berg aan pc's die slechts 8 uur per dag aan misschien voor max 70 % iets staan te doen.