HP wijst bedrijfsleven op distributed computing

Het principe waarbij de ongebruikte rekenkracht van gewone computers gebruikt wordt voor ingewikkelde berekeningen is bij praktisch elke actieve internetter bekend, mede door grote projecten zoals SETI@home en RC5. De meeste belangrijke bedrijven gebruiken voor uitgebreide rekenklussen echter nog steeds apart hiervoor aangeschafte computerapparatuur, iets wat volgens Hewlett-Packard eigenlijk helemaal niet nodig is. De computergigant heeft als demonstratie een cluster van 225 normale PCs gemaakt, waarbij geen speciale hardware ingeschakeld werd. Volgens de Automatisering Gids behoort het hierdoor ontstane cluster tot de top-500 van krachtigste computers te wereld.

HP zegt duidelijk te hebben gemaakt dat standaard kantoorcomputers best gebruikt kunnen worden voor dergelijke toepassingen. De machines bevatten processoren van 733MHz en 256MB intern geheugen, en liepen op het besturingssysteem Linux. Critici zullen de kanttekening willen plaatsen dat de kracht van distributed computing allang bewezen is, maar te verwachten is dat bedrijven eerder zullen overstappen op een dergelijk systeem als een gerenommeerde computerfabrikant zich er mee bezig houdt. Er zal dan ook verder gegaan worden met het project, waarbij een nieuwe cluster van duizend computers gemaakt zal gaan worden.

Reacties (39)

[Verwijderd]

HP als trouwe Microsoft relatie, komt naar buiten met een publicatie over clustering onder Linux. Dat is niet mis! (viel me gewoon ff op)

Clusters bouwen uit pc's is een mooie en leuke oplossing, maar gaan we dat daadwerkelijk terug zien in de 'gemiddelde kantoortuin'? Ik betwijfel dat.

Maar het is natuurlijk wel een oplossing voor bijvoorbeeld een wetenschappelijk instituut, waar veel rekenkracht nodig is. De besparingen tov een supercomputer maken dan de keuze zeer boeiend.

[RG]

HP moet wel, anders heeft IBM dit gat ind e markt straks compleet in handen. Ze hebben al een heel stel Linux clusters geleverd bij IBM en ontwikkelen zelf ook mee aan de cluster mogelijkheden van Linux, waaronder Mosix.
Ik denk dat HP hier wel lekker veel geld kan gaan verdienen als ze goed kunnen concurreren met IBM...

[Verwijderd]

Niet alleen geld verdienen, maar ook 'meelopen'. Dat bedoel ik niet verkeerd, maar als harde spiegel concurent van IBM (HP kan in principe op alle denkbare vlakken vergelijkbare systemen en apparatuur leveren) kan HP het zich niet veroorloven om dan wanneer het om 'betaalbare' supercomputers gaat ineens er niet bij te zijn.

[blimmel]

(on topic)
http://www.freemcowen.com/
(/on topic)

[alt-92]

[titel van de nieuwsposting=]
HP wijst bedrijfsleven op distributed computing

Dus door het bedrijf zelf en niet een individu die dat zonder toestemming of overeenkomst op z'n bedrijfs/uni netwerk doet.

http://www.freemcowen.com/silicons.rm

[Verwijderd]

Zeker is dit al langer bekend, maar in de praktijk zal zo iets nooit doorgang vinden.

Bedrijven hebben verschillende afdelingen, iedere afdeling heeft zijn budget en koopt hiermee haar computerapparatuur. Dan komt de vraag van een afdeling voor een krachtige PC i.v.m. een bepaalde applicatie. Andere afdelingen zullen nooit akkoord gaan om hun zuur verkregen PC power hiervoor ter beschikking te stellen zonder daarvoor een vergoeding in de vorm van een extra budget te ontvangen. Dus in de praktijk word dan toch maar een aparte server of PC hiervoor aangeschaft op kosten van de aanvrager.

Ook krijg je allerlei zaken dat de andere computers traag werken op het moment dat er deelname is in een shared CPU proces. Computers die vaak vastlopen waarvoor nog geen oorzaak is te vinden, is nu opeens wel te vinden etc.

[machiel]

Dat hoeft toch geen probleem te zijn? Als je zo'n koetje laat grazen op je pc's dan krijg je daar als afdeling gewoon geld voor, er wordt immers bespaart op server-hardware. Je kan makkelijk meten hoeveel iemand heeft bijgedragen (net als bij RC5)

Vastlopers en traagheid is onzin, een goed geprogrammeerd programma loopt niet zomaar vast en neemt al helemaal niet het hele systeem mee als het crasht. Programma's van distributed en SETI maken de pc ook niet trager (paar %tjes misschien, merk je niks van)

[Florimon]

Het probleem is denk ik eerder dat de beschikbare rekencapaciteit tgv de 'onbenutte' capaciteit van pc's op andere afdelingen zo onvoorspelbaar is. En juist op momenten dat de rekenkracht het hardst nodig is, bv. bij kwartaal- of jaar-afsluitingen enzo, zul je zien dat de beschikbare capaciteit het minst is omdat alle medewerkers dan hun pc zelf al hard nodig hebben en er dus een minimale 'onbenutte' capaciteit is. En binnen bedrijven wordt steeds meer met service level agreements gewerkt, waarbij de IT afdeling garandeert dat applicatie X minstens Y% van de tijd beschikbaar is, en/of altijd een performance van minimaal Z levert. Dan kun je natuurlijk niet aankomen met statements als 'afhankelijk van hoe hard iedereen z'n pc nodig heeft kunnen we een performance van ongeveer Z leveren'.
Daarbij : als er buiten de 'drukke perioden' een substantieel voordeel te behalen is uit de 'onbenutte' capaciteit van de pc's van de medewerkers, dan doe je als bedrijf misschien toch iets verkeerd : de medewerkers werken te weinig met hun pc, of de pc's zijn te 'zwaar' (-> te duur), of meerdere medewerkers kunnen samen doen met 1 pc.

/edit: dit alles was dus bedoeld als pleidooi voor dedicated hardware voor clustering (zie mijn andere reactie beneden).

[Makkelijk]

maar het zal al heel veel besparen als je 30% van je servers WEL behoudt en de rest verruild voor distributed computing.. dna heb je bijv. ipv. 30 servers.. 10 servers en 50pc's.. als die PC's de 30 servers niet bijhouden dan heb je altijd nog 10 servers extra..

dus vroeger garandeerde je:

altijd precies 20.000mhz rekenkracht beschikbaar

nu.. circa 20.000mhz tot 30.000mhz rekenkracht beschikbaar.. kijk dan heb je weer je speed agreement

[Aetje]

Probeer onder W2K Winrar of een ander programma dat zich in idle modus opstart eens te starten. Merk je hoeveel last je van koetje of SETI hebt.

* Aetje dubbelklikt zipjes alleen nadat ie seti uitgezet heeft

[Jrz]

Dan is winrar niet goed geprogrameerd.
Als ze allebij op dezelfde priority zitten (wat vreemd is voor een extract proggie) krijgen ze allebij evenveel van de idle time.

[Jrz]

Als je in een groot bedrijf allemaal computers hebt staan, die alleen gebruikt worden voor oulook en word zeg maar. Dan kan je makkelijk die cpu power gebruiken. Is toch elke keer weer 500MHz ofzo.
Dat kan je mooi gebruiken voor <vul hier je leuke reken app in>

Dat ze traag werken is gewoon bullshit, want die clients die gebruiken je IDLE cpu tijd.

Je shit wel veel uit je bull hoor

[Verwijderd]

Dat ze traag werken is gewoon bullshit, want die clients die gebruiken je IDLE cpu tijd.

Ja en jij denkt zeker dat op het moment dat je je muis weer beweegt of als je op je nieuwe mailtje klikt, je hier niets van merkt? m.a.w. je meteen weer alle CPU cycles tot je beschikking hebt?
[leekmode]
Computers die meedoen in een shared CPU proces zijn gekoppeld via een netwerk, als je PC niet langer IDLE is dan heb je nog steeds last van de data van je buurman op het zelfde segment.
[einde]
Ik zie het al voor me.
Ontwikkelafdeling die een complexe berekening wil gaan uitvoeren en hiervoor geen snelle server mocht aanschaffen doet het dan maar op deze manier.

Net send message:

Wilt u als u vandaag naar huis gaat uw pc aan laten staan (DUS NIET AFSLUITEN!!!) Wij willen uw PC graag gebruiken voor een complex proces vannacht

Press OK

[intoxicated]

Wilt u als u vandaag naar huis gaat uw pc aan laten staan (DUS NIET AFSLUITEN!!!) Wij willen uw PC graag gebruiken voor een complex proces vannacht.

En wat zou daar dan mis mee zijn? Bovendien gebruiken veel grote bedrijven systemen die gebaseerd zijn op Wake On LAN, timers etc., dus kan men een (distributed) cluster gewoon aanzetten op het moment dat ze nodig zijn. Daar lijkt me niet zoveel mis mee.

[BrZ]

Ja en jij denkt zeker dat op het moment dat je je muis weer beweegt of als je op je nieuwe mailtje klikt, je hier niets van merkt? m.a.w. je meteen weer alle CPU cycles tot je beschikking hebt?

en jij denkt dat pc's met cpu's die een miljard instructies per seconde kunnen uitvoeren door enkele secondes over doen? natuurlijk niet... je hebt gelijk dat die omschakeling even duurt, maar dan heb je het over tijden nog veel minder als een milliseconde... daar merk je echt totaal niets van....

[Crazy D]

Wilt u als u vandaag naar huis gaat uw pc aan laten staan (DUS NIET AFSLUITEN!!!) Wij willen uw PC graag gebruiken voor een complex proces vannacht

Stond een tijdje geleden in de Computer Techniek, Basf doet dat op hun netwerk. Overdag doet iedereen gewoon wat ze op de computer moeten doen, en 's nachts draaien ze een eigen ontwikkelde tool waarmee ze de pc's lekker laten rekenen. Stond ook bij ("vrij herinnerd...") dat in het begin de mensen toch zoiets hadden van ja hallo, maar 't is "mijn" pc, maar toen een beetje duidelijk was waar 't over ging, hadden veel mensen er geen problemen mee. En voor 't bedrijf is 't natuurlijk ideaal, als je een paar hondert pc's hebt staan die maar 1/3 van een dag in gebruik zijn, waarom dan niet die andere 2/3 van de tijd de computers ook nuttig gebruiken?
En aangezien het alleen buiten werktijd ging, merk je er als gebruiker helemaal niets van (je bent er op dat moment niet...)

[Verwijderd]

jammer dat er niet zo'n grote videostudio's zijn in nederland, scheelt een hoop rendertijd...

[Jrz]

De traagste factor is de gebruiker..

[Florimon]

Ik denk ook niet dat je de toepassing moet zoeken in het gebruiken van de 'onbenutte' capaciteit van PC's bij andere afdelingen van een bedrijf.
Ik denk eerder aan 1 afdeling (de IT afdeling) die een serverfarm gaat opzetten, waarbij de totale capaciteit conceptueel gezien kan worden als 1 vreselijk snelle CPU met gigantisch veel schijfruimte. Delen van die capaciteit kunnen dan weer naar behoefte van de andere afdelingen (bv. order management, payroll, etc) geleverd worden (al dan niet met crosscharging van de IT-afdeling naar de ontvangende afdeling).
Een voordeel voor de IT-afdeling zou zijn de scalability : de capaciteit is traploos op te schalen dmv relatief goedkope hardware (extra pc'tje bijprikken), ipv stapsgewijs met grote sprongen en dure hardware (E10000 ofzo). Ik zeg 'zou' want het gebruikte OS / clustering software moet in de praktijk natuurlijk wel inderdaad schaalbaar zijn, het liefst zoveel mogelijk lineair (vergroting van de capaciteit is recht evenredig met vergroting van het aantal pc's).
En als het gebruikte OS / clustering software crossplatform is (zal met Linux wel geen probleem zijn), is dat nog een voordeel voor de IT-afdeling : er kan hardware van verschillende leveranciers, en gebaseerd op verschillende platformen betrokken worden.
Als 3e voordeel is er nog de availability & reliability : als er een, of een paar pc'tjes tijdelijk uitvallen is dat natuurlijk geen ramp. Het totale systeem draait dan een paar procent langzamer totdat de betreffende hardware vervangen is. Als niet alleen de processing, maar ook de te processen data verdeeld is over alle pc's, dan moet voor de reliability natuurlijk wel wat geregeld zijn mbv redundantie volgens RAID-achtige technieken, waarbij omliggende pc's de data van een weggevallen pc terug kunnen rekenen.

[BadRespawn]

afdelingen hoeven elkaar niet in de weg te zitten. distributed is gewoon een goedkoop alternatief voor gespecialiseerde apparatuur, wat je op dezelfde manier kan gebruiken. je koopt dus gewoon tig pc's ipv 1 supercomputer en de pc vd tiepmiep staat daar los van.

[Vunzz]

Andere afdelingen zullen nooit akkoord gaan om hun zuur verkregen PC power hiervoor ter beschikking te stellen zonder daarvoor een vergoeding in de vorm van een extra budget te ontvangen.

Dat verschilt natuurlijk nogal per bedrijf. Ik werk zelf op een IS afdeling, en wij kopen, beheren en betalen alle apparatuur. En het is ook aan os om te bepalen wat er met de apparatuur gebeurd.
Maar ook bij bedrijven waar iedere afdeling een eigen budget heeft zal dat vast anders gaan. De afdeling typemiepen zal er toch geen bezwaar tegen maken als de afdeling R&D w at van hun duurbetaalde idle processortijd goed kan gebruiken? Het zijn immers collega's en geen concurrenten.

[Verwijderd]

http://www.beowulf.org/

[Verwijderd]

www.mosix.org

[Prozaq]

www.tweakers.net

[FCA]

Vreemd eigenlijk dat bedrijven dit niet inzien.
Veel grote bedrijven hebben honderden computers.
Die staan 99% van de tijd uit hun neus te eten, of draaien koetjes of Seti ofzo. Als ze daar nou eens iets voor het bedrijf mee gingen doen....

En HP heeft dan het voordeel dat bedrijven eerder nieuwe pc's voor hun werknemers kopen.
Want hij reageert dan eerder wat trager.

[Verwijderd]

standaard kantoorcomputers .... van 733MHz en 256MB intern geheugen, en liepen op het besturingssysteem Linux.

Ik vind een machine met 256MB intern geheugen met Linux als besturingsysteem nou niet echt een standaard kantoorcomputer. Dan zit ik meer te denken aan een 64-128 MB machine met Windows. Maar goed, ze bedoelen dus een standaard PC hardware platform zonder exotische hardware. Is dus net even iets anders.

[PanMan]

Boing schijnt dit al te gebruiken ipv. een supercomputer.
En, wat betreft het bedrijfsleven: Ik denk dat in het gemiddelde bedrijf de afdelingen niet vechten om pc's, maar gewoon pc's hebben die door het IT deel beheerd worden. En dat IT deel kan er dus ook prima progs voor distributed computering draaien; zoiets als een koetje, daar heb je nauwlijks last van, toch?

[zork]

De computergigant heeft als demonstratie een cluster van 225 normale PCs gemaakt, waarbij geen speciale hardware ingeschakeld werd. Volgens de Automatisering Gids behoort het hierdoor ontstane cluster tot de top-500 van krachtigste computers te wereld.

En in welke plaats in de top zou het DPC 'cluster' dan komen >

[ErectionJackson]

Beetje raar dat HP dit zo aan het promoten is. Zij hebben er toch alleen maar baat bij als er meer computers worden verkocht? Als mensen grote rekentaken willen verrichten en HP ze mooi een paar mega-computers kan verkopen maken ze weer wat extra omzet. Wat is de achterliggende reden voor HP dan?

[Verwijderd]

Misschien dat ze liever 200 vectra's verkopen? :-)

[veldmuis]

mij lijkt het dat ze eerst mensen fanatiek gaan maken, dus dat ze echt steeds langer die pc aan laten staan, en dan een nieuwe, snellere kopen, dat die progs weer meer rekenkracht kunnen gebruiken zeg maar

[machiel]

De software is van HP

[Darth_Fedor]

Ik denk dat dit heel interessant is voor bv universiteiten, ziekenhuisen ed. Als je die pc-tjes namelijk NIET uitzet 's avonds, dan kan je die prima gebruiken om bv. MRI scans ofzo mee te onderzoeken! Gaat dan in de avonduren en die data is meestal toch niet a la minuut nodig. Dito voor een universiteit. Enne, dat Linux komt echt wel op korte termijn hoor. Moet je eens kijken wat een bedrijf bespaard! Geen windhoos, Office enzo. Scheelt al gauw een rug per pctje En dan nog niet eens het fenomeen "virus" wat je ontloopt ;-)

[rubby]

Inderdaad, dit kan zeker goed werken. Veel bedrijven zetten nu al hun computers niet uit 's-nachts. Ik zie naast de door jou genoemde instellingen ook mogelijkheden voor bedrijven als Shell (exploratie onderzoek) en de farmacie sector.

[Jrz]

Linux zal nog lang niet een windows vervanger worden, JUIST omdat het niet monolitisch is. Alle nerd willen een standaard beginnen.

En je hoeft helemaal geen linux te draaien voor dc.

[Darth_Fedor]

Dat valt echt wel mee hoor! De meeste lui hebben Office zich toch echt zelf aangeleerd Dat zal met Star Office net zo gaan. Linux opzichzelf is natuurlijk lastig, maar da's NT ook!

De meeste werknemers krijgen een compleet ingerichte pc aangelevert. Dat gaat met Linux dus ook zo. Denk niet dat dat echt heel veel uitmaakt.