'Commerciële grid-computing moet gestimuleerd worden'

Joseph Reger van Fujitsu-Siemens zegt dat de Europese Unie zich ook moet inzetten voor commerciële grid-computing, zo lezen we op Emerce. Behalve de wetenschappelijke super-computing zou juist Europa meer aandacht moeten besteden aan de commerciële variant, omdat het op dit gebied een leidende rol zou kunnen hebben in de wereld doordat het een voorsprong heeft op de Verenigde Staten. Reger denkt dat grid-computing vooral van belang is bij data processing en financiële data-analyse. Door het delen van capaciteit en het elkaar ondersteunen bij pieken kunnen datacentra een lagere cost of ownership bereiken, zo zegt hij.

Bernd Bisschoff, CEO van Fujitsu-Siemens, zegt dat Europa minstens vijftien maanden voorsprong heeft op de Amerikaanse concurrenten HP en IBM. Dat juist mensen van Fujitsu-Siemens dergelijke uitspraken doen is niet verwonderlijk, omdat deze een van de grondleggers en financieel ondersteuners is van de Enterprise Grid Alliance (EGA), dat commerciële grid-computing op de kaart probeert te krijgen.

Reacties (25)

[Spiller]

Betekend dit dat er geld te verdienen valt door je processor beschikbaar te stellen?

[Ids Lupo]

Wat denk je als bedrijven dit principe gaan gebruiken voor financiele analyses?
Het zal eerder tussen afdelingen van grotere bedrijven werken of binnen een bedrijfsnetwerk. Op elke PC binnen het bedrijf een programmatje draaien.

[VisionMaster]

X-Grid van Apple is zoiets, daar kan je een programma op iedere workstation runnen die als Resource aanmeld bij een X-Grid machine die de job scheduling bemiddeld.
Op Windows/Linux machines was er (ik meen te herinneren) Condor of Condor-G die zo'n screensaver kinda oplossing kan bieden om hetzelfde te doen.
Het verschil met dit en Distrobuted Computing is al dat het een generieke resource oplossing biedt. Bij de verschillende koeien programma's kan je meestal maar een beperkt aantal applicaties voorzien van hun gewenste kracht.

Bij het echte Grid Computing, zoals ik dat ken ten minste, ligt het niveau van een Grid een abstracte laag hoger.
Daar is een site bijvoorbeeld een plek waar je reken opdracht gedraaid kan worden op 1 van de resources en is het Grid niet een stel met elkaar kakkelende screensavers of achtergrond services die wat kunnen doen.

Doet me gelijk denken aan de Oracle 10g ... Ik weet niet wat die verkopers in hun hoofd hebben, maar een extreem fancy self-healing database met transparante redundancy oplossingen voor de gegevens en load-balancing over de verschillende servers is geen Grid. (sorry moest het kwijt (8&gt . Het is het meest fancy wat ik tot nu toe gezien heb, maar noem het geen Grid als het dat niet is.

[Verwijderd]

Bij Gridcomputing wordt doorgaans gebruik gemaakt van een uniform netwerk.
Tuurlijk, bedrijven vervangen hun computers wel in bulk, maar evengoed zal het gemiddelde bedrijf een vrij pluriform netwerk hebben.
Daarbij vereist Gridcomputing heel snelle netwerken, iets wat een gemiddeld bedrijfsnetwerk volgens mij niet heeft.

Je eigen thuiscomputer inzetten, daar hoef je al helemaal niet aan te denken. Dat heet dan ook distributed computing.

[Ids Lupo]

@the_stickie
Mede daarom is het volgens mij interessant voor bedrijven. Zoals je een rekencentrum in je bedrijf hebt wat niet genoeg kracht heeft, kun je het met behulp van grid computing een zetje geven, of er helemaal op baseren.

In tweakologie termen: veel koeien in de wei eten een hoop gras.

[the_stickie]

Grid computing is zeker haalbaar binnen een bedrijf (mits er natuurlijk vanaf het begin rekening gehouden word met de speifieke eisen) alleen is het dan de vraag waarvoor een gemiddeld bedrijf al die rekenkracht nodig heeft...

[AJK]

en levert het voor het bedrijfmeer op dan het kost!

[terabyte]

Bij Gridcomputing wordt doorgaans gebruik gemaakt van een uniform netwerk.

Juist niet.. Een cluster binnen een grid kan homogeen zijn (zelfde hardware/platform), maar de clusters onderling waar de grid uit bestaat zijn juist zeer heterogeen en dat is juist de grote uitdaging van grid-computing: het koppelen van een stel totaal verschillende clusters die door verschillende instellingen beheerd worden.

[VisionMaster]

Aanvulling op Terabyte2:
LCG-2 heeft een tijdje terug een Itanium cluster aan hun productie omgeving toegevoegd. (de rest is allemaal x86 groot en klein). KHeb vorige week nog gemaild over bepaalde sources die nog naar 64-bits geport moesten worden.

Dit moeten veel meer verschillende platforms worden. Het eerst volgende logische geadopteerde architectuur zal x86-64 zijn in een bepaalde vorm. (wellicht iets te simpel, maar toch...)

[the_stickie]

true maar een gemiddeld bedrijf heeft helemaal geen nood aan een "rekencentrum". Een paar servertjes en we zijn rond. Pas echt grote bedrijven hebben hier nood aan. En natuurlijk is grid computing een oplossing die tegenwoordig in overweging kan genomen worden.
Laten we het zo stellen: er is een markt voor, maar die is wel klein en zeer specifiek. Zeker omdat het nog een "jong" product is: het gaat nou eenmaal niet over tsandaard applicaties die zomaar 1,2,3 geïmplementeerd worden. True, dat is misschien het hele idee achter de "commercialisering", maar we zijn nog een eind van huis op gebied van toepasbaarheid en gebruiksvriendelijkheid.

[terabyte]

@the_stickie:

Volgens mij zijn er idd maar heel erg weinig bedrijven die baat hebben bij grid technologie. Het zijn niet voor niets de universiteiten die van grids gebruik maken, omdat de problemen in de wetenschap die opgelost moeten worden veel groter zijn dan problemen die de meeste bedrijven moeten oplossen.

Men dient niet te vergeten dat grid technologie momenteel alleen nuttig is voor grote rekentaken. Eén bedrijf dat zeker wel baat zal hebben van grid technologie is de Nederlandse Spoorwegen voor het doorrekenen van een complete dienstregeling.

Grids zijn niet handig om bijvoorbeeld je database-load te verminderen. Ik denk niet dat bedrijven hun database op netwerken van andere instellingen willen hebben.

[VisionMaster]

@terabyte2:

De NS heeft geen baat bij Grid-computing.
Zoek nog even op wat het probleem is waaruit Grid computing is voortgekomen en vervolgens wat het nu dus eigenlijk is en ook nog hoe grote Grids zoals LCG-2 zijn opgezet als infrastructuur (laten we het zo maar even noemen..).
De NS zou iets hebben aan een dikke machine of supercomputer om alle grote verschillende aantallen variabelen nou eindelijk eens een keer mee te kunnen nemen in diverse treintijden scenrario's.
Grid Computing is juist dat je erg veel sub-problemen zou kunnen generen van je grote hoofd probleem, om vervolgens deze tot een grootse uitkomst te laten komen. Door dus ... al deze sub-problemen in een extreme vorm van parallelisme te laten berekenen/bewerken.

Weer modellen schalen ook niet lekker op een Grid. Het hele algoritme hoe zoiets berekent moet worden, zal moeten worden veranderd om deze vorm van parallelisme te kunnen weerstaan.
Supercomputers en weermodellen komen een heel eind dichterbij elkaar, omdat alle verschillende delen van 'weer-cellen' overal en ten alletijden van elk deel aanroepbaar zijn uit het aan elkaar gekoppelde geheugen met hun processors om al deze 'sub-cellen' weer te kunnen door rekenen en hun resultaten (die af hangen van andere resultaten) te kunnen presenteren aan andere afhankelijke resultaten.
Bij Grid computing gaat dat niet snel genoeg om dit algoritme vast te houden, dus is men bezig met een vernieuwing, omdat Grid technologie nu eenmaal beter schaalt.

Maar tot die tijd geldt voor het mooie (blonde?) weermodelletje:
"If you were plowing a field, which would you rather use? Two strong oxen or 1024 chickens?" - Seymour Cray (1925-1996), father of supercomputing

[terabyte]

@VisionMaster

Wat ik geleerd heb tijdens m'n studie is dat juist rekenkundige problemen die de NS heeft in de vorm van grid computing opgelost kan worden. Het enige probleem is de communicatie tussen verschillende clusters vanwege het niet kunnen opsplitsen in subproblemen. Maar aangezien de NS niet constant zoveel CPU kracht nodig heeft, kom je weer uit bij de reactie van TheekAzzaBreek, die grid computing ziet als een vorm van flexibel CPU power inhuren.

Wat ik in deze thread duidelijk probeer te maken is dat problemen waar databases e.d. gebruikt worden (zoals Google, ABN-AMRO, etc) niet opgelost kunnen worden dmv grid computing, en dat grid computing ook niet geschikt is om een serverpark te vervangen/flexibel uit te breiden, maar wel geschikt is voor incidenteel grote rekentaken. Ondanks eventuele communicatie overhead en daaruit vloeiende beperkte schaalbaarheid.

[terabyte]

Dat is niet grid-computing, dat is distributed computing zoals je ook met een koe kan doen (DPC).

Grid computing is het koppelen van verschillende heterogene clusters van verschillende hardware/platformen van verschillende instellingen/eigenaren, oftewel:
een grid is een cluster bestaande uit verschillende clusters van verschillende eigenaren

Dat is dus iets anders dan een gewone (homogene) cluster binnen een bedrijf.

Meer informatie (korte intro tot grid computing):
carol.science.uva.nl/~dick/education/sheetsGedistSyst/grid.pdf

[Remus]

Grid computing en distributed computing zijn feitelijk hetzelfde naampje voor hetzelfde beestje.

[VisionMaster]

Ahum ... zelfde naam voor hetzelfde beestje ... dan doe je Grid Computing als vorm van gedistribueerde computing toch een beetje te kort... Ik meen dat de correcte term voor de distrobuted computing die bij DPC bekent staat 'distrobuted applicance computing' is. ivm zijn veelal specifieke taak. Echter wel in dezelfde analogie dat je met veel resources je probleem tackelt.

[TheekAzzaBreek]

Grid computing is zeker ook interessant in het middenbedrijf, in theorie eigenlijk overal waar je een serverhok hebt.

Het heeft niks met pc's te maken en en ook niet per se met supercomputing. De gein is dat je je applicaties loskoppelt van een specifieke server, wat je vooral een hoop flexibiliteit geeft.

Normaal koop je je hardware met genoeg ruimte voor pieklast, zodat ze doorgaans fors onder hun capaciteit draaien.Verder heb je nog wel het een en ander aan testsystemen, die het ook niet allemaal tegelijk druk hebben. Als je met die reserve kan schuiven, heb je er minder van nodig, dus bespaar je geld. Bovendien voorkom je het probleem dat een applicatie uit z'n server groeit, en je er een dure highend doos voor moet kopen.

Da's de theorie. In de praktijk is het nog een vrij jonge tak van sport, de software die dat allemaal moet gaan regelen is nog niet erg volwassen, en de kennis is duur. En vooral is de applicatie software er vaak nog niet voor geschikt. Die moet namelijk vlot kunnen parallelliseren zonder al te veel overhead, en dat is niet makkelijk.

Ik ben het idee tot dusver eigenlijk alleen in beperkte hoeken in de praktijk tegen gekomen, web en applicatie servers bijvoorbeeld, of databases. Dat is nog een heel eind weg van dat theoretische grid dat tussen je applicatie verzameling en je machinepark ligt, maar dat blijkt al moeilijk zat.

[terabyte]

Ik weet niet waar je de wijsheid vandaan hebt, maar...

Het heeft niks met pc's te maken en en ook niet per se met supercomputing

Grid computing heeft juist alles te maken met supercomputing, met nadruk op computing.

Normaal koop je je hardware met genoeg ruimte voor pieklast, zodat ze doorgaans fors onder hun capaciteit draaien.Verder heb je nog wel het een en ander aan testsystemen, die het ook niet allemaal tegelijk druk hebben. Als je met die reserve kan schuiven, heb je er minder van nodig, dus bespaar je geld. Bovendien voorkom je het probleem dat een applicatie uit z'n server groeit, en je er een dure highend doos voor moet kopen.

Dit heeft allemaal niets met grid computing te maken. Misschien bedoel je dat een bedrijf rekenkracht zou kunnen inhuren bij andere bedrijven? (met nadruk op REKENkracht). Of misschien bedoel je dat een bedrijf het beheer van hun servers zou kunnen uitbesteden? maar ook dat is niet grid computing

de software die dat allemaal moet gaan regelen is nog niet erg volwassen,

Er zijn meerdere toolkits zoals Globus, Dynamite, etc. en die worden veel gebruikt om wetenschappelijke problemen op te lossen. De tak van de Informatica dat grid-computing bestudeert is relatief jong, maar de huidige toolkits zijn zeker bruikbaar.

Ik ben het idee tot dusver eigenlijk alleen in beperkte hoeken in de praktijk tegen gekomen, web en applicatie servers bijvoorbeeld, of databases.

Daar is grid computing (wederom met nadruk op computing) dus NIET voor bedoelt. Grid computing heeft helemaal niets te maken met (web/applicatie/whatever)servers. Het gaat om rekenclusters van meerdere instellingen die met elkaar verbonden zijn.

Dus

Grid computing is zeker ook interessant in het middenbedrijf, in theorie eigenlijk overal waar je een serverhok hebt.

klopt dus niet... Het gaat helemaal niet om servertje draaien, de meeste bedrijven hebben niet eens een rekencluster nodig, laat staan een grid (let op het verschil tussen een rekencluster en een gewone serverpark)

[VisionMaster]

Je hebt gelijk wat betreft TheekAzzaBreek's post in de grootste en huidige stand van zaken zin van het almachtige woord des 'Grid'.

Echter ... een tijd terug was er een dude van CapGemini geloof ik die had een leuke enthousiaste visie (ik programmeur van grid computing in wetenschappelijke wereld keek hier uiteraard sceptisch tegenover ..., maar) hij had het er over dat je technologisch ontwikkeling van resource balansing en sharing niet alleen op de rekencapaciteit kan toepassen, maar ook op meerdere dingen die te maken hebben met gelijk soortige 'diensten' die 1 CPU kan leveren.
Je kan je voorstellen dat je je job scheduling veel sneller kan laten gebeuren (Globus toolkit 6.x.x bijvoorbeeld, we zijn er mee bezig zullen we maar zeggen ... ) en dat je dan dus je rekenopdrachten voor 1 bepaalde server kan laten door schalen naar een andere, on the fly of bij voorbedachte rade door de scheduler.
Nee, dit is geen Grid, en Oracle 10g maakt hier reclame mee, maar dit is wel Grid Technologie door op een abracte manier abstracte resources te kunnen poolen en schedulen.

Dit betekent dat de huidige huis-tuin-en-keuken SAP, Oracle of Exact totaal moeten veranderen van interfaces en ze zullen ook van binnen anders moeten werken.
Er is net een nieuws berichtje binnen over WS-M. Dit heeft ook betrekking hier op.
In het door denksel van het abstract kunnen aanspreken van bepaalde services die iemand wilt hebben en het systeem laten uit vissen hoe die naar voren moeten worden gebracht.

Dit zijn doorontwikkelingen die in de pijplijn zitten, maar nog wel een aantal jaren duren voordat iedere grote onderneming dit doorvoert

[TheekAzzaBreek]

Het artikeltje ging toch juist over het toepassen van grid computing ideeen in normale commerciele toepassingen? In het bron artikel word zelfs een voorbeeld genoemd van een dergelijke architectuur onder een ERP systeem bij TPG. Dat jij vind dat je dat geen grid computing mag noemen als het niet over zwaar rekenwerk gaat is mij best, maar waar het over ging is dat de concepten heel bruikbaar zijn buiten het supercomputing domein.

Dat is een nog vrij maagdelijk gebied, waar zo zoetjes aan wat oplossingen voor deelgebieden op de markt komen die ik zelf hooguit veelbelovend kan noemen. Dat dat voor number crunching er allemaal veel beter voorstaan geloof ik best.

Het gaat om rekenclusters van meerdere instellingen die met elkaar verbonden zijn

In mijn beeld gaat het er juist om dat je je processen en resources loskoppelt, dus of die capaciteit nou van een plek komt of meerdere doet er nou precies niets toe.

[Microkid]

Goed idee. Dan verhuur ik mijn onbenutte processorkracht voor 1 euro per uur. Dan heb ik m'n PC in zo'n 2 maanden wel terugverdiend

[MTWZZ]

In Almere wordt er hard gewerkt aan een Grid (AlmereGrid dus) waarbij pc's van bedrijven en particulieren worden ingezet om wetenschappelijke problemen op te lossen.
Dit project is vooral bedoeld om een werkend Grid te bouwen van pc's die niet uniform zijn en daarmee constructief werk te verrichten.
Het probleem met betaling voor gedeelde resources is dat er geen standaard maatstaf is voor het begrip "resource". Dit is overgens ook een andere zijstraat van het AlmereGrid project om dat uit te zoeken.
Het valt me op dat er steeds meer bedrijven de term Grid te pas en te onpas gebruiken. Het lijkt wel weer op dat geneuzel met e-Commerce, e-Business en e-Whatever. Hierdoor krijg je weer onzettend verschillende soorten uitleg voor de term Grid en is het einde zoek. Hoewel het Global Grid Forum (GGF) zwaar bezig is hier een standaard voor te formuleren wil dat niet erg lukken door de bekende politieke en economische zaken en/of valkuilen.

[hardwareaddict]

Grid computing is natuurlijk ontzettend interessant.

Een paar problemen edoch:
a) veel voor bedrijven belangrijke problemen zijn niet embarrassingly parallel. Dat geldt ook voor de spoorwegen (roosteren/logistiek is lastig te parallelliseren).
b) de belangrijkste reden: men heeft er het geld niet voor over om software te laten ontwikkelen die gebruik kan maken van grid computing
c) het is enorm lastig om EFFICIENTE grid computing software te bakken. In heel Nederland zijn er maar een handvol experts die zulke EFFICIENTE software kunnen ontwerpen
d) grid computing is niet realtime. Het is alleen interessant voor problemen waar je jaren op 1 probleem rekent. Superoninteressant zijn dus dingen als spelletjes (je hebt gelimiteerde tijd per zet), weersvoorspellingen (als je 3 jaar rekent om het weer van morgen te voorspellen, ben je 3 jaar te laat met die voorspelling)
e) als een bedrijf wel geld over heeft voor een bepaald probleem (naar olie zoeken bijvoorbeeld), dan is grid computing zeer onbetrouwbaar en rekenen op een cluster veel efficienter.

Een supercomputer van 5000 processors (bijvoorbeeld een IBM supercomputer of een Cray supercomputer) kost maar 15 miljoen euro.

Daar komt dan nog een paar miljoen vaak bij.

Dat lijkt enorm veel, maar is het niet als het gaat om het zoeken naar dingen die miljarden kunnen opleveren.

Een Orion computer, kast van rond de 70 kilo, die kost onder de 100k dollar. Zitten 96 processors. Ideaal voor embarrassingly parallel software.

Een 12 processor (= 1 node) Cray XD1 met 2.6Ghz opterons, kost rond de 50000 dollar (als je er maar 1 koopt).

Spotprijsje voor een bedrijf natuurlijk.

f) de enige echt superinteressante dingen om op te lossen voor gridcomputing zijn vaak langlopende wiskundige problemen. Daar is bijna geen geld mee gemoeid dus. Een project als GIMPS is een goed voorbeeld (=prime95)

[VisionMaster]

Wow ...
Grid Computing is zelfs nu al wat interessanter dan dat jij doet voortkomen.
a.) Bedrijven kunnen verschillende losse rekenopdrachten en LargeFile distrobution problemen (renderen van 3D modellen op basis van bepaalde gegevens, analytische problemen, logistieke problemen dus met veel variabelen) op het magische Grid afsturen en deze laten doorrekenen. Gebruikmakend van resources waar je rechten toe hebt (waar je al dan niet voor betaald hebt in goed overleg). Stel dat je eigen workstation niet voldoende geheugen of disk heeft om het te berekenen, of omdat jij niet een Itanium op je bureau hebt staan, of omdat je een MPI-enabled cluster niet naast je bureau hebt staan, dan kan je je opdracht (je 'Job') versturen en de volgende dag ophalen en mee verder kloten.
Zonder dat jij meer dan een netwerkverbinding hebt naar een Resource Broker (of een ander WorkLoadManagement systeem).

b.) Soms is het praktisch onmogelijk om iets met Grid Computing te doen (spreadsheets maken...) geef daar dan ook _geen_ geld aan uit en blijf helder denken. Grid is niet een heilige graal die je in ieder bedrijf terug moet vinden...

c.) Kom eens een keer een tutorial bij wonen voor een look-and-feel van een Grid (wetenschappelijk getint). Misschien dat je dan wat meer inzicht krijgt in de grote bedrijven die ook hun oogjes open houden voor mogelijke Grid toepassingen
Over een jaar vanaf nu kom ik in de arbeidersmarkt terrecht... *HINT*

d.) Grid Computing is niet real-time, maar je kan het wel interactief maken. Het VL-E project (Nederlands Grid Project) oogt naar visualisatie problematiek die met Grid technieken bepaalde handelingen laat uitvoeren.
Games in een Grid is leuk als je spelletje bepaalde meer waarde kan krijgen in bijvoorbeeld Massive Multiplayer Games.
Ook hier kan het meer gaan om Grid technologie dan een Grid zelf voor resource sharing/balancing.
Voor weermodellen weet ik dat in den landen pogingen worden gedaan om de huidige (relatief oude) algoritmen om te gooien op een Grid deployable manier. Bij het KNMI wordt hier iig over gedacht, ik ken ik geen stadia of time-lines in.
Wel wordt er o.a. door het KNMI met een sateliet sensor de luchtlagen in kaart gebracht en moet dit meer input opleveren voor de huidige weermodellen.
Nieuwe weermodellen voor een Grid omgeving zal nog wel even op zich laten wachten tot dat gebruikt wordt (al is de Grid methode per definitie van de techniek ten opzichte van Super Computing schaalbaarder).

e.) Wat is the Grid? Dit is een infrastructure laag boven op de verscheidene resources plakken (zoals vooral juist clusters!).
Rekenen op clusters (met MPI denk ik dat jij bedoeld) kan dus hetzelfde betekenen als je je Job verstuurd naar een cluster dat aan bepaalde eisen voldoet (MPI-enabled, x-aantal nodes gekoppeld in 1 partitie, you name it).
MPI-cross clusters (in long distance) is volgens mij nog niet gedaan en anders niet noemenswaardig geweest om te publiceren...
Dit zal veranderen als Lambda technieken (layer-1 'switching' van dikke fibers een beetje meer gaat gebeuren ).
Bij Grid kan je zelf een cluster opzetten en de resources sharen. Als jij niets doet kan de ander dat dan weer gebruiken. En vice-versa (in overleg en/of tegen (geen) betaling).
En ja ... Grid Computing is geen Super Computing. Heel ander niveau waarop de resources worden gekoppeld. Een Super zou een resource zijn in een Grid (gaat nog wel eens gebeuren in de nabije toekomst).

Dus, je hoeft dan niets meer te kopen, maar (in de IBM term...) On-Demand resources aanspreken. Dit scheelt je naast de aanschaf ook de inhuur van de nodige sysadmins die achter gebroken disken en runaway zombies aanrennen..

f Je beschrijft nu een Distrobuted Computing oplossing in de richting van application computing. Dit is geen Grid. Er is weinig tot geen intelligentie van de infrastructuur nodig om zoiets te laten werken en het probleem gebied speelt bij projecten als GIMPS zich op andere vlakken dan Grids.

(poeh ... mijn vingers tintelen gewoon van zulke reacties )