Shell bouwt 's werelds grootste Linux supercomputer

Onze Koninklijke Shell heeft aangekondigd dat het de grootste Linux supercomputer van de wereld gaat bouwen. De supercomputer bestaat uit een cluster van 1024 IBM X-Series servers, die wordt ingezet voor geografisch onderzoek naar olie en gas reserves. Als Linux distro wordt gebruikt gemaakt van Red Hat. Het systeempje wordt in januari door IBM geïnstalleerd op één van de Nederlandse locaties van Shell:

Linux, the free computer operating system, is expected to win another high profile victory on Tuesday when Anglo-Dutch oil company Royal Dutch/Shell (RD.AS) will announce it is going to install the world's largest Linux supercomputer.

Shell's Exploration & Production unit will use the supercomputer, consisting of 1,024 IBM X-Series servers, to run seismic and other geophysical applications in its search for more oil and gas.

Reacties (85)

[Verwijderd]

Deze supercomputers leveren zeker veel geld op, deze rekenbakken worden vooral door research gebruikt, waarbij stromingspatronen in apparatuur gecombineerd met reacties worden nagerekend en gemodelleerd. De daavoor gebruikte rekenmodellen zijn al twintig jaar geleden uitgevonden, maar nu wordt het pas betaalbaar om de daarvoor benodigde rekenkracht te kopen om het in een a twee weken uit te rekenen.

Deze modellen leveren een ondezoeker waardevolle data op, omdat hij een fabriek van 200 miljoen tot een miljard goed door kan rekenen, zodat er geen problemen ontstaan als hij ook werkelijk wordt opgestart. Als een fabriek D.O.A is dan kost dat makkelijk een jaarwinst, dus Shell heeft er zeker baat bij dat dat doorrekenen goed gebeurt.

[Verwijderd]

Deze supercomputer zal niet worden gebruikt om fabrieken door te rekenen, maar om seismische meetdata om te rekenen naar plaatjes.

De zgn. 2D 'shot-records' (reflectie-opnamen van de bodem) worden geprocessed naar plaatjes waaruit af te leiden of er olie/gas in de grond zit. Hiervoor moeten bijvoorbeeld reflecties tussen grondlagen (multiples genaamd) uit de data verwijderd worden. Ook wil je graag focusseren op een bepaalde laag, waarvoor je de oppervlakte-data moet migreren naar de bodem (golfveld-extrapolatie). Dit zijn allemaal zeer rekenintensieve operaties, die vrijwel altijd in het frequentiedomein of wavenumber domein plaatsvinden. Als je daarvoor enkele GBytes moet FFT-en, dan heb je graag een SMP-computer (met 1024 processoren)!

(Ik spreek uit ervaring ;-)

[goodfella]

Een SARA dude heeft me ooit eens verteld dat ze complete gebieden met "The Cave" kunnen simuleren waarmee je vette onderzoeken kan doen.

Het gebied waar ze dan gaan opereren kan dan van alle kanten bestudeerd worden.

[Ralph Smeets]

Ik denk Niels 'n boortoren bedoeld als fabriek. Ik ben zelf helemaal niet thuis in het olie-milieu, maar ik heb alleens gehoord of gelezen dat 'n proefboring nogal 'n behoorlijke kwak geld kost.

[aKra]

Correct, stel je voor een fabriekje neerzetten voor 200 miljoen en dan een foutje dat je hem stil moet leggen... Wel degelijk handig dan zo'n PC...

[balk]

Stromings modellen zijn idd errug complex. Je zit al gauw aan n simultane differentiaalvergelijkingen waarbij n niet een getal onder de 10 en ook niet onder de 100 is. Dan heb je ook nog heel veel randvoorwaarden, uitzonderingen, moeilijk moeilijk moeilijk. Komt zo'n rekenmonster best van pas!

Zo kan je goedkoper berekenen waar iets zou kunnen zijn ipv proefboringen doen. Dat scheelt weer een hoop gezeik met overheidsinstanties en milieuactivisten.

[Verwijderd]

En kom nou niet met die grappen, die zijn zolangzamerhand wel een beetje afgezaagd

Maar wat zou zo'n computer wel niet kosten? En aan stroom? Zou dat er wel uit kunnen bij Shell, de kosten zullen toch echt hoog zijn, hoger dan de opbrengsten???

[sju]

niet uitkunnen bij shell??? ALLO??? alles goed?
zo'n cluster is voor Shell echt helemaal nix!!!
als zo'n cluster een nieuwe gasbel kan vinden, verdient hij zich VEEEELE malen trug

[speedwell]

Ja, maar hij vroeg zich toch af hoeveel die computer wel NIET zou kosten.

[Verwijderd]

Maar wat zou zo'n computer wel niet kosten? En aan stroom? Zou dat er wel uit kunnen bij Shell, de kosten zullen toch echt hoog zijn, hoger dan de opbrengsten???

* 786562 marnix

[Verwijderd]

Kost vast héél véél, maar ze zoeken ook het "zwarte goud". En geloof me dat is het vast waard!


* 786562 TonyTone

[TheGhostInc]

* 786562 TheGhostInc

[Maarten Blom]

Ik vindt dat zo'n supercomputer niet voor dit soort doeleinden mag worden gebruikt!

[cappie]

je moet niet zo zeuren, mostatic.. meer dan 50% van je hele computer is gemaakt van aardolie producten..

de hele samenleving draait om aardolie producent nu ik er wat beter over nadenk..

Shell: goeie zet.. fijn dat jullie Linux weer eens in een goed licht zetten

[Maarten Blom]

Mmmmmmmmm, dat maak ik nog ALTIJD WEL ZELF UIT !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

Beetje RESPECT JA VOOR ANDERMANS MENING !

[Maarten Blom]

Oh ja en haal als de SODEMIETER DIE PORNO PLAATJES VAN JE SERVER VIES VENTJE !

[wolffman]

preutse harry, ook zielig dat je dat zo moet reageren: iemand z'n homepage is zijn eigen zaak en heeft niets te maken met wat ie hier heeft te melden. daar ben je het mee eens of niet, dan begin je niet meteen te roepen; ja eh nee jij bent een ontzettende... (of zoiets).
ps SCHREEUWEN IS OOK NIET NETJES.

[Verwijderd]

Ach ja
Zolang Shell het nog steeds beter voor heeft met het milieu als Greenpeace (zoals toen met de Brant Spar) vind ik alles best...

En daarnaast kan iemand bevestigen of dit ding in Rijswijk komt te staan.... (Daar waren ze namenlijk wel al een tijd aan het denken over zoiets)

[TheOneLLama]

En je houd zeker ook niet van hoge benzine prijzen enzo.. en je Athlon gebruikt ook lekker 300 WATT de hele dag lang voor je

Ok bij jou klopt daar vast weer niks van maar veel mensen hebben wel zo'n hypocrite houding


* 786562 TheOneLLama
maar om nou te zeggen dat ik dat voor het mileu doe nee dat zou pas echt hypocriet zijn...

[aatos]

Een athlon gebruikt echt geen 300 watt de hele dag.. misschien 100 watt ofzo als je hem 100% belast (koe).

Ik neem aan dat je met de OV ook met de trein reist? Treinen zijn niet bepaald milieuvriendelijke dingen. Als je kijkt naar de gemiddelde bezetting van de trein (laag), de energiebron die gebruikt wordt (elektriciteit, niet logisch, want dan heb je aan alle kanten rendementsverlies, namelijk in de centrale waar de energie gemaakt wordt, het transport, en in de trein zelf.

Het verschil met de auto is klein, moderne zuinige auto's zijn zuiniger, en bussen en vrachtwagens helemaal.

[uibeltje]

Als je kijkt naar de gemiddelde bezetting van de trein (laag),

HAHAHA!! Hmm, waarom heeft de NS laatst voor miljoenen extra treinstellen besteld

[Verwijderd]

Dit geeft in ieder geval weer eens een bewijs dat het met de TCO (total cost of ownership) van linux goed zit. Ik dacht btw dat www.google.com/ een nog grotere linuxcluster heeft staan, dus dat die van shell niet de grootste ter wereld is.
Aangezien er weer voor redhat gekozen is verwacht ik dat de support voor linux flink meetelt in de keuze. Redhat voert een heel goed beleid op dat gebied.
{edit: thnx JJ}

[Jasper Janssen]

Google zegt zelf:

Google runs on a unique combination of advanced hardware and software. The speed you experience can be attributed in part to the efficiency of our search algorithm and partly to the thousands of low cost PC's we've networked together to create a superfast search engine.

Men zegt niets over linux of iets anders, maar (met behulp van google ) vinden we op slashdot dat er bij google een 4000 nodes redhat cluster is. Er wordt niet verteld wat voor PCs er draaien, maar er wordt gezinspeeld op el-cheapo doosjes. De dozen waar het hier om gaat van ibm zijn x-series ( www.pc.ibm.com/us/eserver/xseries/ ), maar dat zegt weinig, die heb je van single pIII tot octal xeon.. Waarschijnlijk gaat het hier wel over relatief dikke bakken. Minstens dual PIII, waarschijnlijk quad Xeon.

Als degene die werkt waar dit ding wordt geinstalleerd kan vertellen wat voor rackdoosjes ze inzitten kunnen we daar al wat uit afleiden: 1U, 3U, 4U, 8U?

[ACM]

De machines worden 1U hoog... en gewoon single CPU.
in de trant van p3-866+512MB ram met een 9gb scsi harddisk met RH6.2

Wel vreemd is dat ik gehoord heb dat ze er 1500 (of beter nog 'zoveel mogelijk in die beperkte ruimte' wat dan 1500 2U machines of zelfs 3000 1U machines betekende) en dat er dan nu maar 1024 staat...

Maja, meer weet ik er ook niet van (en dit is al redelijk uit 'de eerste hand' )

[MM]

waarschijnlijk quad Xeon

* 786562 stefana3a

[Verwijderd]

De kosten van stroom zal wel niet het probleem zijn voor Shell. Wél de hoeveelheid. In Nederland is nu al een tekort aan elektriciteit en koopt men van kerncentrales uit België. In Diemen-Zuid worden nu al geen nieuwe internet warehouses geaccepteerd.

[Verwijderd]

In Nederland is nu al een tekort aan elektriciteit en koopt men van kerncentrales uit België.

Nou nou, zo erg is het niet. Alleen in Diemen-Zuid is er te weinig infrastructuur om nog meer stroom te leveren. En over kerncentrales in Belgie, dat gebeurt al jaaaaaren, met name 's nachts, want dan kost het (bijna) niks. Een kerncentrale zet je namelijk niet zo makkelijk uit als een gasturbine.

[aKra]

*ZAAG ZAAG ZAAG...*

[Jordi]

Maar wat zou zo'n computer wel niet kosten? En aan stroom?

* TonyTone houd niet van milieu vervuilende super concerns

Nou... als je in Amerika had gezeten, had je een rechtzaak aan kunnen spannen. Wie weet had je wel gelijk gekregen en had de directeur de elektrische stoel gekregen... en dat doen ze met stroom

[cappie]

electrische stoel? nee joh.. met gas.. veel schoner voor het milieu.. 't is weer re-useable (na 't uit de gaskamer te hebben gezogen) en nog goedkoper ook!

[Franckey]

Kosten zijn geen probleem voor Shell. Zo gooien gewoon de benzineprijs omhoog... Dus als wij tanken sponsoren we gewoon die supercomp.

[Verwijderd]

denk nou eens zelf na wat je zegd? groter dan de opbrengsten, van SHELL joh die heebbe geld genoeg

[aKra]

Dacht ik dus ook meteen aan, zie post hieronder

[MM]

zeker wel,
stel, in 1 server zit 4x een Xeon, zeg maar wat
ga maar uit van 2,5Mkeys/s dus 10Mkeys/s/server

Dus dan hebben we 10 Gkeys/s dus dat is
10.000 Mkeys/s

en dat is ongeveer 10k*300= 3M blokkies per dag.
Dat is evenveel als heel DPC bij elkaar!


* 786562 stefana3a

[Verwijderd]

verrassend dat ibm niet aan komt zetten met een mainframe variant van linux

[Ralph Smeets]

IBM ondersteund allang Linux op hun AS/400 series van mainframes.
Daarnaast kun je voor Linux as OS kiezen voor hun servers die ze verkopen.

[Jasper Janssen]

Voor waardes van "allang" die nogal lijken op "sinds kort". Vooral de ondersteuning is pas sinds enkele maanden.

[Verwijderd]

ja, ik weet dat ibm een s390 versie van linux heeft, vandaar mijn opmerking
overigens is een as400 een mini, geen mainframe.

ik ben gewend om ibm te horen roepen: weet u wat, als wij wat bij u gaan doen dan rijden we liever van die grote monsters naar binnen dan een x86 oplossing. en dus verbaast het me dat ze hier voor een mega x86 oplossing kiezen
het blijft leuk natuurlijk

[ijdod]

Mja, maar Shell is een dusdanige grote jongen, dat IBM daar wel voor wil inschikken.

Shell "Wij willen 1000 x86 dozen in een cluster"
IBM "Nah, onze grote dozen zijn beter, wij stellen voor blah blah"
Shell "Wat was het nummer van Compaq/HP/Dell/enz ook al weer"
IBM "Hoeveel wilde je er ook al weer hebben?"

[mr_a]

AS/400 zijn computersystemen met Mainframe achtige toepassingen (en gedragingen), maar draaiend op hardware die weer meer weg heeft van UNIX systemen.

Ik heb niet gehoord dat ze iets mer Linux op de AS/400 doen. Volgens mij kan dat ook niet. Bij de S/390 is het relatief eenvoudig, die dingen bevatten in de hardware enorm parallellisme om virtuele machines te creëren. Volgens mij kan de AS/400 dat niet evenmin als de RS/6000 dat doet.

offtopic:
Het is natuurlijk mogelijk Linux te porten naar RS/6000 hardware (bv PowerPC 604 machines), net als naar PowerPC macintoshes.Overigens doen moderne RS/6000 systemen wel aan virtuele machines en zou je dus makkelijk kunnen experimenteren met Linux.

[Verwijderd]

IBM is wel bezig met linux op AS/400's. (dmv LPAR's - Logical Partitions)
Het is uiteindelijk de bedoeling om Linux te gaan ondersteunen op de hele eServer serie (voorheen Netfinity, NUMA-Q, S/390, AS/400 en RS/6000)
AS/400's draaien overigens ook op PowerPC cpu's (Northstar, Pulsar, Power3)

[Jit]

Als 't om processorkracht gaat, dan worden zelfs de meest moderne mainframes nog aardig bijgebeend door m'n goeie ouwe PII-350.
Die dingen zijn meer gebouwd om bagger veel transacties uit te voeren, op databases enzo. Ergo, geoptimaliseerd op bandbreedte enzo.
Als je dan een FFT wilt laten uitvoeren kun je een paar eeuwen wachten voor ie eens een resultaat levert.

[Ralph Smeets]

Das waarom je S/390s en AS/400s dan ook heel veel tegenkomt op de personeels administratie en de in/verkoop afdeling. Deze jongens hebben namelijk geen behoefte aan rekenkracht, maar aan database en transacties.

Zo'n Linux cluster heeft echter veel rekenkracht nodig. Daar het x86 platform veel rekenkracht kan leveren voor 'n lage prijs, is het dan ook logisch dat Shell dit als oplossing kiest.

[jacobvdm]

Red Hat?

Debian is dan toch een stuk krachtiger, zeker als het om dit soort applicaties gaat

[odysseus]

Ja en nee: het systeem van Debian is wel beter (naar mijn mening) maar er is geen officiele support voor, in tegenstelling tot RH. Die bieden wel ondersteuning, wat voor dergelijke grote bedrijven gewoon noodzakelijk is. Vandaar dat bijna alle bedrijven voor RH kiezen.

[Verwijderd]

Niet echt. Debian & Red Hat maken gewoon gebruik van de (bij RH iets wat aangepaste) linux kernel en(bijna) zelfde libs. En ze schoppen alle overbodige programma's er toch wel af, dus dat de standaard install van RH veel te veel shit installed en auto opstart maakt dan niet uit.

[ACM]

Als je geen ervaring met Debian hebt, maar wel met RedHat clusters dan ga je natuurlijk niet nu plotseling debian gebruiken (en ja, ze hebben ervaring met rh clusters)

[Verwijderd]

Hmmmm, waar zal de open-source gemeenschap meer waarde aan hechten, het milieu (voor de nodige ideologie waarmee de open-source aangeprezen wordt) of Shell (energie voor de computertjeŽs en andere gemakken waar ik ook niet van af zou willen)?

[Verwijderd]

Wat heeft de open source ideologie te maken met een milieu ideologie ik zie de logica niet.
Wat ik wel zie is dat een grote firma als de Shell schijnbaar vertrouwen heeft in Linux en dat is niet slecht voor de opensource ideologie.

[Verwijderd]

Dat er in het leven ook andere dingen dan geld belangrijk kunnen zijn...

[Verwijderd]

maar daar gaat de hele opensource toch om het kost nl geen of weinig geld ik dus nog steeds je punt niet.

[Klovan]

Jammer, er kan geen Pentium 4 in

[[BoSS]]

er kan geen Pentium 4 in

Juist wel, ze gaan Redhat draaien, en wat staat daarover op athena.tweakers.net/nieuws.dsp?ID=14838 ? Dat RedHat het juist wel doet, als één van de weinigen....

LinuxGram meldt dat Intel heeft bevestigd dat momenteel alleen Red Hat 7.0 en TurboLinux 6 op P4 systemen geïnstalleerd kunnen worden

[ACM]

Ik ben bang dat er geen p4 in een 1U hoge(lage) kast past... en ik denk ook niet dat ibm er in een maand tijd zomaar even 1000+ kan leveren

[Verwijderd]

die worden ingezet voor geografisch onderzoek naar olie en gas

MMm het zal wat haalt dat ding Olie uit de grond voor je nee vast niet.
Zorgt dat dat de benzine morgen een duppie zakt nee dat ook niet.

Ik zie het al voor me een nieuwe pulspaal en je moet gelijk een nieuwe kernel bakken.
linke soep met die olie

[aKra]

<funny>
"linke soep met die olie"

Zeg dat wel, als je olie als soep neemt dan is het zeker LINKE soep!
</funny>

[woutur]

Was het niet zo dat Red Hat de clustering software (als enige, als ik mij niet vergis) bij zijn distributie levert en dat Shell daarom daarvoor gekozen heeft?

[Jit]

Neuh. Er is zelfs een distro die zich speciaal op clustering richt.
Er staat me overigens bij dat ik recentelijk dingen voor clustercomputing in de grote brij debian packages zag staan.

't Is eerder dat RH degene is die met de meeste bedrijven (wo big blue) contracten heeft om ondersteuning te leveren. En clustercomputing is daar een onderdeel van.

[Verwijderd]

Ach, tegenwoordig zit bij de meeste distro's wel de benodigde software om een clustertje te bouwen hoor, da's niet alleen meer het domein van RH!

Uitzondering op de regel is natuurlijk de Alpha AXP, die regelmatig in Beowulf-clusters gebruikt word, die wordt alleen onderdsteund door RH en SuSE.

En bovendien is alles ook makkelijk te downloaden, dus als je 't wil hebben is 't helemaal niet moeilijk te krijgen

Voor de liefhebbers: klik eens op www.beowulf.org

[megro]

Stroom zal geen probleem zijn denk, plant gewoon een zoot dieselgenerators neer. brandstof zat..