Cookies op Tweakers

Tweakers is onderdeel van DPG Media en maakt gebruik van cookies, JavaScript en vergelijkbare technologie om je onder andere een optimale gebruikerservaring te bieden. Ook kan Tweakers hierdoor het gedrag van bezoekers vastleggen en analyseren. Door gebruik te maken van deze website, of door op 'Cookies accepteren' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt? Bekijk dan ons cookiebeleid.

Meer informatie

Door Daniel Kegel

Verslag bezoek aan Genesis-cluster

OS en software

Shell streeft een gebruik van opensource software na. Daarbij worden ook (indien nuttig of van toepassing) door Shell zelf ontwikkelde tools publiek gemaakt. Het complete cluster draait op Red Hat 6.2 met uitzondering van de Sun machine, die uiteraard op Solaris werkt. Mocht men de besturingssystemen willen upgraden (voor GPFS ondersteuning bijvoorbeeld) dan kan dat in een half uurtje geregeld zijn. Gelukkig is het in dezelfde tijd ook weer te restoren naar het oude OS .

*Parallelisatie software

Een van de meest gebruikte omgevingen voor het rekenen op grote (parallelle) systemen is MPI (Message Passing Interface). De door Shell gebruikte implementatie is Mpich, maar Cray heeft bijvoorbeeld een eigen geoptimaliseerde variant voor hun supercomputers. Naast of bovenop MPI kunnen weer andere libraries draaien, zoals bijvoorbeeld PETSc (Portable, Extensible Toolkit for Scientific Computation). Bovenop MPI draaien allerlei rekentools en programma's van Shell, waarbij sommige jobs wel een week of 4 (!) kunnen duren. Voor de job scheduling wordt gebruik gemaakt van PBS, dat voor de toewijzing van de verschillende resources zorgt. Je kunt bijvoorbeeld 50 nodes reserveren voor een bepaalde rekentaak.

*Conclusie

Eén van de vragen die ons bezighield, is de vraag waarom Genesis nu eigenlijk het snelste cluster is. De top vijf van de Cluster Top 100 bestaat geheel uit machines met 1024 CPU's. Desondanks is de Genesis toch het snelst en wel om de volgende redenen:

  • De Genesis heeft net iets meer CPU-power, behalve vergeleken met nummer 2. Deze heeft echter twee processors per node en dat betekent de gebruikelijke verslechtering van de performance-scaling voor multiprocessor machines.
  • Er is geen machine die meer RAM geheugen per CPU heeft dan de Genesis. Enkele dual processor machines hebben 1024MB, maar dit is nog steeds slechts 512MB per CPU.
  • Volgens zeggen zijn Myrinet netwerken sneller dan Gigabit ethernet netwerken. In de praktijk valt dit wat tegen en de topologie van Genesis is ook nog eens behoorlijk geoptimaliseerd.
  • De Genesis beschikt over een Raid 0 van twee snelle 36GB schijven. Dit levert natuurlijk een snellere swap en ook snellere toegang tot de files op. Daarnaast heeft de Genesis ook nog meer schijfruimte op de nodes, dus kan er meer data opgeslagen worden en blijven. Dit scheelt extra distributies en benaderingen via het netwerk.
Disclaimer: alle afbeeldingen zijn © by Shell.

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Reacties (137)

Wijzig sortering
Erg leuke review. Ik blijf van die gigantische systemen interessant vinden :).

Klein puntje:
In bijbelse termen staat "Genesis" voor de creatie van de kosmos en de aarde.
De aarde is ook onderdeel van de kosmos (= Grieks voor "wereld, geordende werkelijkheid"). :)
kosmos (= Grieks voor "wereld, geordende werkelijkheid")
[off-topic]Wel leuk dat dan juist de kosmos de grootste chaos kent.[/off-topic]
Wel leuk dat dan juist de kosmos de grootste chaos kent.
offtopic:
De Kosmos is geschapen uit de Chaos volgens de Griekse mythologie...
Verbaast me dat RAID 0 wordt gebruikt. Komt de redundancy niet ten goede toch?
Maar ja wat wil je met 1024 PC's, als er dan 1 of 2 uitvallen, dan heb je er nog ruim duizend om het op te vangen, en dan haal je die gevonden processor tijd gewoon in door 's nachts het hele zaakje gewoon door te laten draaien... ;)

Dit geeft voor mij wel de doorslag om in de toekomst met 4 IDE schijven gewoon RAID 0 te draaien IPV RAID 10
Met 1024 nodes, maakt het je geen niks uit, dat er af en toe een uitvalt.
Er komt binnen een dag wel weer een vervanging dan ;)

Die ene processor mis je dus niet.

4ide-disks past niet zo lekker in een 1U kast, dus zou je er weer 2U van moeten maken (met als gevolg dat het cluster gelijk letterlijk 2 keer zo groot wordt)
Bovendien is schijfruimte niet zo'n heel erg grote issue.

Raid1 is gewoon volslagen zinloos, de data staat nog op 1023 andere nodes, en op de management nodes/tapes
Maar hebben ze nu ook 1024 volstrekt overbodige CD-ROM drives aangeschaft? (100.000 piek aan overbodige hardware). Kan me voorstellen dat Shell niet zo op de centjes hoeft te letten...
Dat is ons achteraf nog uitgelegd.

Die zijn er voor onderhoud in geplaatst. Als een harddisk crasht (tenslotte het gevoeligste onderdeel van zo'n node) dan kan je met weinig moeite er een nieuwe induwen, een cdrom in de drive en reboten. Een kwartier later is ie dan volledig geinstalleerd op de nieuwe harddisk :).

Als je eerst een cdrom-drive moet inbouwen is dat wat onhandiger. En er is voor cdroms gekozen, omdat een foutje in een bootup-image in netwerkkaarten wat lastiger te verhelpen is, dan een foute cdrom.
Bovendien ontlast installatie via CD-ROM het netwerk weer een beetje :P
[quote] en dan haal je die gevonden processor tijd gewoon in
door 's nachts het hele zaakje gewoon door te laten
draaien... [\quote]

Ik denk niet dat ie ooit uit zal zijn of idle, dat ding draait 24x7.
Net als vroeger toen systeembeheerders ook nachtenlang
met ponskaarten naast de machine moesten blijven staan om
"'m bezig te houden" is deze veel te duur om niet bezig te zijn.
Bovendien stond in het artikel dat sommige jobs wel 4 weken duren.
Wat een troll maar weer...

RedHat biedt nou eenmaal, in tegenstelling to vele andere distro's, duidelijk support.
En als vervolgens IBM adviseert om RedHat te nemen op dat cluster, dan zal Shell daar niet gauw nee tegen zeggen.
Zowiezo wordt er veel linux gebruikt (bij mijn weten allemaal redhat) en dat draait allemaal stabiel.

Deze machines zijn _niet_ bedoeld voor een hoge load, maar voor een continue load, linux doet dat net zo goed als *BSD en wederom, voor (redhat) linux durven bedrijven iig support te geven.
Shell onderhoud het cluster niet, dat doet IBM in principe...

De reden van die Sun doos? Tsja, er was een server met capactiteit nodig en toevallig was er een Sun server "over" (niet over, maar werd opgeofferd, zo ik begrepen heb)

Overigens is Solaris 8, tegenwoordig toch gratis bij de aanschaf van Sun hardware??

De Google-aanpak is leuk, maar niet voor een parallele computer, zo'n wijdverspreide "bak" presteerd voor geen meter zeker niet met de algoritmes van Shell, omdat de netwerksnelheid heel snel instort (en laten we over de prijs van al dat netwerkverkeer ook maar zwijgen dan)

Overigens zijn deze IBM bakkies, in principe _wel_ el'cheapo pc's, maar dan wel met goede service contracten en relatief goede en snelle hardware...

Een groot bedrijf wil niet alleen maar snelheid, maar ook service.
+1Anoniem: 7747
28 juli 2001 13:56
Ik snap niet wat Shell nu nog moet met zo'n DURE computer, als waarschijnlijk binnen enkele tientallen jaren de olie op is :? :?

Laat ze het geld in ontwikkeling naar alternative brandstoffen steken ofzo?

Eppie
Ik snap niet wat Shell nu nog moet met zo'n DURE computer, als waarschijnlijk binnen enkele tientallen jaren de olie op is
Wat is duur?
Als je kijk wat voor een processingpower je krijgt en wat een 'echte' supercomputer kost, krab je je nog wel een paar keer achter je oren.
Met een config als deze zijn ze goedkoper uit, uitermate goed schaalbaar, flexibel, en over die 'enkele tientallen jaren' bestaan deze systemen helemaal niet meer en daarbij zijn deze systemen al in z'n geheel afgeschreven in een periode van een jaar of 3 - 4, en zelfs dan heeft een configuratie als deze nog steeds zijn functionaliteit.
Laat ze het geld in ontwikkeling naar alternative brandstoffen steken ofzo?
We zeggen voor het gemak Shell, maar Shell bestaat uit tig divisies, oa. Shell Renewables, Shell Solar en Shell Hydrogen.

Shell doet meer dan je denkt aan alternatieve brandstoffen.
Dan hebben ze het nog niet gehad over de 657.000 gulden per jaar voor de elektro rekening als ik er van uitga dat een KWH een kwartje kost.. Maar misschien heeft shell wel korting :)
12.5 cent hoog
6.5 cent laag
Betaal ik tenminste bij een constant vermogen van 150 KW (grootverbruik) 3x350 A aansluiting.
Shell koopt zijn stroom per MW, op de Amsterdam Energy Exchange...
dat is een soort beurs voor stroom. dit weet ik toevallig, omdat mijn pa die mede heeft opgericht.

voordeel hiervan is dat je tegen de laagste prijs van elke leverancier kan kopen (dus ik kan stroom uit griekenland kopen in Rotterdam... bijvoorbeeld)
heel simpel.
Shell koopt natuurlijk wat meer tegelijk in, en krijgt het dus goedkoper dan jij en ik.
+1Anoniem: 1861
@ACM13 juli 2001 13:44
shell heeft haar eigen energiecentrale.
pas nog een nieuwe 750 MVA transformator voor hun gemaakt hier bij mij op het werk ;)
is het allergoedkoopste.
Euhmz?
Waarom wordt ons iets anders verteld door Shell dan? ;)

Ze kopen gewoon hun stroom in, lijkt me. Maar krijgen dat uiteraard niet via een standaard aansluiting binnen (en daar zal de transformator wel voor zijn).

Misschien dat andere installaties (rafinaderijen bijv) wel een eigen centrale hebben.
Ze hebben wel eigen centrales, maar die leveren gewoon wat ze zelf niet gebruiken weer aan het netwerk(Nuon of weet ik veel wat daar zit), zodat ze weer stroom kunnen krijgen als hun eigen centrale uitvalt...zo verdienen ze er weer iets aan..
De meeste van die bedrijven maken meer energie dan ze gebruiken, maar in toptijden, of tijdens onderhoud nemen ze energie af..
Misschien dat andere installaties (rafinaderijen bijv) wel een eigen centrale hebben.
idd, al die grote fabrieken hebben hun eigen stroomvoorziening. Sterker nog, ze leveren eventueel stroom aan het net. Ze gebruiken ook hun eigen olie/gas om de boel te verwarmen
Jullie hebben er toch wel ff stiekem 'n koetje op geïnstalleerd?
1024x 1Ghz... dat is gewoon ziek veel extra rekenkracht voor DPC...

laten we er maar niet over verder dromen :)
Ik heb het even opgezocht het ding kan 922849 wu per dag naar d.net sturen.

[/dream modus=on]
Dat noemen ze oneerlijke-concurentie-overkill :9
Persoonlijke megaflush ;)

Als je dat ding nou een maandje laat sparen (toch HDD ruimte zat) dan achja gaat Distributed over z'n nek ivbm beetje teveel packets :)
Een klein probleempje, denk niet dat je dat allemaal op een flopy krijgt om te verzenden naar d.net, want ik denk niet dat dit ding aan het internet hangt!
Ik denk het wel. Hoe kan ie anders volautomagisch een e-mail sturen naar IBM ;)
Dat zou je wel gemerkt hebben aan de DPC stats dan :*)
Maar helaas, ook dat kon niet zomaar, onder het alziende oog van de begeleider ;)
+1Anoniem: 12305
@Tyrian13 juli 2001 16:26
Als je zo'n bak neer zet dan doe je dat niet voor de lol. (of het koetje).
Dus dat ding zal niet (of erg weinig) idle zijn, zodat het koetje niks berekent. ;)
Als je zo'n bak neer zet dan doe je dat niet voor de lol. (of het koetje).
Dus dat ding zal niet (of erg weinig) idle zijn, zodat het koetje niks berekent.
Normaal reageer ik niet zo snel in dit soort draadjes, maar nu moet ik toch ff ingrijpen: heb jij je koe op idle staan ?!?! Zet hem es ff snel op negen, en kom dan nog eens terug ! :P

;)
Eerst goed lezen kerel.
De Genesis is niet idle: hij is allemaal stuff aan het berekenen. Het installeren van }:O zou niet veel zin hebben omdat de koe, zoals je weet, werkt met idletime (overgebleven processorkracht). En aangezien er nix overblijft...
Hij bedoelt:

config

> 3. Performance related options
> 3. Priority level to run at

Als je die hoger zet gebruikt hij niet alleen meer idle tijd....
Genesis gebruikt gemiddeld zo'n 150 KW en produceert dus ook voor 150 KW warmte.
Erg knap, je stopt er iets in, er er komt hetzelfde vermogen aan warmte uit, en dan rekent'ie ook nog.

* 786562 Sir

offtopic:
Staattie nu wel goed? :o
Zullen we een wet opstellen en 'm voor de gein "wet van behoud van energie" noemen? :P
Mja, lijkt me een plan

* 786562 Sir

Maar ff serieus, niet alles wordt toch in warmte omgezet :?
tuurlijk wel warmte, je wilt toch niet zeggen dat er nog wat energie blijft vastzitten in het antwoord van zijn rekensommetje :P
Het draaien van de hardeschijven kost ook energie (het opstarten als ze eenmaal draaien gaat alle energie zitten in het opheffen van de wrijving en dat is warmte) Voor de rest zal zo'n computer ruimte alleen maar warmte opleveren en voor de rest niks.
* 786562 ultimate2
Er gaat hier een klein beetje energie (elektrontjes over koperdraadjes) uit het systeem doordat de informatie die geproduceert wordt (via arbeid zeg maar) eruit gehaald wordt. Maar ik betwijfel toch een beetje of dit te meten is ;)

Verder speelt op Quantum Mechanica de vraag of informatie nou een fundamentelere bouwsteen is, of dat materie (=energie) dat is. Ik bedoel, informatie wordt dan weer plots materie enzo, echt vaag!
Ik heb er nog even over nagedacht, en warmte is dus de grootste energievreter. Alle ander soorten straling zijn denk ik idd verwaarloosbaar (licht ed.).
Misschien dat de hd's nog wat energie slurpen, maar die geven natuurlijk ook warmte af.

Nog meer ideeen?
De koeling zelf produceert natuurlijk ook nog een beetje warmte, dat ook weggekoeld moet worden.

Grofweg komt het er dus op neer, dat je elke kilowatt verbruik moet compenseren met een kilowatt koeling.
(niet alleen maar fans dus, maar ook zware airco installaties)
Wordt die warmte ook nog gerecycled of gewoon buiten geloosd? Ik kan me voorstellen dat die energie in de winter gebruikt kan worden als verwarming van kantoren ofzo. En in de zomer opgeslagen in een warmteput.
Dan zou niet al die energie "verloren" gaan.
Is natuurlijk niet helemaal waar.

Warmte kan via radiatoren worden overgedragen aan "veilige" dragers...
En dan gaan langzaam aan alle werknemertjes ziek worden... Warmte afgegeven door computeronderdelen zit toch vol met ozon, en dat is toch wel weer schadelijk voor mensen, dus als je daarmee de vertrekken van je werknemers gaat lopen verwarmen krijgen ze allemaal ozon-vergiftiging, net iets minder direct dodelijk als koolstofmonooxide vergiftiging...

;)
Hotswap raid-0 is toch niet echt lekker..
Als er dan een schijf kapot gaat ben je al je data kwijt..
Daarom snap ik dat hot-swap dan ook niet helemaal want hij kan toch de raid niet rebuilden.
Zie reply van mij, een stukje omhoog.

Behalve een beetje data van een van de "huidige processen" raak je eigenlijk helemaal niks kwijt.
De rest van de data op de disks is gewoon algemeen verdeeld over alle nodes.
maar raid 0 is dus geen hotswap.. als je een van de twee schijven lostrekt dan is de hele array down.
Dus wat er eigenlijk bedoeld wordt, is dat het hot swappable SCSI drives zijn, die in een RAID 0 opstelling gebruikt worden.

Zo goed? :)
Tuurlijk zijn de disks wel hotswap.
Je hoeft de machine niet uit te zetten en open te schroeven om ze eruit te halen....

Dat je er je OS mee crasht is weer wat anders ;)

Squee zegt het dus goed.
Het rebuilden van een raid duurt langer als het installeren van een compleet nieuwe bak (een half uur volgens het verhaal). En aangezien alle berekende data toch centraal blijft maakt dat ook geen bal uit. Daarom dus gewoon lekker hotswap raid-0. :)

HEEEEEEEEEEELE geile server overigens :)
Als jhe Windows 2000 Advanced server pakt, of NT4.0 Enterprise heb je een wat vertrouwde omgeving die je als cluster kunt installeren....al kom je er vast niet mee in de Top 100 ;)

Maar errug leuk verslagje...loop met wat collega's redelijk op de hardware te geilen!

P.S.: Ik zag geloof ik iemand over IDE-RAID spreken...Dat ga je toch niet menen he...
Hot-Swap = SCSI
10.000 RPM = SCSI
Kwaliteit = SCSI
Dus definately geen IDE
IDE neemt processorcapaciteit in...SCSI heeft own intelligence, veel beter voor zo'n cluster! ;)
de mensen die deze cluster in elkaar geknutseld hebben zijn denk ik eerder gewend aan een *nix prompt dan aan een windows environement. B-)
Kan de netwerkomgeving dat eigenlijk wel aan: 1024 computertjes }>
O, jawel hoor, tot 65.534 (of zoiets, dat bekende getal) kan-ie hebben :)
in de top 100 staat 1 NT cluster op nummer 49... ;)
+1Anoniem: 1795
12 juli 2001 23:19
Goede review ACM!
En Daniel ..... bedankt ;)
Moet je trouwens T.T. ook meenoemen he ;)
Ik heb het tenslotte samen met hem geschreven.
+1Anoniem: 1795
@ACM13 juli 2001 09:44
Aha, hij heeft gewoon alles geschreven dus ;)
haha, nee ACM kwam met het idee en heeft de meeste reacties beantwoord, dus hem komt de meeste eer toe.
1 2 3 ... 6

Op dit item kan niet meer gereageerd worden.


Nintendo Switch (OLED model) Apple iPhone SE (2022) LG G1 Google Pixel 6 Call of Duty: Vanguard Samsung Galaxy S22 Garmin fēnix 7 Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2022 Hosting door True