Cookies op Tweakers

Tweakers is onderdeel van DPG Media en maakt gebruik van cookies, JavaScript en vergelijkbare technologie om je onder andere een optimale gebruikerservaring te bieden. Ook kan Tweakers hierdoor het gedrag van bezoekers vastleggen en analyseren. Door gebruik te maken van deze website, of door op 'Cookies accepteren' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt? Bekijk dan ons cookiebeleid.

Meer informatie

Door Joost Schellevis

Redacteur

Europees rekenwonder

Resultaten

Het EGI wordt actief gebruikt. Zo gebruikt het Nikhef zijn deel van het grid om proton-proton-botsingen van de LHC-deeltjesversneller te analyseren. Het Nikhef heeft daartoe een tier-1-verbinding met het CERN in Zwitserland. Voor het analyseren van die resultaten is dan ook aardig wat rekenkracht vereist, aangezien de LHC jaarlijks vijftien petabyte aan informatie produceert.

Maar ook onderzoek waarbij de volksgezondheid baat kan hebben, wordt door het grid ondersteund. Zo wordt het gebruikt om mri-scans van hersenen te analyseren en zo beter inzicht te krijgen in de oorzaken van de ouderdomsziekte Alzheimer. Taiwanese onderzoekers hebben het grid gebruikt om onderzoek naar de vogelgriep te doen.

Of neem het onderzoek van de Universiteit van Manchester over hoe dinosauriërs bewogen. Een onderzoeker maakte een computermodel van een tyrannosaurus rex en analyseerde aan de hand daarvan hoe snel hij vermoedelijk kon rennen. Het antwoord: circa 25 kilometer per uur.

Het grid is ook gebruikt na de aardbeving in Haïti. De servers comprimeerden satellietbeelden naar een formaat dat geschikt was voor internetverbindingen met weinig bandbreedte, zodat hulpverleners op hun mobiele telefoon over actuele plattegronden van de omgeving konden beschikken.

Arjen van Rijn van het Nikhef weet niet wat de bezuinigingen van de nieuwe regering concreet voor het Nederlandse deel van het grid gaan betekenen. Hij heeft echter goede hoop dat de infrastructuur structureel door de overheid zal worden gefinancierd. "We weten in elk geval voor de komende twee tot drie jaar wat we kunnen uitgeven."

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Reacties (81)

Wijzig sortering
Ook geinstalleerd door een Tweaker en zijn collega ;)
Systemen van Dell rack servers gekoppelt aan DDN storage.
Keuze voor de CPU's was makkelijk aangezien ze weinig reken werk hoefde te doen.
Was meer bedoelt voor de trough-put naar de disken, avg trough-put was per server meer dan 1,3GiBi/s in real-life testen.
Piekperformance lag tijdens initiele speedtesten op meer dan 4GB/s, alles via 10Gb ethernet verbindingen naar buiten en DDR IB naar de storage.
Dit alles was aan budget gebonden en deze gear is inmiddels jaartje oud (gebaseerd op eerste batch 2TB disken).
Met de tegenwoordige tech zou er richting de 8 tot 10GB/s haalbaar zijn (even niet kijkend naar het oude budget ;) )

Maar denk even wat er aan power zo'n compute rack in moet...
1 Dell blade voeding vraagt al snel 12 tot 14A, er gaan er max 6 in een chassis.
In de extreme gevallen (en die zijn er!) gaat er 192A per rack aangesloten worden.
Oplossing met 768A zijn in NL niet gek, maar wel uitzonderlijk.
(Dat zijn trouwens wel de machines waar je je koe op wilt hebben ;) )
De keuze bij SARA en FOM/Nikhef voor de lagere processor was meer een keuze van het NUON/Ziut/Alliander etc etc etc dan een performance keuze.
De definitie van TIER-1 had wel even toegelicht kunnen worden.

Wat ik tot nu toe gelezen heb is wat wazig. Het lijkt er op dat er een peer-to-peer netwerk is van Zwitserland naar NL A'dam Science Park is zonder tussenkomende internet providers.

De definitie wordt echter niet aan een standaard gehouden, zo lijkt het, en is daarom veelal misbruikt voor marketingdoeleinden.

Kan iemand het TIER-1 in dit geval nog even toelichten of toevoegen aan het artikel?

edit: kleine vraaguitbreiding aan het eind

[Reactie gewijzigd door fluxtras op 20 november 2010 10:32]

Over TIER-1 (en daarmee glasvezelverbindingen door Europa heen) zou ook een geheel artikel geschreven kunnen worden. VisionMaster noemt het een prive fibertje naar de grote datacenters, maar dat klopt niet helemaal; in Nederland wordt deze taak in ieder geval verzorgd door SURFnet, waarvan de overheid eigenaar is. Er is dan ook afgelopen jaar met een 40 Gbit verbinding direct met CERN getest. ( http://www.surfnet.nl/nl/...ndtNetherLightenCERN.aspx )

Zelf ken ik er ook niet alles van (werkzaam bij een ander onderdeel van SURFnet) maar als je er echt in geïnteresseerd bent kun je op de website van SURFnet veel vinden over bijvoorbeeld dark fiber en de directe verbinding CERN - Rusland die over Nederland heen loopt.
De term Tier-1 is qua betekenis een dubbel gebruikt, zowel de netwerk technische afstand wordt hiermee bedoelt als ook de natuurkundige berekeningstaak en data verdelingstaak wordt hier in samengebruikt. Dat neemt niet weg dat we een OPN (Optical Private Network) hebben, via SurfNet, naar Cern. Dus die lijn is geen public private routed internet lijn.

edit: Ja, ok, de fiber ansich wordt geshared. Laat ik het dan zo stellen dat we een prive kanaal hebben op de fiber, dankzij DWDM. ;)

[Reactie gewijzigd door VisionMaster op 20 november 2010 18:03]

Begrijp ik. Maar ik wilde vooral aangeven dat die lijn er niet alleen ligt als een privaat lijntje tussen Nikhef / SARA & CERN, maar dat de lijn ook voor vele andere doeleinden gebruikt kan worden (CERN is zoveel meer dan de LHC tenslotte).

Je had jouw tekst kunnen opvatten als dat er een constante, dedicated verbinding is voor SARA / Nikhef & CERN voor alleen dit verkeer. En die is er dus feitelijk niet, er is een verbinding waarop SARA & Nikhef tijd kunnen boeken om deze data-overdracht plaats te laten vinden.
http://public.web.cern.ch/public/en/lhc/Computing-en.html

Tier-0: Cern, de bron van de LHC data
Tier-1: de 11 grotere data centers die de data opvangen van Cern (en ja, via een prive fibertje) die het verspreiden en verwerken
Tier-2: De universiteiten die analyse reken-jobs verzorgen
Tier-3: Onderzoekcentra/wetenschapsinstellingen die hun eigen processing doen op basis van de andere data.

Nikhef/Sara zijn dus samen een Tier-1 site. Nikhef zelf is ook nog een Tier-3. Veel andere sites hebben ook een dubbel rol.

Maaruhm ja, er is dus een prive verbinding tussen Sara/Nikhef en Cern voor alleen dit verkeer. De lijn wordt namelijk volgegooit met data, dus er is anders geen ruimte meer voor video, email, web verkeer. En geoptimaliseerd op de machines die er staan bij Cern en bij de betreffende Tier-1.
Zeer mooi dat tweakers eens een kijkje neemt en daar een mooi artikel voor schrijft.


Het was zeer interesant en leuk om eens te zien hoe ze het daar hebben :) `
Ga zo door tweakers!

[Reactie gewijzigd door mmjjb op 20 november 2010 09:51]

Overigens gaat het hier over het computer cluster LISA. Daarnaast is er natuurlijk bij SARA ook nog de supercomputer Huygens beschikbaar, daar maken wij hier op de (Wageningen) universiteit ook gebruik van. Qua absolute rekenkracht (flops) nog eens 3x zo krachtig als LISA.

Wel leuke specs:
104 x 16 dual core processors @ 4.7 GHz
https://subtrac.sara.nl/userdoc/wiki/huygens/description

Het levert inderdaad leuke snelheidswinsten op; een model wat hier thuis rond de 15-20 uur rekentijd heeft (AMD Phenom, 4 x 3.1 GHz) is daar op een node (32 processorkernen) in 1-2 uur klaar...
0Anoniem: 384459
@julby22 november 2010 11:02
Voor alle volledigheid: de grid clusters van Nikhef en SARA omvatten juist NIET het LISA cluster. Dat is een apart cluster dat op een geheel andere manier beheerd wordt.
Klopt. LISA bestaat uit Dell M610 blade servers met deels L5520 en deels L5640 CPU's.
Zeer mooi dat tweakers eens een kijkje neemt en daar een mooi artikel voor schrijft.
Had wel eens een benchmarkje willlen zien.

Nee serieus!
Maar dan wel met applicaties die hier ook werkelijk op kunnen draaien.
Geen Unreal benches oid.

Geloof dat de grafische capaciteiten van dit soort dingen gewoon nul is.

Trouwens vreemd dat niet gekozen is voor de 12-core Opteron.
Dat had een veel mooiere keuze geweest dan wat er nu in zit.
Maargoed slecht is het niet.
Maar het kan altijd mooier ;)
Deze clusters kunnen gewoon realtime raytracen in software, dus zeker grafische capaciteiten aanwezig.

Vaak wordt gekeken naar performance per watt en vloeroppervlak/rackspace bij dit soort systemen, de meest highend CPU's zijn dan vaak niet de beste keus.
Vaak wordt gekeken naar performance per watt en vloeroppervlak/rackspace bij dit soort systemen, de meest highend CPU's zijn dan vaak niet de beste keus.
Juist dan is de AMD Opteron 12 core een veel betere keuze dan de quad core Xeon met een verbruik van 80Watt. De 12 Core Opteron verbruikt voor het high end model 105Watt.

Zelfs een berekening is hierbij niet nodig om te concluderen dat hier niet gekeken is naar verbruik vs prestaties.
De aankopen worden gedaan met officiele Europese tendering procedures. Leveranciers kunnen dan hardware aanbieden voor je gestelde eisen. Je mag, volgens de wetgeving, dus niet zomaar kiezen wat precies wilt. Al kan je het dus wel sturen middels die tendering procedure.

Verder... bij de plaatsing bestonden er nog geen dual hexacores :D Al zijn er wel een aantal te vinden als service nodes.
Je hebt 2 keuzes: goedkoopste of economisch meest voordelige aanbieding. De Opteron was dus te duur, of te TCO was te hoog.
Nee hoor. Het was geen Intel. Voor veel bedrijven die nog steeds op de oude intel commercials draaien een goede reden om iets niet te nemen. ....

Helaas :/
@popolskuprosze:
De aankoop was op basis van de Europese tendering procedure. Op dat moment in de tijd waren er geen leverancies die een oplossing hebben aangeboden dat de beste TCO opleverde.

Het was geen Intel vs. AMD situatie. Sterker nog, we hebben een storage cluster staan op basis van dual dual-opterons, in de vorm van Sun X4500's.
De meeste jobs van Hoge Energy Fysica zijn IO-bound of memory-bound of allebei. 12 cores op 1 CPU moeten nog steeds allemaal via diezelfde interface naar het geheugen: dat wordt dus al snel de bottleneck. Vandaar dat ik niet verwacht dat de 12 core Opterons veel sneller zullen zijn dan de huidige quad-core Xeons
Er zitten L5520's in, dat zijn quadcores die 60 Watt gebruiken. Check je gegevens!

In de tijd dat dit aanbesteed was waren de Magny Cours processoren nog niet beschikbaar, dus kon er niet worden gebenchmarkt. Denk eens na voordat je conclusies trekt.

Maar inderdaad, die AMD CPU's zijn echt heel energie zuinig. In veel benchmarks spant het er om of Intel wint of AMD. Single threaded wint Intel bijna alles, maar goed paralleliseerbare code doet het bijzonder goed op de Magny Cours.

De logische opvolger van de L5520 is overigens de L5640. Six cores, 2,26 GHz. Vraagt ook 60W. Met hyperthreading doet hij net alsof hij zes cores heeft, maar volgens mijn staat dit uit bij LISA.
Met hyperthreading zijn er 12 cores per CPU zichtbaar, maar idd op LISA staat dat uit. ;)
Volledig mee eens, vooral welke hardware er wordt gebruikt, was toch zeker benieuwd wat er bij dit soort grids wordt gebruikt.
Wat ik me afvroeg: zouden er ook van dit soort grids (moeten) bestaan waarop je spellen kunt spelen, of waarop je als thuisgebruiker bijv. zware applicaties kunt draaien? Hoef je niet ieder half jaar om een nieuwe videokaart/processor/geheugen :). Daarnaast zou je het spel bijv. ook op je mobiel kunnen spelen, zonder dat die over een zware processor moet beschikken.

[Reactie gewijzigd door Rekcor op 20 november 2010 09:26]

Ik meende dat dat zou komen door middel van onelive ofzo?
Dus wat je zegt gaat inderdaad wel komen.
Nu weet ik niet meer hoe onelive werd uitgelegd, maar bij dat bericht vroeg ik me af of dit niet al mogelijk is.

X Window System kan het al, maar vraag me nog steeds af hoeveel bandbreedte dit vereist (en geloof dat lag een probleem kon worden).
X Windows is een drama qua bandbreedte en dus niet echt geschikt voor dat soort toepassingen
Bijna goed ;)

http://www.onlive.com/

Is overigens in België al beschikbaar meen ik.
Kijk zeker naar RemoteFX dat binnenkort ondersteund wordt door Windows Server 2008 R2 SP1 en Windows 7 SP1. Hierbij wordt de grafische kaart op een Hyper-V server geïnstalleerd en kun je van 3D acceleratie gebruik maken op je remote Windows 7 machine.

In se heb je dan voldoende met een oude en trage PC om te genieten van 3D accelleratie.
Maar wel een zeer goede verbinding om realtime gerenderde beelden over te kunnen pompen.
Of zie ik het verkeerd?
Evenveel als nu een stream van Youtube kost, dus dat zou te doen moeten zijn met bestaande gangbare internetverbindingen.
Hierbij wordt de grafische kaart op een Hyper-V server geïnstalleerd en kun je van 3D acceleratie gebruik maken op je remote Windows 7 machine.
Tja, ware het niet dat je "meestal" een server deelt met anderen en dat games daar bijvoorbeeld uitermate slecht mee om gaan; ken ook weinig servers die 4x PCI-e aan boord hebben en daardoor de Ati 6xxx-serie kunnen inprikken om voor 16 man tegelijk iets als Crysis te kunnen afserveren.

De toepassing voor 3D-acceleratie zal waarschijnlijk voornamelijk liggen in CAD-systemen en andere applicaties waarbij je een omslagpunt krijgt dat (bijvoorbeeld) 4 CAD-stations duurder worden dan 1 zware server.
ik zou eerder willen zien dat je dergelijke systemen als thuisgebruiker kan gebruiken om 3d tekeningen fotorealistisch te renderen
het lijkt mij dat dit voor games echt veel te veel lag heeft, maar als ik iets in solidworks getekend heb en ik wil een beetje een mooie render hebben (niet eens fotorealistisch) dan is mijn pc al rustig een nachtje aan het rekenen. ik heb dan wel geen mooie quadro, maar dit is puur omdat ik nou ook weer niet zo vaak render dat ik er zo een dure kaart voor aan wil schaffen. terwijl als ik rekenkracht zou kunnen kopen op deze manier het toch veel interresanter word om mooie renders te maken in een paar minuten
Er is op het web al een gros render clusters commercieel actief, specifiek om 3d ontwerpen te renderen in minuten, ipv wat soms uren kan kosten op een thuis PCtje.
Ik heb er een paar jaar geleden wel eens over nagedacht om samen met een zooi anderen een soort van renderfarm op te zetten, maar dan in de geest van SETI: het gebruiken van ongebruikte CPU kracht om modellen te renderen. Je maakt je model, slaat het op als een soort van centraal ondersteund bestandsformaat (geloof dat we het toen hadden over Universal Render File) en plempt je bestand het netwerk op. Vooral voor mensen die videomodellen maken zou dit echt handig zijn, aangezien ze geen eigen mega systeem nodig hebben om hun werk binnen schappelijke tijd te laten renderen.

MAar wel gelijk, een botnet beheerder zou zijn vingers hier bij af likken. 3D modellers ook, maarja ik ben bang dat wij daar te nietig voor zijn in het licht van al die mega belangrijke wetenschappelijke onderzoeken...
Lastig blijft nog altijd het volgende: hoe krijg je je render files allemaal verdeelt over dat netwerk? Daar heb je nog wellicht wel een serieuze hoeveelheid bandbreedte voor nodig.
http://nl.wikipedia.org/wiki/Tier_1_netwerk

Onder een Tier 1 netwerk verstaat men een IP-netwerk (van een Internet Service Provider), dat uitsluitend via peering met de rest van het Internet gekoppeld is. Anders gezegd, een provider die aan geen enkele andere provider geld betaalt voor IP-transit.

Een kenmerk van vrijwel alle Tier 1 providers is dat ze zowel in Noord-Amerika als in Europa uitgebreide netwerken beheren en exploiteren.
Die had ik ook al gelezen, maar vond ik niet quote-waardig.

Wat bedoelt men met "uitsluitend via peering met de rest van het internet gekoppeld is" bijvoorbeeld.... Wordt hier dan bedoelt dat er een strikte controle is hoe alle verbindingen tot stand komen en er niet klakkeloos met 'de wereld' verbonden wordt?

Goed.. Ik vermoed dat het betekent: Tier-1 is de hoogste in de hiërarchie van het internet. ISP's nemen abonnementen/contracten af voor internet met de Tier-1 providers, waarbij de Tier-1 providers het gehele netwerk onder de hoede hebben en de Tier-2 en lager zaken afnemen van Tier-1.

Tier-1 heeft verder dus een verbinding met andere Tier-1 netwerken (vanwege decentralisatie van internet) en wanneer we spreken in het artikel over een Tier-1 connectie met Zwitserland, spreken we over een Tier-1 netwerk dat verbonden is op Tier-1 niveau met een ander Tier-1 netwerk. Er zitten dus geen providers tussen en is P2P op Tier-1 niveau.

edit: eigen interpretatie van Tier-1 toegevoegd, laatste twee alinea's

[Reactie gewijzigd door fluxtras op 20 november 2010 11:17]

Hier staat een aardige afbeelding van hoe de hiërarchie van een netwerk eruit ziet (in dit geval internet). Het verhaal eronder beschrijft ongeveer hetzelfde als de Nederlandse versie van Wikipedia, maar wel aardig wat uitgebreider.

Verder zeer interessant stuk! Het bedrijf waar ik werk maakt software voor verschillende markten, waaronder de keukenbranche. Hier worden nogal wat tekeningen mee gerenderd. Om hiermee richting fotorealisme te gaan, moet de kwaliteit zodanig opgeschroefd worden dat het niet meer praktisch is om dit op je eigen desktopje te renderen. Zo'n grid zou daar wel een mooie uitkomst voor zijn, maar ik weet niet of het wel zo toegankelijk is en wat het uiteindelijk gaat kosten.

Andere opties zijn dan waarschijnlijk technieken als cloud–computing zoals Azure o.i.d.
Zie hierboven. De term is wel daarvan geleend, maar het wordt iets anders gebruikt.
wat mij opviel is dat er gewoon ext3 wordt gebruikt i.p.v. ext4.
Ik vermoed dat ext4 nog teveel "unproven" was toen ze het systeem ontwierpen.
Als ik het goed lees wordt ext3 alleen gebruikt voor het OS en zit alle data op XFS. De keuze voor ext3/ext4 is niet zo heel relevant voor de performance/stabiliteit van het grid.
Er zijn sites die (Grid) services draaien op Debians en andere OS-en. Er zijn ook machines met ZFS. Maar die zijn in de minderheid, omdat er veel Red Hat Enterprise 5 wordt gebruikt (of eerder CentOS 5 en Scientific Linux 5) wordt gebruikt.
zeg wordt het niet weer eens tijd voor een apenkoe :D
Alweer :D

Zie lasermen's reply hieronder ;)
+1Anoniem: 382574
20 november 2010 10:16
Kan ik hier ook aan bijdragen door middel van BOINC of andere grid software?
Of jij er aan kan bijdragen weet ik niet maar een deel van het grid dat bij het NIKHEF staat is afgelopen jaar een paar dagen gedraaid voor Rosetta@Home.

Da's uiteraard geen kern-activiteit maar het was nieuw en een stress-test was dus op zijn plaats. Er is een voorstel gedaan om de test van het nieuwe systeem te doen a.d.h. van een BOINC-client en dat is toen goedgekeurd. Die stress-test is uitgevoerd door o.a. tweaker Visionmaster die daar werkzaam is.

Het systeem had destijds de grootste moeite om alle cores aan de praat te houden want de workunits kwamen soms gewoonweg te langzaam binnen vanaf de Rosetta-servers :)
Als je een aantal computers hebt met 16GB intern geheugen over voor exclusief gebruik, dan houden we ons aanbevolen :) De grid infrastructuur draait niet op BOINC, dus eenvoudig inhaken met een desktop is lastiger. Er zijn wel Desktop Grid omgevingen en vrijwilligers projecten.

Wat leuk is aan de EGI omgeving is dat je via (in-) directe projecten kan bijdragen met een BOINC client. Zoals Einstein@Home en LHC@Home en vele anderen.

Tijdens onze tests hadden we 2,5x de output van de toen nummer 1 met een deel van het cluster (de nieuwste hardware). Die stress-test vonden we leuk/nuttiger dan een benchmark draaien.

[Reactie gewijzigd door VisionMaster op 20 november 2010 13:53]

Vind het toch wel opmerkelijk dat iedere locatie dan weer zijn eigen OS en dergelijke kan kiezen. Lijkt me dat dit wel de kosten opdrijft om alles allemaal gelijk te houden.

Verder complimenten voor het artikel. Zulk soort achter de schermen artikelen mogen vaker langs komen.
+1Anoniem: 379651
@jip_8620 november 2010 16:47
Zulk soort achter de schermen artikelen mogen vaker langs komen.
Zondermeer mee eens. Is leuk en soms zelfs nuttig leesvoer.
"Een botnetbeheerder zou er zijn vingers bij aflikken"

Ik betwijfel het. Een botnet is niet bedoeld om veel te kunnen rekenen.
Alle machines hebben doorgaans een Gigabit internet verbinding. Dat lijkt me redelijk interessant voor dergelijke alternatieve vormen van gebruik. ;)
is 160Gbit uplink per chassis niet wat overkill? Akkoord het is future-proof, maar efficiënt gebruik lijkt me weinig waarschijnlijk
Ter verduidelijking: http://www.nikhef.nl/grid/summary/netwerksummary.png

Het is dus 160Gbit backbone tussen de storage servers (rechts) en computer clusters (links). Een aantal 10Gbit verbindingen zorgen voor extern verkeer.

Op dit item kan niet meer gereageerd worden.


Nintendo Switch (OLED model) Apple iPhone SE (2022) LG G1 Google Pixel 6 Call of Duty: Vanguard Samsung Galaxy S22 Garmin fēnix 7 Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2022 Hosting door True