Europees rekenwonder

Rekenkracht

Met alle computerkracht waarover de gemiddelde tweaker vandaag de dag beschikt - niet alleen in desktop-pc's en laptops, maar ook in smartphones, tablets, spelconsoles en zelfs horloges - zou je bijna vergeten dat toegang tot computercapaciteit ooit zeer schaars was. Krachtige systemen waren duur en daardoor zeldzaam. Met timesharing, waarbij rekenkracht over verschillende gebruikers werd verdeeld, werd in de jaren zestig en zeventig gepoogd de hoge kosten te drukken; voor elke gebruiker een eigen krachtig systeem was simpelweg te duur.

Je zou denken dat dit probleem tegenwoordig niet meer speelt; computercapaciteit is zo sterk in prijs gedaald, dat zelfs de simpelste telefoon al over gigantisch veel meer rekenkracht beschikt dan de computers die de Apollo 11 naar de maan begeleidden. Maar schijn bedriegt; wetenschappers zitten nog steeds verlegen om rekenkracht en die is nog steeds kostbaar.

Het European Grid Initiative is opgericht om de kosten van computercapaciteit te drukken. Het project, dat 25 miljoen euro steun krijgt van de Europese Unie, biedt wetenschappers toegang tot een computing grid dat bestaat uit 320 locaties met in totaal 250.000 processorcores. Eerder meldde de Europese Commissie dat het daarbij om ongebruikte computercapaciteit van desktops ging, maar dat blijkt anders te liggen. Een groot deel van de systemen betreft high-end-servers, hoewel ongebruikte desktopcapaciteit op sommige locaties ook wordt gebruikt.

Het Nederlandse BigGrid is onderdeel van het EGI. Op het Science Park in Amsterdam staat een deel van het grid. Zo heeft het Nikhef, een instituut voor deeltjesfysica, 2500 cpu-cores ter beschikking van de wetenschap gesteld; het in grid computing gespecialiseerde instituut SARA heeft er 3000. Bovendien is het hoofdkantoor van het project bij het Nikhef gevestigd. Tweakers.net kreeg een rondleiding door de datacenters en nam een kijkje onder de motorkap.

Wat is een grid?

De naam 'grid' is geïnspireerd door het elektriciteitsnet, het electrical grid. Het idee van het lichtnet is dat je simpelweg een stekker in de muur kunt stoppen en dat je dan zoveel stroom krijgt als nodig. Hetzelfde zou idealiter gelden voor grids; gebruikers moeten op verzoek zoveel rekenkracht krijgen als ze nodig hebben, zonder zich te hoeven afvragen wie daarvoor zorgt of waar deze vandaan komt.

Hoewel toegang krijgen tot een grid nog lang niet zo eenvoudig is als een stekker in de muur steken, kunnen gebruikers dankzij grids wel via het internet toegang krijgen tot krachtige computersystemen. Dat is handig voor wetenschappers die complexe problemen willen oplossen. Grid computing kan van pas komen bij onderzoek naar de oerknal, naar een medicijn tegen malaria of kanker, of naar weermodellen.

"Het is een belangrijke infrastructuur", zegt Maurice Bouwhuis van het SARA-instituut. "Het maakt baanbrekend onderzoek mogelijk, zonder dat elke wetenschapper of elk instituut in zijn eigen rekencluster hoeft te investeren", stelt hij. Volgens Bouwhuis was het vroeger wel gebruikelijk dat 'iedereen een eigen cluster had'.

Grids zijn krachtig. Een berekening waarmee een huis-, tuin- en keuken-pc weken bezig zou zijn, is voor een in zware berekeningen gespecialiseerde server een stuk minder zwaar. Een paar uur ligt dan binnen de mogelijkheden. Bovendien is een grid efficiënt; de capaciteit kan zo worden verdeeld dat het een zo hoog mogelijke bezetting heeft. Daardoor worden zo weinig mogelijk processor-uren 'weggegooid' en worden de servers in een grid goedkoper; er hoeven er minder te worden aangeschaft om hetzelfde te bereiken en wordt er minder energie verbruikt.

Parallel computing

Hoewel het EGI net als andere computing grids is opgericht om de capaciteit van computers efficiënt over gebruikers te verdelen, wordt in tegenstelling tot in de jaren zestig en zeventig van de vorige eeuw geen timesharing of multitasking gebruikt. De meeste systemen in het grid verdelen hun taken per processorcore. Alle processorcores handelen één proces tegelijk af, gevolgd door het volgende in de wachtrij oftewel: batch processing. Verschillende processen tegelijk laten draaien kan alleen met speciale software en hardware, en gebeurt niet op de Nederlandse locaties. Dat zou ook niet efficiënt zijn: "Nu haalt elk proces het maximale uit een processorcore, zonder overboekingswaarde", aldus Oscar Koeroo, programmeur bij Nikhef.

"Een speciale scheduler zorgt ervoor dat de taken efficiënt worden verdeeld over de beschikbare processoren", vertelt Steven Newhouse, coördinator van het project. De manier van werken kan daardoor het beste worden omgeschreven als parallel computing.

De lengte van een klus varieert. Sommige duren enkele minuten, sommige een week en andere verschillende weken. Gemiddeld worden door het hele grid 1 miljoen rekentaken per dag afgewerkt. De meeste taken bestaan uit één enkele klus, waarvoor één processor wordt gebruikt.

Een deel van het rekencluster in Amsterdam

De 320 locaties in Europa, die samen circa 1 miljoen taken per dag uitvoeren, draaien verschillende besturingssystemen. De meeste systemen hebben Linux aan boord. Windows en BSD worden ook gebruikt, maar veel minder. Daarover mogen de instellingen zelf beslissen. "Wij gebruiken in Nederland CentOS", vertelt Koeroo. Dat alle locaties onafhankelijk van elkaar werken en zelf hun software beheren, maakt dat het up-to-date houden van de software een uitdaging is, stelt Steven Newhouse van EGI. Dat is in principe de verantwoordelijkheid van de locaties zelf, al adviseert het hoofdkantoor in Amsterdam wel over keuze van software en software-updates.

Virtual organisations

Gebruikers bouwen hun applicatie in een taal als C++ of Java, waarna speciale middleware met de naam gLite ervoor zorgt dat de applicatie met het systeem samenwerkt. Applicaties kunnen door wetenschappers worden geschreven, maar er zijn bij veel instituten ook fulltime-programmeurs aan boord. De programmacode kan via een web service-interface worden geüpload. "De benodigde gegevens wordt via GridFTP aangeleverd", vertelt Koeroo. "Dat is een aangepaste versie van het ftp-protocol, speciaal voor grids." GridFTP is veiliger en gaat efficiënter om met gegevens. Alle tools die door het project zijn ontwikkeld, waaronder GridFTP en gLite, zijn opensource.

Iemand krijgt niet zomaar toegang tot het grid. Toegang is in principe bedoeld voor wetenschappers, maar iedereen die data wil laten analyseren maakt kans. Toegang betekent niet dat een gebruiker op alle 320 locaties aan de slag kan. Gebruikers organiseren zich in virtual organisations, bijvoorbeeld per universiteit, waarna elke locatie zelf bepaalt welke vo's toegang hebben. "Het Nederlandse deel van het grid geeft zo'n 45 organisaties toegang", vertelt Maurice Bouwhuis van SARA. In heel Europa zijn zo'n 200 virtuele organisaties, waarvan 25 Nederlandse. Deze vo's tellen samen 100.000 gebruikers.

Een netwerk met zoveel rekenkracht trekt natuurlijk aandacht; een botnetbeheerder zou er zijn vingers bij aflikken. Elke gebruiker van het systeem heeft daarom een eigen, unieke digitale handtekening. Verbindingen worden versleuteld met sslv3/tls 1.0. "Er wordt wel eens geprobeerd om het grid aan te vallen", vertelt Arjen van Rijn, die niet wil zeggen hoe vaak dat gebeurt. "De aanvallen gebeuren op dezelfde manier als bij normale hostingproviders, meestal door het zoeken naar gaten in de beveiliging van een enkele server en niet op het hele grid gericht."

Onder de motorkap

De configuratie van de systemen verschilt van locatie tot locatie. Zowel Nikhef als SARA heeft een aantal generaties clusters staan. Bij Nikhef bestaat het nieuwste cluster uit HP BladeSystem C7000-servers; SARA heeft Dell PowerEdge-servers. Zowel het Nikhef als SARA werkt met Intel Xeon-cpu's die het pure rekenwerk op zich nemen, de worker nodes. "Dat is toeval", zegt Maurice Bouwhuis. "Uit de aanbestedingsprocedures kwam dezelfde cpu naar voren."

De snelste cpu in gebruik is de dual-quadcore L5520 met een kloksnelheid van 2,26GHz. Ondanks de snelheid is dit ook de meest energiezuinige cpu. Naast de L5520 worden de 5150 en de E5420 gebruikt.

De bladesystemen bevatten zestien servers per chassis; elk beschikt over 8GB, 16GB of 24GB werkgeheugen en 300GB opslag. "Die opslag wordt gebruikt voor de klus waar een cpu op dat moment mee bezig is", vertelt Koeroo. "Is deze klaar, dan worden de resultaten naar andere servers gestuurd en wordt de lokale opslag schoongeveegd." Elke blade heeft de beschikking over een 10GB-uplink naar het internet.

Voor de data-opslag worden grotendeels servers van DataDirect met 80 slots voor harde schijven gebruikt, elk met 2TB opslag. Met raid-6 worden de schijven gegroepeerd en als scsi-targets aan Dell PowerEdge-servers aangeboden. De verbinding tussen de harde schijven en de PowerEdge-servers geschiedt via InfiniBand. Als bestandssystemen worden xfs voor de opslag en ext3 voor het besturingssysteem gebruikt.

Dat betekent dat elke server over 160 terabyte ruimte beschikt. Alle bestandssystemen zijn als xfs en ext3 geformatteerd, terwijl de schijven in raid-6 staan opgesteld. Een kleiner deel van de servers komt van Sun en heeft sata-schijven van 500GB aan boord, eveneens in raid-6 opgesteld. De totale opslagruimte op harddisk van Nikhef en SARA komt hiermee uit op vier petabyte. SARA beschikt ook nog over tape-opslag.

In heel Europa staan circa 250.000 cores in dienst van het project. "Dat aantal groeit met 15 tot 20 procent per jaar", zegt Nikhef-instituutmanager Arjen van Rijn.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Resultaten

Het EGI wordt actief gebruikt. Zo gebruikt het Nikhef zijn deel van het grid om proton-proton-botsingen van de LHC-deeltjesversneller te analyseren. Het Nikhef heeft daartoe een tier-1-verbinding met het CERN in Zwitserland. Voor het analyseren van die resultaten is dan ook aardig wat rekenkracht vereist, aangezien de LHC jaarlijks vijftien petabyte aan informatie produceert.

Maar ook onderzoek waarbij de volksgezondheid baat kan hebben, wordt door het grid ondersteund. Zo wordt het gebruikt om mri-scans van hersenen te analyseren en zo beter inzicht te krijgen in de oorzaken van de ouderdomsziekte Alzheimer. Taiwanese onderzoekers hebben het grid gebruikt om onderzoek naar de vogelgriep te doen.

Of neem het onderzoek van de Universiteit van Manchester over hoe dinosauriërs bewogen. Een onderzoeker maakte een computermodel van een tyrannosaurus rex en analyseerde aan de hand daarvan hoe snel hij vermoedelijk kon rennen. Het antwoord: circa 25 kilometer per uur.

Het grid is ook gebruikt na de aardbeving in Haïti. De servers comprimeerden satellietbeelden naar een formaat dat geschikt was voor internetverbindingen met weinig bandbreedte, zodat hulpverleners op hun mobiele telefoon over actuele plattegronden van de omgeving konden beschikken.

Arjen van Rijn van het Nikhef weet niet wat de bezuinigingen van de nieuwe regering concreet voor het Nederlandse deel van het grid gaan betekenen. Hij heeft echter goede hoop dat de infrastructuur structureel door de overheid zal worden gefinancierd. "We weten in elk geval voor de komende twee tot drie jaar wat we kunnen uitgeven."

Reacties (81)

[Verwijderd]

Ook geinstalleerd door een Tweaker en zijn collega
Systemen van Dell rack servers gekoppelt aan DDN storage.
Keuze voor de CPU's was makkelijk aangezien ze weinig reken werk hoefde te doen.
Was meer bedoelt voor de trough-put naar de disken, avg trough-put was per server meer dan 1,3GiBi/s in real-life testen.
Piekperformance lag tijdens initiele speedtesten op meer dan 4GB/s, alles via 10Gb ethernet verbindingen naar buiten en DDR IB naar de storage.
Dit alles was aan budget gebonden en deze gear is inmiddels jaartje oud (gebaseerd op eerste batch 2TB disken).
Met de tegenwoordige tech zou er richting de 8 tot 10GB/s haalbaar zijn (even niet kijkend naar het oude budget )

Maar denk even wat er aan power zo'n compute rack in moet...
1 Dell blade voeding vraagt al snel 12 tot 14A, er gaan er max 6 in een chassis.
In de extreme gevallen (en die zijn er!) gaat er 192A per rack aangesloten worden.
Oplossing met 768A zijn in NL niet gek, maar wel uitzonderlijk.
(Dat zijn trouwens wel de machines waar je je koe op wilt hebben )
De keuze bij SARA en FOM/Nikhef voor de lagere processor was meer een keuze van het NUON/Ziut/Alliander etc etc etc dan een performance keuze.

[fluxtras]

De definitie van TIER-1 had wel even toegelicht kunnen worden.

Wat ik tot nu toe gelezen heb is wat wazig. Het lijkt er op dat er een peer-to-peer netwerk is van Zwitserland naar NL A'dam Science Park is zonder tussenkomende internet providers.

De definitie wordt echter niet aan een standaard gehouden, zo lijkt het, en is daarom veelal misbruikt voor marketingdoeleinden.

Kan iemand het TIER-1 in dit geval nog even toelichten of toevoegen aan het artikel?

_{edit: kleine vraaguitbreiding aan het eind}

[Reactie gewijzigd door fluxtras op 22 juli 2024 21:10]

[Paitor]

Over TIER-1 (en daarmee glasvezelverbindingen door Europa heen) zou ook een geheel artikel geschreven kunnen worden. VisionMaster noemt het een prive fibertje naar de grote datacenters, maar dat klopt niet helemaal; in Nederland wordt deze taak in ieder geval verzorgd door SURFnet, waarvan de overheid eigenaar is. Er is dan ook afgelopen jaar met een 40 Gbit verbinding direct met CERN getest. ( http://www.surfnet.nl/nl/...ndtNetherLightenCERN.aspx )

Zelf ken ik er ook niet alles van (werkzaam bij een ander onderdeel van SURFnet) maar als je er echt in geïnteresseerd bent kun je op de website van SURFnet veel vinden over bijvoorbeeld dark fiber en de directe verbinding CERN - Rusland die over Nederland heen loopt.

[VisionMaster]

De term Tier-1 is qua betekenis een dubbel gebruikt, zowel de netwerk technische afstand wordt hiermee bedoelt als ook de natuurkundige berekeningstaak en data verdelingstaak wordt hier in samengebruikt. Dat neemt niet weg dat we een OPN (Optical Private Network) hebben, via SurfNet, naar Cern. Dus die lijn is geen public private routed internet lijn.

edit: Ja, ok, de fiber ansich wordt geshared. Laat ik het dan zo stellen dat we een prive kanaal hebben op de fiber, dankzij DWDM.

[Reactie gewijzigd door VisionMaster op 22 juli 2024 21:10]

[Paitor]

Begrijp ik. Maar ik wilde vooral aangeven dat die lijn er niet alleen ligt als een privaat lijntje tussen Nikhef / SARA & CERN, maar dat de lijn ook voor vele andere doeleinden gebruikt kan worden (CERN is zoveel meer dan de LHC tenslotte).

Je had jouw tekst kunnen opvatten als dat er een constante, dedicated verbinding is voor SARA / Nikhef & CERN voor alleen dit verkeer. En die is er dus feitelijk niet, er is een verbinding waarop SARA & Nikhef tijd kunnen boeken om deze data-overdracht plaats te laten vinden.

[VisionMaster]

http://public.web.cern.ch/public/en/lhc/Computing-en.html

Tier-0: Cern, de bron van de LHC data
Tier-1: de 11 grotere data centers die de data opvangen van Cern (en ja, via een prive fibertje) die het verspreiden en verwerken
Tier-2: De universiteiten die analyse reken-jobs verzorgen
Tier-3: Onderzoekcentra/wetenschapsinstellingen die hun eigen processing doen op basis van de andere data.

Nikhef/Sara zijn dus samen een Tier-1 site. Nikhef zelf is ook nog een Tier-3. Veel andere sites hebben ook een dubbel rol.

Maaruhm ja, er is dus een prive verbinding tussen Sara/Nikhef en Cern voor alleen dit verkeer. De lijn wordt namelijk volgegooit met data, dus er is anders geen ruimte meer voor video, email, web verkeer. En geoptimaliseerd op de machines die er staan bij Cern en bij de betreffende Tier-1.

[mmjjb]

Zeer mooi dat tweakers eens een kijkje neemt en daar een mooi artikel voor schrijft.


Het was zeer interesant en leuk om eens te zien hoe ze het daar hebben `
Ga zo door tweakers!

[Reactie gewijzigd door mmjjb op 22 juli 2024 21:10]

[julby]

Overigens gaat het hier over het computer cluster LISA. Daarnaast is er natuurlijk bij SARA ook nog de supercomputer Huygens beschikbaar, daar maken wij hier op de (Wageningen) universiteit ook gebruik van. Qua absolute rekenkracht (flops) nog eens 3x zo krachtig als LISA.

Wel leuke specs:
104 x 16 dual core processors @ 4.7 GHz
https://subtrac.sara.nl/userdoc/wiki/huygens/description

Het levert inderdaad leuke snelheidswinsten op; een model wat hier thuis rond de 15-20 uur rekentijd heeft (AMD Phenom, 4 x 3.1 GHz) is daar op een node (32 processorkernen) in 1-2 uur klaar...

[Verwijderd]

Voor alle volledigheid: de grid clusters van Nikhef en SARA omvatten juist NIET het LISA cluster. Dat is een apart cluster dat op een geheel andere manier beheerd wordt.

[TurboMax]

Klopt. LISA bestaat uit Dell M610 blade servers met deels L5520 en deels L5640 CPU's.

[jpdijkshoorn]

En uit M600's, maar wil je weten hoe het precies zit:

• https://subtrac.sara.nl/userdoc/wiki/lisa64/description

[Verwijderd]

Zeer mooi dat tweakers eens een kijkje neemt en daar een mooi artikel voor schrijft.

Had wel eens een benchmarkje willlen zien.

Nee serieus!
Maar dan wel met applicaties die hier ook werkelijk op kunnen draaien.
Geen Unreal benches oid.

Geloof dat de grafische capaciteiten van dit soort dingen gewoon nul is.

Trouwens vreemd dat niet gekozen is voor de 12-core Opteron.
Dat had een veel mooiere keuze geweest dan wat er nu in zit.
Maargoed slecht is het niet.
Maar het kan altijd mooier

[P5ycho]

Deze clusters kunnen gewoon realtime raytracen in software, dus zeker grafische capaciteiten aanwezig.

Vaak wordt gekeken naar performance per watt en vloeroppervlak/rackspace bij dit soort systemen, de meest highend CPU's zijn dan vaak niet de beste keus.

[Verwijderd]

Vaak wordt gekeken naar performance per watt en vloeroppervlak/rackspace bij dit soort systemen, de meest highend CPU's zijn dan vaak niet de beste keus.

Juist dan is de AMD Opteron 12 core een veel betere keuze dan de quad core Xeon met een verbruik van 80Watt. De 12 Core Opteron verbruikt voor het high end model 105Watt.

Zelfs een berekening is hierbij niet nodig om te concluderen dat hier niet gekeken is naar verbruik vs prestaties.

[VisionMaster]

De aankopen worden gedaan met officiele Europese tendering procedures. Leveranciers kunnen dan hardware aanbieden voor je gestelde eisen. Je mag, volgens de wetgeving, dus niet zomaar kiezen wat precies wilt. Al kan je het dus wel sturen middels die tendering procedure.

Verder... bij de plaatsing bestonden er nog geen dual hexacores Al zijn er wel een aantal te vinden als service nodes.

[Verwijderd]

Je hebt 2 keuzes: goedkoopste of economisch meest voordelige aanbieding. De Opteron was dus te duur, of te TCO was te hoog.

[Verwijderd]

Nee hoor. Het was geen Intel. Voor veel bedrijven die nog steeds op de oude intel commercials draaien een goede reden om iets niet te nemen. ....

Helaas

[VisionMaster]

@popolskuprosze:
De aankoop was op basis van de Europese tendering procedure. Op dat moment in de tijd waren er geen leverancies die een oplossing hebben aangeboden dat de beste TCO opleverde.

Het was geen Intel vs. AMD situatie. Sterker nog, we hebben een storage cluster staan op basis van dual dual-opterons, in de vorm van Sun X4500's.

[Verwijderd]

De meeste jobs van Hoge Energy Fysica zijn IO-bound of memory-bound of allebei. 12 cores op 1 CPU moeten nog steeds allemaal via diezelfde interface naar het geheugen: dat wordt dus al snel de bottleneck. Vandaar dat ik niet verwacht dat de 12 core Opterons veel sneller zullen zijn dan de huidige quad-core Xeons

[TurboMax]

Er zitten L5520's in, dat zijn quadcores die 60 Watt gebruiken. Check je gegevens!

In de tijd dat dit aanbesteed was waren de Magny Cours processoren nog niet beschikbaar, dus kon er niet worden gebenchmarkt. Denk eens na voordat je conclusies trekt.

Maar inderdaad, die AMD CPU's zijn echt heel energie zuinig. In veel benchmarks spant het er om of Intel wint of AMD. Single threaded wint Intel bijna alles, maar goed paralleliseerbare code doet het bijzonder goed op de Magny Cours.

De logische opvolger van de L5520 is overigens de L5640. Six cores, 2,26 GHz. Vraagt ook 60W. Met hyperthreading doet hij net alsof hij zes cores heeft, maar volgens mijn staat dit uit bij LISA.

[jpdijkshoorn]

Met hyperthreading zijn er 12 cores per CPU zichtbaar, maar idd op LISA staat dat uit.

[JOfferijns]

Volledig mee eens, vooral welke hardware er wordt gebruikt, was toch zeker benieuwd wat er bij dit soort grids wordt gebruikt.

[Rekcor]

Wat ik me afvroeg: zouden er ook van dit soort grids (moeten) bestaan waarop je spellen kunt spelen, of waarop je als thuisgebruiker bijv. zware applicaties kunt draaien? Hoef je niet ieder half jaar om een nieuwe videokaart/processor/geheugen . Daarnaast zou je het spel bijv. ook op je mobiel kunnen spelen, zonder dat die over een zware processor moet beschikken.

[Reactie gewijzigd door Rekcor op 22 juli 2024 21:10]

[walletje-w]

Ik meende dat dat zou komen door middel van onelive ofzo?
Dus wat je zegt gaat inderdaad wel komen.

[Cio]

Nu weet ik niet meer hoe onelive werd uitgelegd, maar bij dat bericht vroeg ik me af of dit niet al mogelijk is.

X Window System kan het al, maar vraag me nog steeds af hoeveel bandbreedte dit vereist (en geloof dat lag een probleem kon worden).

[humbug]

X Windows is een drama qua bandbreedte en dus niet echt geschikt voor dat soort toepassingen

[Noxious]

Bijna goed

http://www.onlive.com/

Is overigens in België al beschikbaar meen ik.

[needless to say]

Kijk zeker naar RemoteFX dat binnenkort ondersteund wordt door Windows Server 2008 R2 SP1 en Windows 7 SP1. Hierbij wordt de grafische kaart op een Hyper-V server geïnstalleerd en kun je van 3D acceleratie gebruik maken op je remote Windows 7 machine.

In se heb je dan voldoende met een oude en trage PC om te genieten van 3D accelleratie.

[Maarten21]

Maar wel een zeer goede verbinding om realtime gerenderde beelden over te kunnen pompen.
Of zie ik het verkeerd?

[YopY]

Evenveel als nu een stream van Youtube kost, dus dat zou te doen moeten zijn met bestaande gangbare internetverbindingen.

[MAX3400]

Hierbij wordt de grafische kaart op een Hyper-V server geïnstalleerd en kun je van 3D acceleratie gebruik maken op je remote Windows 7 machine.

Tja, ware het niet dat je "meestal" een server deelt met anderen en dat games daar bijvoorbeeld uitermate slecht mee om gaan; ken ook weinig servers die 4x PCI-e aan boord hebben en daardoor de Ati 6xxx-serie kunnen inprikken om voor 16 man tegelijk iets als Crysis te kunnen afserveren.

De toepassing voor 3D-acceleratie zal waarschijnlijk voornamelijk liggen in CAD-systemen en andere applicaties waarbij je een omslagpunt krijgt dat (bijvoorbeeld) 4 CAD-stations duurder worden dan 1 zware server.

[Verwijderd]

ik zou eerder willen zien dat je dergelijke systemen als thuisgebruiker kan gebruiken om 3d tekeningen fotorealistisch te renderen
het lijkt mij dat dit voor games echt veel te veel lag heeft, maar als ik iets in solidworks getekend heb en ik wil een beetje een mooie render hebben (niet eens fotorealistisch) dan is mijn pc al rustig een nachtje aan het rekenen. ik heb dan wel geen mooie quadro, maar dit is puur omdat ik nou ook weer niet zo vaak render dat ik er zo een dure kaart voor aan wil schaffen. terwijl als ik rekenkracht zou kunnen kopen op deze manier het toch veel interresanter word om mooie renders te maken in een paar minuten

[Hyperized]

Er is op het web al een gros render clusters commercieel actief, specifiek om 3d ontwerpen te renderen in minuten, ipv wat soms uren kan kosten op een thuis PCtje.

[BorgMan]

Ik heb er een paar jaar geleden wel eens over nagedacht om samen met een zooi anderen een soort van renderfarm op te zetten, maar dan in de geest van SETI: het gebruiken van ongebruikte CPU kracht om modellen te renderen. Je maakt je model, slaat het op als een soort van centraal ondersteund bestandsformaat (geloof dat we het toen hadden over Universal Render File) en plempt je bestand het netwerk op. Vooral voor mensen die videomodellen maken zou dit echt handig zijn, aangezien ze geen eigen mega systeem nodig hebben om hun werk binnen schappelijke tijd te laten renderen.

MAar wel gelijk, een botnet beheerder zou zijn vingers hier bij af likken. 3D modellers ook, maarja ik ben bang dat wij daar te nietig voor zijn in het licht van al die mega belangrijke wetenschappelijke onderzoeken...

[VisionMaster]

Lastig blijft nog altijd het volgende: hoe krijg je je render files allemaal verdeelt over dat netwerk? Daar heb je nog wellicht wel een serieuze hoeveelheid bandbreedte voor nodig.

[jordy-maes]

http://nl.wikipedia.org/wiki/Tier_1_netwerk

Onder een Tier 1 netwerk verstaat men een IP-netwerk (van een Internet Service Provider), dat uitsluitend via peering met de rest van het Internet gekoppeld is. Anders gezegd, een provider die aan geen enkele andere provider geld betaalt voor IP-transit.

Een kenmerk van vrijwel alle Tier 1 providers is dat ze zowel in Noord-Amerika als in Europa uitgebreide netwerken beheren en exploiteren.

[fluxtras]

Die had ik ook al gelezen, maar vond ik niet quote-waardig.

Wat bedoelt men met "uitsluitend via peering met de rest van het internet gekoppeld is" bijvoorbeeld.... Wordt hier dan bedoelt dat er een strikte controle is hoe alle verbindingen tot stand komen en er niet klakkeloos met 'de wereld' verbonden wordt?

Goed.. Ik vermoed dat het betekent: Tier-1 is de hoogste in de hiërarchie van het internet. ISP's nemen abonnementen/contracten af voor internet met de Tier-1 providers, waarbij de Tier-1 providers het gehele netwerk onder de hoede hebben en de Tier-2 en lager zaken afnemen van Tier-1.

Tier-1 heeft verder dus een verbinding met andere Tier-1 netwerken (vanwege decentralisatie van internet) en wanneer we spreken in het artikel over een Tier-1 connectie met Zwitserland, spreken we over een Tier-1 netwerk dat verbonden is op Tier-1 niveau met een ander Tier-1 netwerk. Er zitten dus geen providers tussen en is P2P op Tier-1 niveau.

_{edit: eigen interpretatie van Tier-1 toegevoegd, laatste twee alinea's}

[Reactie gewijzigd door fluxtras op 22 juli 2024 21:10]

[Tupel]

Hier staat een aardige afbeelding van hoe de hiërarchie van een netwerk eruit ziet (in dit geval internet). Het verhaal eronder beschrijft ongeveer hetzelfde als de Nederlandse versie van Wikipedia, maar wel aardig wat uitgebreider.

Verder zeer interessant stuk! Het bedrijf waar ik werk maakt software voor verschillende markten, waaronder de keukenbranche. Hier worden nogal wat tekeningen mee gerenderd. Om hiermee richting fotorealisme te gaan, moet de kwaliteit zodanig opgeschroefd worden dat het niet meer praktisch is om dit op je eigen desktopje te renderen. Zo'n grid zou daar wel een mooie uitkomst voor zijn, maar ik weet niet of het wel zo toegankelijk is en wat het uiteindelijk gaat kosten.

Andere opties zijn dan waarschijnlijk technieken als cloud–computing zoals Azure o.i.d.

[VisionMaster]

Zie hierboven. De term is wel daarvan geleend, maar het wordt iets anders gebruikt.

[springtouwtje]

wat mij opviel is dat er gewoon ext3 wordt gebruikt i.p.v. ext4.
Ik vermoed dat ext4 nog teveel "unproven" was toen ze het systeem ontwierpen.

[smesjz]

Als ik het goed lees wordt ext3 alleen gebruikt voor het OS en zit alle data op XFS. De keuze voor ext3/ext4 is niet zo heel relevant voor de performance/stabiliteit van het grid.

[VisionMaster]

Er zijn sites die (Grid) services draaien op Debians en andere OS-en. Er zijn ook machines met ZFS. Maar die zijn in de minderheid, omdat er veel Red Hat Enterprise 5 wordt gebruikt (of eerder CentOS 5 en Scientific Linux 5) wordt gebruikt.

[Verwijderd]

zeg wordt het niet weer eens tijd voor een apenkoe

[VisionMaster]

Alweer

Zie lasermen's reply hieronder

[Verwijderd]

Kan ik hier ook aan bijdragen door middel van BOINC of andere grid software?

[KuuKe]

Of jij er aan kan bijdragen weet ik niet maar een deel van het grid dat bij het NIKHEF staat is afgelopen jaar een paar dagen gedraaid voor Rosetta@Home.

Da's uiteraard geen kern-activiteit maar het was nieuw en een stress-test was dus op zijn plaats. Er is een voorstel gedaan om de test van het nieuwe systeem te doen a.d.h. van een BOINC-client en dat is toen goedgekeurd. Die stress-test is uitgevoerd door o.a. tweaker Visionmaster die daar werkzaam is.

Het systeem had destijds de grootste moeite om alle cores aan de praat te houden want de workunits kwamen soms gewoonweg te langzaam binnen vanaf de Rosetta-servers

[VisionMaster]

Als je een aantal computers hebt met 16GB intern geheugen over voor exclusief gebruik, dan houden we ons aanbevolen De grid infrastructuur draait niet op BOINC, dus eenvoudig inhaken met een desktop is lastiger. Er zijn wel Desktop Grid omgevingen en vrijwilligers projecten.

Wat leuk is aan de EGI omgeving is dat je via (in-) directe projecten kan bijdragen met een BOINC client. Zoals Einstein@Home en LHC@Home en vele anderen.

Tijdens onze tests hadden we 2,5x de output van de toen nummer 1 met een deel van het cluster (de nieuwste hardware). Die stress-test vonden we leuk/nuttiger dan een benchmark draaien.

[Reactie gewijzigd door VisionMaster op 22 juli 2024 21:10]

[jip_86]

Vind het toch wel opmerkelijk dat iedere locatie dan weer zijn eigen OS en dergelijke kan kiezen. Lijkt me dat dit wel de kosten opdrijft om alles allemaal gelijk te houden.

Verder complimenten voor het artikel. Zulk soort achter de schermen artikelen mogen vaker langs komen.

[Verwijderd]

Zulk soort achter de schermen artikelen mogen vaker langs komen.

Zondermeer mee eens. Is leuk en soms zelfs nuttig leesvoer.

[Jeroen]

"Een botnetbeheerder zou er zijn vingers bij aflikken"

Ik betwijfel het. Een botnet is niet bedoeld om veel te kunnen rekenen.

[VisionMaster]

Alle machines hebben doorgaans een Gigabit internet verbinding. Dat lijkt me redelijk interessant voor dergelijke alternatieve vormen van gebruik.

[dasiro]

is 160Gbit uplink per chassis niet wat overkill? Akkoord het is future-proof, maar efficiënt gebruik lijkt me weinig waarschijnlijk

[VisionMaster]

Ter verduidelijking: http://www.nikhef.nl/grid/summary/netwerksummary.png

Het is dus 160Gbit backbone tussen de storage servers (rechts) en computer clusters (links). Een aantal 10Gbit verbindingen zorgen voor extern verkeer.