Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 58 reacties
Bron: ClusterVision, submitter: clustervision

ClusterVision is erg in zijn nopjes, want het mag een DAS-3 grid bouwen. Deze bestaat uit vijf Linux supercomputers die geplaatst zullen worden bij vier Nederlandse universiteiten. In totaal beschikt de grid over 550 AMD Opteron-processors, goed voor een rekencapaciteit van 3,5 teraflops. Verder zal de grid zijn uitgerust met 1TB aan geheugen en 100TB aan opslagruimte. De vijf supercomputers zullen via de optische backbone van SURFNet-6 op elkaar zijn aangesloten. Op de Universiteit van Amsterdam komen twee supercomputers te staan. Daarnaast krijgt de Vrije Universiteit van Amsterdam ook een supercomputer. De overige twee supercomputers staan op de Universiteit Leiden en de Technische Universiteit Delft. De grid zal gebruikt worden voor onderzoek naar distributed computing, grid computing, diensten en omgevingen voor e-science in de context van het VL-e (Virtual Laboratory for e-Science) project, multimedia knowledge discovery (MultimediaN project), bio-computing image databases en vele andere projecten.

DAS-3 grid

Lees meer over

Moderatie-faq Wijzig weergave

Reacties (58)

Goed nieuws lijkt me. Vooral bij de uni's lijkt het me belangrijk dat dit soort investeringen plaats vinden omdat dat de weinige plekken zijn waar nog echt fundementeel onderzoek plaats kan vinden.
Edit: ik had wel een erg kromme zin geschreven
Ik vraag me echt af of ze dat daar voor gaan gebruiken hoor... ik snap dit soort investeringen nog steeds niet wanneer er maar 10 man mee mag spelen...
Nee, als je zelf verzint dat er maar 10 man mee speelt is het ook niet te begrijpen. De realiteit is echter dat het aantal gebruikers veel hoger ligt. Voor wat betreft de VU: in een aantal masters hoort er een verplicht vak bij de huidige DAS2, en in deze masters zitten meer dan 10 man (en ik zei de gek hoort daar ook bij).
Maar bijvoorbeeld VL-e heeft als project niet zo veel master studenten als wel full-time onderzoekers in o.a. medische en e-science hoek.
Dit project alleen al trekt meer dan honderden mensen naar zich toe om te toepassingen van Grid computing te exploiteren.
Als het de juiste 10 man zijn... vooral doen! ;-)
Hij wordt wel degelijk veel gebruikt voor onderzoek. En het aantal mensen dat er gebruik van kan maken is ook niet zo beperkt als jij het stelt: elke student van die 4 universiteit kan er, als hij daar een goede reden voor heeft, gebruik van maken. Heb zelf ook m'n afstudeer-project gedaan op de DAS2. Het soort onderzoek dat erop gedaan wordt staat op de links die wacko hieronder heeft gegeven.
Hier wil ik wel aan toevoegen dat je voor fundamenteel informatica-onderzoek geen supercomputer nodig hebt. Fundamenteel lijkt me een ander woord voor theoretisch en droog onderzoek.

Het is wel nuttig voor praktisch onderzoek en specifiek voor onderzoek in bijvoorbeeld de biologie, natuur- en scheikunde.
Wow, als je daar een paar dagen en koetje op mag draaien voor DPC dan gaan we de russen wel goed voorbij :D :9
Misschien moet ik toch maar naar de TUdelft ipv enschede :P
Ik miste UTwente ook al op het plaatje :( Maar de studie AT vind ik veel te leuk om naar delft te gaan :D
Waarschijnlijk zit de UTwente backbone naar Surfnet6 al vol met "ander verkeer" :P
AT'ers zouden deze computer op een hele andere manier gebruiken, vooral gamen en downloaden :P. Dat weet ik heel goed als ex-at'er ;)
@Dxue: They're on to me... :9
Je kan sowieso beter naar Delft gaan dan naar Enschede! 8-)
De grid zal gebruikt worden voor onderzoek naar distributed computing, grid computing
Ik denk dat ze dat soort dingen wel gaan draaien er op voor onderzoek.

of ze moeten nieuwe Distributed applicaties gaan ontwikkelen.
De DAS ondersteunt onderzoek vooral omdat je er grote(re) simulaties op kunt draaien via een batch systeem. Er zijn eigenlijk 2 catagorien:

- Een korte tijd veel CPUs reserveren voor een grote simulatie.
- Een zooi kleinere jobs voor 1 CPU parallel starten om veel rekenwerk te kunnen doen in korte tijd.

We hebben het hier vooral over parallel rekenwerk (matrices vermenigvuldigen, etc), over gedistribueerde applicaties (grids, P2P applicaties) en grote simulaties van modellen (vliegtuigen, virtual reality, wireless sensor networks, noem maar op).

Je wilt hierbij zoveel mogelijk CPUs hebben zowel om grote simulaties te kunnen doen als om zoveel mogelijk gebruikers tegelijkertijd de DAS te kunnen laten gebruiken.

Ik bijvoorbeeld doe nu onderzoek naar P2P video streaming aan de TU Delft. Meer en krachtigere CPUs leveren gewoon betere metingen aan m'n applicatie op. Dit betekent beter onderzoek, sterkere wetenschappelijke conclusies en dus meer inkomsten voor de universiteit. En het is regelmatig druk op de DAS, en samen met hun verouderde CPUs (Pentium III) verwelkom ik een upgrade. Een half uur moeten wachten om even een test te kunnen draaien is vrij vermoeiend. Zeker als je bugs aan het opsporen bent die alleen optreden als je veel CPUs gebruikt ;)
Voor wie nog wat geschiedenis wilt opdoen; de VU heeft de volgende sites over het originele DAS-cluster en het momenteel werkzame DAS2-cluster:
http://www.cs.vu.nl/das/
http://www.cs.vu.nl/das2/

Vooral leuk om de specs te bekijken, van Pentium Pro 200 MHz CPUs naar Pentium III 1 GHz dual CPUs, en nu dus Opterons.

Van de eerste heb ik nog een module thuis liggen die we hebben kunnen bietsen toen ze werden weggegeven ;)
Damn; ik wordt oud; ik zat op de VU ten tijde van DAS 1 ... was een kleine revolutie toen Tanenbaum die dingen ging kopen :Y) ... 128 en later nog eens 64 Pentium Pro's klonk toen ook stukken indrukwekkender dan 550 Opertons nu :z

PS: NOFI voor de Opteron, maar dergelijke clusters zijn nu meer 'gemeengoed' geworden dan toen :+

@VisionMaster: Je mist 'm punt denk ik; 10 jaar geleden was DAS een nieuw concept (zoveel paralelle x86 CPUs in 1 grid) en had ie ookal een snelle verbinding (van 10 naar 33 naar 622 Mbps volgens mij); anno 2006 zijn het gewoon meer & sneller, maar er is fundamenteels niets veranderd en er zijn tegenwoordig meer van dergelijke clusters (en 10 Gbps verbindingen), 10 jaar geleden niet. En het het 'gemeengoed' stond natuurlijk niet voor niets tussen quotes ;)
edit: :Y) ok, je hebt daar gelijk in. Ik heb je quotes dan niet helemaal goed begrepen. :)


Uhm gemeengoed?, niet iedereen besteld zijn clustertjes met de nieuwste Myrinet en gooit ieder los cluster aan een 10Gbit/s dedicated backbone als inter-cluster connects met voldoende bandbreedte naar de rest van deze planeet via SurfNet.
* manyac heeft zelfs nog een das-1 module in gebruik. Hij staat (niet aangesloten) onder m'n monitor omdat die anders te laag staat :-)
3,5 teraflops... pfffft :P
Mja, met 17 playstation 3's ben je er ook ;)
Als ik me niet vergis worden de tf's op de ps3 veroorzaakt door grafisch rekengeweld en zijn dit nou niet echt de berekeningen die hier op uitgevoerd worden denk ik.

Die floppies die in de ps3 zitten zijn hardstikke leuk, nah ja, om crash bandicoot een mooier vachtje te geven maar de uitkomsten van de berekeningen zijn denk ik niet zo betrouwbaar en nauwkeurig als dit "computertje"

C++ meuk compilen duurt op een ps3 toch echt langer als op een P4 2.0
Nounou, niet zo negatief :P

In deze publicatie wordt toch echt gesproken over 46,8GFlops bij het uitvoeren van een FFT. Dit in tegenstelling tot de 1,5-2GFlops die een "normale" processor haalt.

Aangezien de DAS een gedistribueerd systeem is ben ik benieuwd wat de doorvoer is voor een FFT :)
nee, want als je het grafisch geweld zou rekenen, was je met twee stuks al klaar.

De cell CPU doet zo'n 280 GFlops volgens de wiki pagina van de PS3 :P
Nuttig zo'n investering terwijl het onderwijs in nederland rampzalig slecht is.
Ik weet niet waar je dat op baseert, Punica, maar op vrijwel elke wereldwijde ranglijst die je kunt verzinnen staan vrijwel alle Nederlandse universiteiten minstens in de top-200 (zowel op gebied van onderzoek, als op het gebied van het kennisniveau van afgestudeerden). Een aantal Nederlandse instellingen staat op bijvoorbeeld onderzoeksgebied zelfs in de top-50 van alle instituten ter wereld.

Zo slecht doen we het dus niet, met dat rampzalig slechte onderwijs :P
Ja, ze staan misschien wel in de top op ONDERZOEKSgebied, maar dat zegt nog bar weinig over de ranking op ONDERWIJSgebied. En ook ik ben van mening dat de kwaliteit van het onderwijs op universiteiten erbarmelijk is!

Die goede onderzoekers vliegen ze in/huren ze voor zeer veel geld! Onderwijs kost alleen maar geld en levert weinig prestige op aangezien hier geen fatsoenlijke rankings voor zijn...
Het is maar hoe je het bekijkt. De groepjes die hier mee mogen werken zijn niet bepaald rampzalig slecht in hun werk. (Dat zegt niets over de het nut van hun projecten, maat dat terzijde.)
Natuurlijk zou het geld ook goed besteed kunnen worden om de slechte delen in het onderwijs wat aan te pakken, maar daar is het budget te krap voor om daar echt wat blijvend zinnigs mee te doen.
Deze investering valt onder de portefeuille onderzoek en niet onderwijs, lijkt mij.
1 TB intern geheugen, tering he
valt reuze mee hoor. Dat is zo'n 2 GB voor iedere Opteron.
Het gaat hier om rekenkracht, geheugen is minder belangrijk. Feitelijk alleen om het OS te draaien.

Clustervision kennende wordt dat hun eigen Linux OS.
Geheugen minder belangrijk, nou... dat ligt er aan wat je doet!
Er is hiero een theoreet die zijn quad Opteron met 16GB en 4TB aan storage volledig kan benutten. Die heeft een programma die een formule probeert uit te splitsen en op te delen in kleinere losstaande delen. Dit betekent dat de software ervoor zorgt dat de formule in de breedte (mucho geheugen) wordt vereenvoudigd, om vervolgens de rekenslag sneller te kunnen maken dan Maple en dergelijke programma's. (ook als plugin te krijgen op Maple).
Geheugen is wel degelijk belangrijk bij simulaties e.d.
Hoe meer je in je geheugen kwijt kan, hoe langer je kan rekenen voordat je je resultaten naar disk hoeft te schrijven.
En disks zijn extreem langzaam.
Wat zegt dat over de transportsnelheid van Surfnet-6? Kan dat net eventuele pieken aan?
10GBIT ip verbinding of rechtstreekse optische verbindingen. En ze gebruiken dat laatste. erg snel dus.

Maar als ik de bron goed begrijp is een van de onderzoeks doelstellingen juist proberen de negatieve effecten van de lange afstanden zo klein mogelijk te krijgen.

En laten we wel wezen, als het je in eerste instantie om performance is te doen, ipv. onderzoek, dan zet je het hele spul natuurlijk op een lokatie. Zoveel is het nou ook weer niet.
Als je de performance van het hele cluster bij elkaar wilt op tellen, dan zet je het bij elkaar voor je maximale score. Maar niet iedere Uni wil meebetalen aan een machine die niet voor een deel zelf eigendom is, want dan moet het NWO/NCF de investering doen en dus van hogerhand de beslissing worden gemaakt.
Nu heb je 'the best of both worlds' en lokaal en je kan meer rekenkracht samenscharen voor je doel als je dat nodig heb.

Trouwens... vanuit de VU is er dus onderzoek naar de hoge latency verbindingen en de oplossingen om hier sneller mee om te gaan en dat gebeurt samen met vooral Franse onderzoekscentra die met hetzelfde begrip bezig zijn.
Er zijn zat studenten die dat effe doen, maar krijgen daarna een rotschot en een ban van de admin, als ik me niet vergis. Maar ja... werkelijk rekenkrachtig onderzoek en }:O -tje draaien kan nog wel eens ongemerkt gebeuren ;)
Nieuw-Amsterdam ;)
en nu nog ff een cluster met Twente en Eindhoven, die rulen op Informatica gebied veel meer ;) (Op Andy @ VU na that is)

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True