Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 134 reacties

De Astra-onderzoeksgroep aan de Universiteit van Antwerpen heeft na de afronding van de met vier 9800GX2-kaarten uitgeruste Fastra-pc in mei vorig jaar een nieuw rekenmonster gebouwd. De Fastra II beschikt over 13 gpu's, goed voor 12 teraflops.

De eerste Fastra-pc werd door de Astra-onderzoeksgroep ontwikkeld om van 2d-beelden die afkomstig waren van een ct-scanner 3d-modellen te berekenen. De eerste Fastra was uitgerust met vier MSI 9800GX2-kaarten, waarbij de 128 streamprocessors per gpu via Cuda aan het werk werden gezet. De rekenkracht van de hardware, die destijds een waarde van een kleine vierduizend euro vertegenwoordigde, zou overeenkomen met de rekenkracht van circa 350 cpu's. Hierdoor was het niet langer nodig om een kostbaar cluster in te zetten.

Omdat de studenten in hun tomografie-onderzoek met afbeeldingen van steeds hogere resolutie werken, bleek meer rekenkracht nodig. Daarom werd met behulp van een aantal sponsors begonnen aan de bouw van een opvolger van de Fastra. Het uiteindelijke systeem, dat tot Fastra II is gedoopt, is uitgerust met in totaal dertien gpu's. Twaalf daarvan zijn te vinden op een zestal Nvidia GTX295 dual-gpu-kaarten, terwijl er ook nog ruimte werd gevonden voor een GTX275-kaart met een enkele gpu. Deze laatste kaart was nodig om het systeem met behulp van een custom-bios te kunnen laten booten.

Voor Fastra II is een speciale behuizing gebouwd waarin vier voedingen met een totaalvermogen van 2850W de videokaarten van stroom moeten voorzien. Ook werden flexibele pci-express-risers gebruikt om alle kaarten met het Asus P6T7 WS-moederbord te verbinden. De Fastra II, centraal aangestuurd door een Intel Core i7 920-processor en voorzien van 12GB ddr3-geheugen, bevat circa zesduizend euro aan hardware. Met de 240 rekeneenheden per gpu kan onder de Linux-distro CentOS volgens de onderzoekers een maximale rekenkracht van 12tflops worden behaald. Daarbij wordt bij volle gpu-belasting in totaal 1200W verstookt.

Hardware van de Fastra II Hardware van de Fastra II Hardware van de Fastra II Hardware van de Fastra II
Moderatie-faq Wijzig weergave

Reacties (134)

1 2 3 ... 6
Op basis van de aanschafprijs van hun 4 jaar oude supercomputer (€3,5 miljoen) kan je voor het zelfde geld ongeveer 583,33 * 4 ~= 2333,33 snellere supercomputer cluster aanschaffen, mits ze de stabiliteitsproblemen opgelost hebben. Dat zou neerkomen op max 7000 Teraflops = 7000000 Gigaflops.

Dit vergeleken met de snelste uit te Top 500 Supercomputers (http://www.top500.org/system/performance/10184) welke een max van 2331000 Gigaflops verwerken kan, gelijk doorverwijzen naar de 2e plaats voor de komende 3 jaar. (Wet van Moore in acht genomen) Helaas vind ik geen informatie over de aanschaf kosten van deze snelste Cray zodat ik geen vergelijking op prijs kan maken.

Ook de benodigde energie van een dergelijk cluster versus de Cray Jaguar lijkt me aannemelijk vele malen lager te liggen waardoor zo'n cluster ook nog 'groen' supercomputert.

Kortom dit lijkt me de weg om te bewandelen wanneer je academische rekenkracht behoeft in de nabije toekomst. Niet geschikt voor alle doeleinden uiteraard daar GPU's te gespecialiseerd zijn vergeleken met CPU's.
die "speciale" behuizing trekt toch verdacht veel op de lian-li armorsuit PC-80? Ik vermoed dat het gewoon een kleine mod van die case is ipv een totaal nieuw ontwikkelde case.

maar goed, dat doet er niets vanaf dat dit super prestaties neerzet voor relatief weinig geld. Mooie evolutie :)
Dat is 'm inderdaad. Volledige specs staan hier:
http://fastra2.ua.ac.be/?page_id=49
Het is gewoon de Lian-Li P80 Armorsuit. Alleen de ophanging van de videokaarten is met een stukje maatwerk gedaan.
Zoals ze zelf zeggen: http://www.dvhardware.net...esktop_supercomputer.html
# Lian-Li PC-P80 Armorsuit: This case was chosen because of the massive amount of working space.
In een filpje over de Fastra II zeggen ze ook dat ze een aparte behuizing hebben laten maken om de videokaarten vast te houden, omdat ze dmv risers boven het moederbord "zweven", en dus niet op de normale manier vastgemaakt konden worden.

Het gaat hier slechts om een soort bracket, die in de kast zelf zit.
Met de 240 rekeneenheden per gpu kan onder de Linux-distro CentOS volgens de onderzoekers een maximale rekenkracht van 12tflops worden behaald.
Kŗn behalen? Dus er zijn nog geen benchmarks?
Benchmarks zijn Hier te vinden.

Valt me wel op dat dat ding veel warmte produceert
Hij meet de temperatuur van een blok en die valt me eigenlijk nog mee. Ik heb hier een videokaart die toch echt wel wat warmer wordt (5870 + stock koeler) en in deze testcase houden de onderdelen elkaar warm (warmte kan maar op enkele plekken weg).
Een oude GTX280 kan over de 80 graden warm worden, zelf ervaring mee gehad.
80 graden stel niet zoveel voor. Een soldeerbout wordt nog veel warmer, maar daar merk je niets van. Wat wel uitmaakt, is de warmte-energie (dus niet de temperatuur) en die is bij een videokaart natuurlijk veel hoger dan bij een soldeerbout :)

Dus "80 graden" is niet per se "veel warmte" ;)

[Reactie gewijzigd door _Thanatos_ op 14 december 2009 15:13]

Kijk eens op die tweede foto van die link die jij stuurde, daar staat een lego poppetje bij :Y)
Dat is een Playmobil poppetje ;)
kan aan mij liggen maar ik zou er meer efficientie uitgooien als men nog een 7 stuks aan waterblokken tegen de gpu's aan zou plakken. dan is het nut van die risers ook ineens overbodig gezien men dan nog maar 1 slot nodig heeft en de koeling ook wat tactischer kan plaatsen. de gpu's zullen dan ook veel minder snel in de thermische beveiliging lopen en is zelfs een schappelijk overklockje van 10~15% ineens erg zinvol.
Je kunt die GTXen gewoon voorzien van waterkoeling intern (aquacomputer.de) , maar het is niet nodig. Ze lopen prima op luchtkoeling. Zo'n waterkoeling kost je veel meer geld. Ook als je een GTX295 overclockt heb je geen waterkoeling nodig. 18% is haalbaar. Die van mij kunnen 24/7 op 680 MHz.

Het geluid is een beperkende factor om bij het apparaat in de buurt te zijn. 4 stuks GTX295 maken al vrij veel herrie, laat staan 6 of 7 van die dingen.

De temperatuur blijft overigens meestal rond de 80 graden, afhankelijk van de fansnelheid. 80 graden bij 80% is een normale situatie.

Ik heb zo'n machine gebouwd met 4 x GTX295 en hij draait prima.
De opvolger was bedoeld te draaien met Fermi, maar ja... En nu de HD5970 vertraagd zijn in de levering is het even afwachten geblazen.

[Reactie gewijzigd door rocksolid op 14 december 2009 13:26]

ziek , zet maar in me kamer :) , maar waarom geen aangepast server bordje met 2 cpu's en 32 gig ram?
omdat de 'super' computer zijn rekenkracht over de GPU's laat lopen.

en dus de rekenkracht van de CPU niet nodig is, enkel voor het aansturen van de videokaarten.

(Iets met CUDA, en vele malen sneller dan het renderen via CPU)

edit: schijnbaar is een 920 i7 met 12gb voldoende om alle kaarten aan te kunnen

[Reactie gewijzigd door Koakie D op 14 december 2009 09:48]

meestal wordt een systeem met zo een goeie gpu gebottleneckt door de cpu? dus de prestaties zijn nog niet wat het kan zijn.

Wil ook niet weten hoe warm het daar in dat systeempje is. Waterkoeling is nu wel aanteraden.
meestal wordt een systeem met zo een goeie gpu gebottleneckt door de cpu? dus de prestaties zijn nog niet wat het kan zijn.
Dat valt nog heel erg mee hoor. Mijn Q9450 @ stock speeds heeft maar ~2% load nodig om 2 8800GT's aan de gang te houden voor Folding@Home.

Het is simpelweg zeer afhankelijk van wat voor een applicatie je draait. Vergeet niet dat er bij het spelen van games nog veel meer komt kijken dan alleen maar een beeld produceren. Denk aan alle game-logica, scripting, physics, geluid, netwerk, post-processing, etc. Dan gaat het ineens wel hard met je CPU-gebruik. Programma's als de GPU client van Folding@Home draaien vrijwel volledig op de GPU en hebben de CPU slechts af en toe nodig om van data te worden voorzien of om data terug te sturen.

[Reactie gewijzigd door Bubbles op 14 december 2009 10:24]

Het verschil is gewoon dat dit gemaakt is om volledig op je GPU's te draaien en een spel laat vaak alleen de graphics (en soms physics) over je videokaart draaien... Er zal ook steeds meer door de gpu gedaan gaan worden ook in spellen!
In games, ja. Maar hier wordt alles wat uitgerekend moet worden verdeeld over de videokaarten. Zie het als een renderfarm. Een renderfarm verdeelt de uit te rekenen informatie over verschillende PCs, deze PC verdeelt de informatie over de GPU's, die het veel kostenefficiŽnter uit kunnen rekenen dan een renderfarm.
omdat de 'super' computer zijn rekenkracht over de GPU's laat lopen.

en dus de rekenkracht van de CPU niet nodig is, enkel voor het aansturen van de videokaarten.
Precies. Is het niet zo dat alle gegevens en taken via de CPU moeten gaan? Om 5 videokaarten (13 GPU's) van voldoende gegevens te verzorgen heb je volgens mij ook wel een stevige CPU (meervoud?) nodig.

Maar dat kan ik verkeerd hebben natuurlijk, of dat kan triviaal zijn.
Voor het gegevens doorpompen hebben we de PCI-e-bus, zover ik weet geeft dat direct toegang tot het geheugen. Ergo kunnen videokaarten dit ook zelf afhandelen ;)
dat kun je wel zo stellen - maar in hun geval zou ik toch een bedrijf als msi (ofzo) vragen om op basis van een degelijke chipset... en bijv een phenomII x3 (bijv), een standaard pc te bouwen,

is het immers niet VEEL makkerlijker (en dus goedkoper) om op basis van een linux kernel, het systeem te booten, - bovendien kun je dan bepaalde managed code schrijven, wat je ontwikkeltijd kan bekorten ... bovendien kun je dan ook direct gebruik maken van zaken als printen, de tcp stack, en tal van andere benodigdheden om iets met je onderzoek te doen...

bovendien zou je dan tzt in elk ziekenhuis de arts in staat kunnen stellen om 3e beelden beter te bekijken??
budget? het is tenslotte een studenten bak he ;)
Mwa, met 6K aan hardware, volgens mij een aangepast moederbord (6 PCI-e op een burgerplank? No way) P6T7 gaat voor 400-ish euro over de toonbank zo te zien, en verder nog flink wat manuren om het draaiende te krijgen (maar een beetje tweaker doet dat zelf ;) ).
Omdat de cpu's hier niet voor de rekenkracht zorgen maar de GPU's ;)
De reden is niet dat de twee processoren niet bruikbaar ingezet zouden kunnen worden, maar omdat serverhardware niet op GPU's berekend is. Serverhardware voor GPU's komt slechts mondjesmaat op de markt. 7 videokaarten op een serverbord was in ieder geval onmogelijk geweest, bij mijn weten is het maximaal mogelijke 4, en dat is praktijk al niet doenlijk i.v.m. overige insteekkaarten.
Deze kaarten werken toch niet in SLI? Dus in gaming benchmarks zal hij niet meer presteren dan 1 GTX 295 denk ik :?
idd maar voor cuda is dit ook niet nodig. Ik vraag me zelfs af of dit wel allemaal in een pc moet zitten. cuda is volgensmij ook schaalbaar naar meerdere computers. denk maar aan distributed-computing ( Folding@home )

[Reactie gewijzigd door DigitalTux op 14 december 2009 09:56]

Don’t you need SLI?
No. SLI is not required for addressing multiple GPUs within the NVIDIA CUDA programming model. Moreover, we don’t even need SLI for our application, as our GPU computation involves no communication between the GPUs.

Dat stond op hun website, vroeg het mij namelijk ook al af ;)
Ze werken ook niet in SLI, elke kaart wordt apart gestuurd, en krijgt aansturing via CUDA. SLI is alleen voor beeld, dat is hier niet van toepassing
SLI is ook niet nodig volgens mij om deze kaarten met CUDA te gebruiken. SLI is vooral voor 3d rendering van games nodig afaik. Voor de berekeningen gebruiken ze hun eigen software die wel alle kaarten kan aanspreken.

offtopic. niemand het verdwaalde playmobil poppetje gezien?

[Reactie gewijzigd door Gizzy op 14 december 2009 09:59]

ik verwacht ook niet dat hun hun ook maar iets kan schelen hoe dit systeem presteerd in gaming benchmarks... Dat is hetzelfde als het willen uitdrukken van de performance van een onderzeeŽr in hoe snel het met of zonder ABS remt ;) je kunt het er wel in uitdrukken (0) maar je hebt er niets aan...

[Reactie gewijzigd door TIGER79 op 14 december 2009 10:21]

Zou hij WoW kunnen draaien? :P
Met de juiste software en drivers > Ja.
Zoals hij nu draait > Nee.

Zeer mooie supercomputer. Wat ik me wel afvraag in hoevere dit schaalt? zijn dit soort pc's bijvoorbeeld in clusters te zetten. Desondanks prima alternatief voor de kleinere onderzoeks labaratoriums om onderzoeken op uit te voeren ipv een veel duurdere "echte" supercomputer!
Hoeverre het goed schaalt naar meerdere clusters of nog meer cpu's is erg afhankelijk van het op te lossen probleem, vaak bepaald door de benodige data bandbreedte.

In dit geval gaat het om tomografie waarbij je als ware een soort xray foto's hebt onder veel verschillende hoeken. Bij de state of the art methoden word dan een 3d kubus met onbekenden licht absortie waarden van b.v. vlees en bot, met behulp van de foto's(meetdata) opgelost met een stelsel van vergelijkingen.

Dit probleem schaalt erg goed omdat je het kan oplossen door van lage resolutie naar hoge resolutie te werken, waarbij je elke gpu een overlappende sub-kubes laat doen
Als je de 7de videokaart zou vervangen door een infinibandkaart, dan zou je een groot cluster van dit soort machines kunnen bouwen. Zo een leuke gooi zijn om hoog in de top500 te komen.
ik zou dan wel met stikstofkoeling aan de gang gaan - en hier-en-daar stroom lenen bij de buren .... :) ....
Dit staat niet bij een particulier thuis.

zie het zo 12 teraflops bij 1200 watt verbruik en 2850 watt aan voedingen. Genoeg voedingen dus.

Je kan dus stellen men per terraflop 100 watt verbruikt bij 240 watt voeding.

Lees nu eens na hier op tweakers wat een beetje echte supercomputer met 2000 nodes quadcore cpu's verbruikt en je zult zien dat dit een rekenwonder is met weinig verbruik.

Het grote verschil is natuurlijk dat deze computer voor 1 taak gemaakt is, het 3d maken van 2d scans.

De gpu's zijn daar natuurlijk ideaal voor en kijk je naar de kosten van deze superpc dan is het voor wat hij doet gewoon een koopje.

Leuk initiatief dus.
Zeker mooi initiatief. Tuurlijk, deze pc is inderdaad gebouwd voor 1 enkel doel, maar dat doet niet af aan de resultaten:
weinig verbruik voor een superpc, weinig storage-space nodig, en toch ff 12 teraflops aan rekenkracht trekken. menig }:O is jaloers... :Y)

Hahahaha aan het einde van het filmpje neemt zij zijn nieuwe pc in haar bakfiets mee, alsof het hun kindje is :D

[Reactie gewijzigd door DeArmeStudent op 14 december 2009 11:54]

Dit staat niet bij een particulier thuis.
Ik mag je corrigeren, ik heb ook zo'n 8-way machine thuis. Ik was al bezig met de opvolger maar ze zijn me voor, helaas (gelukkig ?)
Max. 2850W in ongeveer 4U valt nog best mee, ik heb erger meegemaakt :) Je hebt watergekoelde rekken nodig, daar kan je 30kilowatt per rek mee afvoeren. Dat soort rekken zuigen achter de servers hete lucht aan, laten het langs ijskoud water stromen en blazen het voor de servers weer uit. Dit soort spul wordt al veel gebruikt in clusters, want bijvoorbeeld 4 Nehalems per U gebruikt ook niet niks.
Op de vorige Fastra zat ander iemand Crysis te spelen in het fimpje. Een student o.i.d. die daarna de Fastra te werk liet zien, maar daarvoor zat hij gewoon te gamen.
Ja, WoW zal draaien. Echter is WoW niet echt videokaart afhankelijk, maar meer CPU afhankelijk. Dus veel sneller dan dezelfde configuratie met 1-2 GPU's zal het niet zijn.
Alleen worden deze GPU's gebruikt voor ook onder andere CPU taken :)

Gaat niet om de resolutie van een spel, maar echt brute universele rekenkracht.

Kan me nog herinneren dat ze in 1997 met 9200 Pentium Pro CPU's 1,2 Tflops behaalden

[Reactie gewijzigd door Pmf1971 op 14 december 2009 12:19]

denk het wel :) WoW schijnt prima te lopen onder Wine, dus ik denk dat de vraag meer is: wat voor resolutie video wall kan je gebruiken om WoW op te spelen :+
eerder: wat voor resolutie kan WoW ondersteunen.

12 GPU's voor een 4:3 monitor opstelling die elk op een resolutie van 2560*1920 draaien geeft een mooie 16:9 desktop van 10240*5760
Waarom hebben ze eigenlijk gekozen voor nVidia? Kan natuurlijk zijn dat AMD geen CUDA heeft, maar ik dacht dat die wel een eigen tegenhanger hadden?
Hoe dan ook, dat is een gigantisch systeem. Wat ik me afvraag is wat nu het grote verschil is tussen CPU's en GPU's. Waarom zijn GPU's zoveel sneller?
Omdat Cuda veel verder is dan de tegenhanger van ATI. Kijk eens naar de prestaties van Nvidia kaarten bij Folding@Home. Een simpele GTX260 is zelfs nog veel sneller dan een ATI 5870.
Hallo dat is omdat F@H momenteel voor NVIDIA is gemaakt. De 5jaar ervoor was het een ATI die je gebruikte bij F@H en NVIDIA werktte zelfs niet want ze hadden het niet.

Maar uiteraard folden tweakers niet omdat ze weten dat je beter geld kan storten als je een project gericht wil helpen.
Aha, laat ze dat maar niet horen bij DPC dan.... |:(

On: Toch heeft Nvidia met Cuda duidelijk een product in handen waar het veel resources insteekt. Het aantal producten dat Cuda gebruikt neemt snel toe, mede dankzij de hulp die Nvidia daarbij biedt.

[Reactie gewijzigd door Arjant2 op 14 december 2009 17:11]

ATi Stream is de tegenhanger ja. Maar volgens mij ondersteund AMD/ATi ook al OpenCL. Dat de standaard moet worden/is geworden. Dus dat hadden ze ook kunnen gebruiken. 13x HD5970 levert meer performance dan 13x nVidia GTX 295 in ieder geval. Maar er zal wel een reden voor zijn waarom ze voor nVidia gekozen hebben.
Waarschijnlijk omdat ze gewoon de CUDA code van het vorige project opnieuw gebruiken.

Anders hadden ze dat naar OpenCL moeten over zetten.
als je zuiver naar beschikbare rekenkracht onder OpenCL zou kijken dan was ATI waarschijnlijk de beste keus geweest.

ATI ondersteunt niet alleen OpenCL, maar is daar juist een aanjager van. Nvidia hangt nog sterk vast aan CUDA omdat ze daar erg veel reclame voor gemaakt hebben, en ze liever niet hebben dat iedereen makkelijk naar ATI hardware kan switchen.
Waar is dit nou eigenlijk voor nodig?
Er zijn toch nog lang geen spellen / apps die zoiets 'nodig hebben'..?
wetenschappelijk berekeningen :9
Wat dacht je van Simulatie modellen die normaal op supercomputers draaien?
Dit is wat betaalbaarder en heeft toch behoorlijk wat rekenkracht om een beetje simulaties te kunnen draaien.
"Omdat de studenten in hun tomografie-onderzoek met afbeeldingen van steeds hogere resolutie werken, bleek meer rekenkracht nodig."
Artikel niet gelezen?

Het is niet bedoeld voor games, totaal niet zelfs.

'2d-beelden die afkomstig waren van een ct-scanner 3d-modellen te berekenen, een specialisatie die bekend staat als tomografie'

Het is bedoeld voor Tomografie
...
"ontwikkeld om van 2d-beelden die afkomstig waren van een ct-scanner 3d-modellen te berekenen, een specialisatie die bekend staat als tomografie."
er zijn bepaalde vakgebieden waar er een heeeeeeeeel stuk meer rekenkracht nodig is dan wat jij met spelletjes nodig hebt ;)
En dit is nog niets, kijk mara naar de rekenkracht van supercomputers die zich bezighouden met kernexplosie-simulatie of cryptografie...
Die zouden volgens jouw logica ook niet nodig zijn, maar dus wel ;)

[Reactie gewijzigd door TIGER79 op 14 december 2009 10:18]

"vier voedingen met een totaalvermogen van 2850W"

ik zie er maar een.....1500w
Staat wat over in de benchmark pagina (ook interessant om te zien):

http://fastra2.ua.ac.be/?page_id=53
...and the power supply units (the main one at the top and the three in the drive bays) are also clearly generating heat.
Er zitten er zo te zien 3 verstopt in de 5,25" bays..
1 2 3 ... 6

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True