Hoofdcategorieën
Device Settings

Fastra II-pc weet met 13 gpu's 12 teraflops te behalen

Door Dimitri Reijerman, maandag 14 december 2009 09:37, views: 25.894

De Astra-onderzoeksgroep aan de Universiteit van Antwerpen heeft na de afronding van de met vier 9800GX2-kaarten uitgeruste Fastra-pc in mei vorig jaar een nieuw rekenmonster gebouwd. De Fastra II beschikt over 13 gpu's, goed voor 12 teraflops.

De eerste Fastra-pc werd door de Astra-onderzoeksgroep ontwikkeld om van 2d-beelden die afkomstig waren van een ct-scanner 3d-modellen te berekenen. De eerste Fastra was uitgerust met vier MSI 9800GX2-kaarten, waarbij de 128 streamprocessors per gpu via Cuda aan het werk werden gezet. De rekenkracht van de hardware, die destijds een waarde van een kleine vierduizend euro vertegenwoordigde, zou overeenkomen met de rekenkracht van circa 350 cpu's. Hierdoor was het niet langer nodig om een kostbaar cluster in te zetten.

Omdat de studenten in hun tomografie-onderzoek met afbeeldingen van steeds hogere resolutie werken, bleek meer rekenkracht nodig. Daarom werd met behulp van een aantal sponsors begonnen aan de bouw van een opvolger van de Fastra. Het uiteindelijke systeem, dat tot Fastra II is gedoopt, is uitgerust met in totaal dertien gpu's. Twaalf daarvan zijn te vinden op een zestal Nvidia GTX295 dual-gpu-kaarten, terwijl er ook nog ruimte werd gevonden voor een GTX275-kaart met een enkele gpu. Deze laatste kaart was nodig om het systeem met behulp van een custom-bios te kunnen laten booten.

Voor Fastra II is een speciale behuizing gebouwd waarin vier voedingen met een totaalvermogen van 2850W de videokaarten van stroom moeten voorzien. Ook werden flexibele pci-express-risers gebruikt om alle kaarten met het Asus P6T7 WS-moederbord te verbinden. De Fastra II, centraal aangestuurd door een Intel Core i7 920-processor en voorzien van 12GB ddr3-geheugen, bevat circa zesduizend euro aan hardware. Met de 240 rekeneenheden per gpu kan onder de Linux-distro CentOS volgens de onderzoekers een maximale rekenkracht van 12tflops worden behaald. Daarbij wordt bij volle gpu-belasting in totaal 1200W verstookt.

Hardware van de Fastra II Hardware van de Fastra II Hardware van de Fastra II Hardware van de Fastra II
Hier had een filmpje kunnen staan maar je browser heeft blijkbaar geen flash-support of javascript is uitgeschakeld...
Volgende 10:01 LucasArts kondigt Star Wars: The Force Unleashed II aan
Vorige 09:34 Video: Prince of Persia: The Forgotten Sands
Advertentie

Reacties

«  1  2  3  4  5  6  »

Zou hij WoW kunnen draaien? :P

Met de juiste software en drivers > Ja.
Zoals hij nu draait > Nee.

Zeer mooie supercomputer. Wat ik me wel afvraag in hoevere dit schaalt? zijn dit soort pc's bijvoorbeeld in clusters te zetten. Desondanks prima alternatief voor de kleinere onderzoeks labaratoriums om onderzoeken op uit te voeren ipv een veel duurdere "echte" supercomputer!

Als je de 7de videokaart zou vervangen door een infinibandkaart, dan zou je een groot cluster van dit soort machines kunnen bouwen. Zo een leuke gooi zijn om hoog in de top500 te komen.

ik zou dan wel met stikstofkoeling aan de gang gaan - en hier-en-daar stroom lenen bij de buren .... :) ....

Max. 2850W in ongeveer 4U valt nog best mee, ik heb erger meegemaakt :) Je hebt watergekoelde rekken nodig, daar kan je 30kilowatt per rek mee afvoeren. Dat soort rekken zuigen achter de servers hete lucht aan, laten het langs ijskoud water stromen en blazen het voor de servers weer uit. Dit soort spul wordt al veel gebruikt in clusters, want bijvoorbeeld 4 Nehalems per U gebruikt ook niet niks.

Dit staat niet bij een particulier thuis.

zie het zo 12 teraflops bij 1200 watt verbruik en 2850 watt aan voedingen. Genoeg voedingen dus.

Je kan dus stellen men per terraflop 100 watt verbruikt bij 240 watt voeding.

Lees nu eens na hier op tweakers wat een beetje echte supercomputer met 2000 nodes quadcore cpu's verbruikt en je zult zien dat dit een rekenwonder is met weinig verbruik.

Het grote verschil is natuurlijk dat deze computer voor 1 taak gemaakt is, het 3d maken van 2d scans.

De gpu's zijn daar natuurlijk ideaal voor en kijk je naar de kosten van deze superpc dan is het voor wat hij doet gewoon een koopje.

Leuk initiatief dus.

Zeker mooi initiatief. Tuurlijk, deze pc is inderdaad gebouwd voor 1 enkel doel, maar dat doet niet af aan de resultaten:
weinig verbruik voor een superpc, weinig storage-space nodig, en toch ff 12 teraflops aan rekenkracht trekken. menig }:O is jaloers... :Y)

Hahahaha aan het einde van het filmpje neemt zij zijn nieuwe pc in haar bakfiets mee, alsof het hun kindje is :D

[Reactie gewijzigd door DeArmeStudent op maandag 14 december 2009 11:54]


Dit staat niet bij een particulier thuis.
Ik mag je corrigeren, ik heb ook zo'n 8-way machine thuis. Ik was al bezig met de opvolger maar ze zijn me voor, helaas (gelukkig ?)

Hoeverre het goed schaalt naar meerdere clusters of nog meer cpu's is erg afhankelijk van het op te lossen probleem, vaak bepaald door de benodige data bandbreedte.

In dit geval gaat het om tomografie waarbij je als ware een soort xray foto's hebt onder veel verschillende hoeken. Bij de state of the art methoden word dan een 3d kubus met onbekenden licht absortie waarden van b.v. vlees en bot, met behulp van de foto's(meetdata) opgelost met een stelsel van vergelijkingen.

Dit probleem schaalt erg goed omdat je het kan oplossen door van lage resolutie naar hoge resolutie te werken, waarbij je elke gpu een overlappende sub-kubes laat doen

Op de vorige Fastra zat ander iemand Crysis te spelen in het fimpje. Een student o.i.d. die daarna de Fastra te werk liet zien, maar daarvoor zat hij gewoon te gamen.

denk het wel :) WoW schijnt prima te lopen onder Wine, dus ik denk dat de vraag meer is: wat voor resolutie video wall kan je gebruiken om WoW op te spelen :+

eerder: wat voor resolutie kan WoW ondersteunen.

12 GPU's voor een 4:3 monitor opstelling die elk op een resolutie van 2560*1920 draaien geeft een mooie 16:9 desktop van 10240*5760

Ja, WoW zal draaien. Echter is WoW niet echt videokaart afhankelijk, maar meer CPU afhankelijk. Dus veel sneller dan dezelfde configuratie met 1-2 GPU's zal het niet zijn.

Alleen worden deze GPU's gebruikt voor ook onder andere CPU taken :)

Gaat niet om de resolutie van een spel, maar echt brute universele rekenkracht.

Kan me nog herinneren dat ze in 1997 met 9200 Pentium Pro CPU's 1,2 Tflops behaalden

[Reactie gewijzigd door Pmf1971 op maandag 14 december 2009 12:19]


Met de 240 rekeneenheden per gpu kan onder de Linux-distro CentOS volgens de onderzoekers een maximale rekenkracht van 12tflops worden behaald.
Kàn behalen? Dus er zijn nog geen benchmarks?

Benchmarks zijn Hier te vinden.

Valt me wel op dat dat ding veel warmte produceert

Hij meet de temperatuur van een blok en die valt me eigenlijk nog mee. Ik heb hier een videokaart die toch echt wel wat warmer wordt (5870 + stock koeler) en in deze testcase houden de onderdelen elkaar warm (warmte kan maar op enkele plekken weg).

Een oude GTX280 kan over de 80 graden warm worden, zelf ervaring mee gehad.

80 graden stel niet zoveel voor. Een soldeerbout wordt nog veel warmer, maar daar merk je niets van. Wat wel uitmaakt, is de warmte-energie (dus niet de temperatuur) en die is bij een videokaart natuurlijk veel hoger dan bij een soldeerbout :)

Dus "80 graden" is niet per se "veel warmte" ;)

[Reactie gewijzigd door _Thanatos_ op maandag 14 december 2009 15:13]


Kijk eens op die tweede foto van die link die jij stuurde, daar staat een lego poppetje bij :Y)

Dat is een Playmobil poppetje ;)

ziek , zet maar in me kamer :) , maar waarom geen aangepast server bordje met 2 cpu's en 32 gig ram?

omdat de 'super' computer zijn rekenkracht over de GPU's laat lopen.

en dus de rekenkracht van de CPU niet nodig is, enkel voor het aansturen van de videokaarten.

(Iets met CUDA, en vele malen sneller dan het renderen via CPU)

edit: schijnbaar is een 920 i7 met 12gb voldoende om alle kaarten aan te kunnen

[Reactie gewijzigd door Koakie D op maandag 14 december 2009 09:48]


meestal wordt een systeem met zo een goeie gpu gebottleneckt door de cpu? dus de prestaties zijn nog niet wat het kan zijn.

Wil ook niet weten hoe warm het daar in dat systeempje is. Waterkoeling is nu wel aanteraden.

In games, ja. Maar hier wordt alles wat uitgerekend moet worden verdeeld over de videokaarten. Zie het als een renderfarm. Een renderfarm verdeelt de uit te rekenen informatie over verschillende PCs, deze PC verdeelt de informatie over de GPU's, die het veel kostenefficiënter uit kunnen rekenen dan een renderfarm.

meestal wordt een systeem met zo een goeie gpu gebottleneckt door de cpu? dus de prestaties zijn nog niet wat het kan zijn.
Dat valt nog heel erg mee hoor. Mijn Q9450 @ stock speeds heeft maar ~2% load nodig om 2 8800GT's aan de gang te houden voor Folding@Home.

Het is simpelweg zeer afhankelijk van wat voor een applicatie je draait. Vergeet niet dat er bij het spelen van games nog veel meer komt kijken dan alleen maar een beeld produceren. Denk aan alle game-logica, scripting, physics, geluid, netwerk, post-processing, etc. Dan gaat het ineens wel hard met je CPU-gebruik. Programma's als de GPU client van Folding@Home draaien vrijwel volledig op de GPU en hebben de CPU slechts af en toe nodig om van data te worden voorzien of om data terug te sturen.

[Reactie gewijzigd door Bubbles op maandag 14 december 2009 10:24]


Het verschil is gewoon dat dit gemaakt is om volledig op je GPU's te draaien en een spel laat vaak alleen de graphics (en soms physics) over je videokaart draaien... Er zal ook steeds meer door de gpu gedaan gaan worden ook in spellen!

omdat de 'super' computer zijn rekenkracht over de GPU's laat lopen.

en dus de rekenkracht van de CPU niet nodig is, enkel voor het aansturen van de videokaarten.
Precies. Is het niet zo dat alle gegevens en taken via de CPU moeten gaan? Om 5 videokaarten (13 GPU's) van voldoende gegevens te verzorgen heb je volgens mij ook wel een stevige CPU (meervoud?) nodig.

Maar dat kan ik verkeerd hebben natuurlijk, of dat kan triviaal zijn.

Voor het gegevens doorpompen hebben we de PCI-e-bus, zover ik weet geeft dat direct toegang tot het geheugen. Ergo kunnen videokaarten dit ook zelf afhandelen ;)

dat kun je wel zo stellen - maar in hun geval zou ik toch een bedrijf als msi (ofzo) vragen om op basis van een degelijke chipset... en bijv een phenomII x3 (bijv), een standaard pc te bouwen,

is het immers niet VEEL makkerlijker (en dus goedkoper) om op basis van een linux kernel, het systeem te booten, - bovendien kun je dan bepaalde managed code schrijven, wat je ontwikkeltijd kan bekorten ... bovendien kun je dan ook direct gebruik maken van zaken als printen, de tcp stack, en tal van andere benodigdheden om iets met je onderzoek te doen...

bovendien zou je dan tzt in elk ziekenhuis de arts in staat kunnen stellen om 3e beelden beter te bekijken??

Omdat de cpu's hier niet voor de rekenkracht zorgen maar de GPU's ;)

budget? het is tenslotte een studenten bak he ;)

Mwa, met 6K aan hardware, volgens mij een aangepast moederbord (6 PCI-e op een burgerplank? No way) P6T7 gaat voor 400-ish euro over de toonbank zo te zien, en verder nog flink wat manuren om het draaiende te krijgen (maar een beetje tweaker doet dat zelf ;) ).

De reden is niet dat de twee processoren niet bruikbaar ingezet zouden kunnen worden, maar omdat serverhardware niet op GPU's berekend is. Serverhardware voor GPU's komt slechts mondjesmaat op de markt. 7 videokaarten op een serverbord was in ieder geval onmogelijk geweest, bij mijn weten is het maximaal mogelijke 4, en dat is praktijk al niet doenlijk i.v.m. overige insteekkaarten.

En nu Crysis draaien :P

Waar is dit nou eigenlijk voor nodig?
Er zijn toch nog lang geen spellen / apps die zoiets 'nodig hebben'..?

wetenschappelijk berekeningen :9

Wat dacht je van Simulatie modellen die normaal op supercomputers draaien?
Dit is wat betaalbaarder en heeft toch behoorlijk wat rekenkracht om een beetje simulaties te kunnen draaien.

"Omdat de studenten in hun tomografie-onderzoek met afbeeldingen van steeds hogere resolutie werken, bleek meer rekenkracht nodig."

Artikel niet gelezen?

Het is niet bedoeld voor games, totaal niet zelfs.

'2d-beelden die afkomstig waren van een ct-scanner 3d-modellen te berekenen, een specialisatie die bekend staat als tomografie'

Het is bedoeld voor Tomografie

...
"ontwikkeld om van 2d-beelden die afkomstig waren van een ct-scanner 3d-modellen te berekenen, een specialisatie die bekend staat als tomografie."

er zijn bepaalde vakgebieden waar er een heeeeeeeeel stuk meer rekenkracht nodig is dan wat jij met spelletjes nodig hebt ;)
En dit is nog niets, kijk mara naar de rekenkracht van supercomputers die zich bezighouden met kernexplosie-simulatie of cryptografie...
Die zouden volgens jouw logica ook niet nodig zijn, maar dus wel ;)

[Reactie gewijzigd door TIGER79 op maandag 14 december 2009 10:18]


Het lijkt alsof hij nog niet eens getest is, leuk zo'n linux terminal screen.... maar verder?

een render farm besteed meestal geen extra flops aan het op het scherm zetten wat hij nu aan het doen is. en de resultaten stuurt hij weer weg over het netwerk.

Waarom zou je X draaien op een dergelijke machine? X is netwerktransparant, de tradionele Unix-methode is dat je vanaf je werkstation inlogt op de supercomputer in de kelder. Een dergelijke aanpak lijkt mij gezien deze machine vele gebruikers lijkt te krijgen ook logisch.

dat is nog eens een systeem waar je U tegen zegt,

Deze kaarten werken toch niet in SLI? Dus in gaming benchmarks zal hij niet meer presteren dan 1 GTX 295 denk ik :?

idd maar voor cuda is dit ook niet nodig. Ik vraag me zelfs af of dit wel allemaal in een pc moet zitten. cuda is volgensmij ook schaalbaar naar meerdere computers. denk maar aan distributed-computing ( Folding@home )

[Reactie gewijzigd door DigitalTux op maandag 14 december 2009 09:56]


Don’t you need SLI?
No. SLI is not required for addressing multiple GPUs within the NVIDIA CUDA programming model. Moreover, we don’t even need SLI for our application, as our GPU computation involves no communication between the GPUs.

Dat stond op hun website, vroeg het mij namelijk ook al af ;)

Ze werken ook niet in SLI, elke kaart wordt apart gestuurd, en krijgt aansturing via CUDA. SLI is alleen voor beeld, dat is hier niet van toepassing

SLI is ook niet nodig volgens mij om deze kaarten met CUDA te gebruiken. SLI is vooral voor 3d rendering van games nodig afaik. Voor de berekeningen gebruiken ze hun eigen software die wel alle kaarten kan aanspreken.

offtopic. niemand het verdwaalde playmobil poppetje gezien?

[Reactie gewijzigd door Gizzy op maandag 14 december 2009 09:59]


ik verwacht ook niet dat hun hun ook maar iets kan schelen hoe dit systeem presteerd in gaming benchmarks... Dat is hetzelfde als het willen uitdrukken van de performance van een onderzeeër in hoe snel het met of zonder ABS remt ;) je kunt het er wel in uitdrukken (0) maar je hebt er niets aan...

[Reactie gewijzigd door TIGER79 op maandag 14 december 2009 10:21]


Gave setup, alleen zoveel power en dan via vga aansluiten xD

Meer dan VGA hebben ze dan ook niet nodig. Lekker handig voor onderzoek zo een 50" scherm. Niet dus. In zieknhuizen sluiten ze ook niet aan met hdmi. En de grafische kaarten worden hier dan ook niet gebruikt als puur grafische kaart maar als rekeneenheden en als je dan perse in HD wil gaan werken verlies je natuurlijk rekenkracht

Ongeacht of het dezelfde (lage resolutie) is dvi toch sowieso scherper al lees je alleen maar statistieken/(kleine) letters. Zeker bij een ziekenhuis waar ze op sommige afdelingen met complexe tekeningen werken zeker in combinatie met pixelmapping lijkt met dit een voordeel. Maar ieder zijn ding natuurlijk...

die "speciale" behuizing trekt toch verdacht veel op de lian-li armorsuit PC-80? Ik vermoed dat het gewoon een kleine mod van die case is ipv een totaal nieuw ontwikkelde case.

maar goed, dat doet er niets vanaf dat dit super prestaties neerzet voor relatief weinig geld. Mooie evolutie :)

In een filpje over de Fastra II zeggen ze ook dat ze een aparte behuizing hebben laten maken om de videokaarten vast te houden, omdat ze dmv risers boven het moederbord "zweven", en dus niet op de normale manier vastgemaakt konden worden.

Het gaat hier slechts om een soort bracket, die in de kast zelf zit.

Dat is 'm inderdaad. Volledige specs staan hier:
http://fastra2.ua.ac.be/?page_id=49

Het is gewoon de Lian-Li P80 Armorsuit. Alleen de ophanging van de videokaarten is met een stukje maatwerk gedaan.
Zoals ze zelf zeggen: http://www.dvhardware.net...esktop_supercomputer.html
# Lian-Li PC-P80 Armorsuit: This case was chosen because of the massive amount of working space.
«  1  2  3  4  5  6  »

Op dit item kan niet meer gereageerd worden.

Volgende 10:01 LucasArts kondigt Star Wars: The Force Unleashed II aan
Vorige 09:34 Video: Prince of Persia: The Forgotten Sands
VNU Media logo Hosted by True

© 1998 - 2012 Tweakers.net B.V. - Alle rechten voorbehouden - Contact - Jouw privacy - Algemene Voorwaarden

Uitgever van:

Website van het jaar 2011