SURFsara voegt 92 GTX 1080Ti-kaarten toe aan Lisa Rekencluster

SURFsara heeft het Lisa Rekencluster uitgebreid met een gpu-cluster, om wetenschappers de mogelijkheid te geven de parallelle rekenkracht van de grafische chips te gebruiken. Het cluster heeft een piekrekenkracht van 1 petaflops.

Het gpu-cluster van Lisa bestaat uit 23 nodes met elk vier Nvidia GTX 1080 Ti-videokaarten en een Intel Xeon Bronze 3104-processor. Iedere node kan over 256GB ram en 1,5TB aan ssd-opslag als scratchdisk beschikken. Verder is er een duo nodes met beide vier Nvidia Titan V-kaarten toegevoegd, voor testdoeleinden. Volgens SURFsara wordt het gpu-systeem met name gebruikt voor machine learning en modellering en patroonherkenning binnen onderzoeksvelden als moleculaire dynamica, radioastronomie en cryo-transmissie elektronenmicroscopie.

UvA-promovendus Bas Veeling mocht het cluster al gebruiken voor het accurater maken van modellen om tumorweefsel te herkennen op basis van scans. "Op een goede cpu-computer duurt het trainen van mijn model misschien een maand of twee. Met het gpu-cluster van Lisa ben ik in een uurtje klaar", zegt hij. Pinaki Kumar van de TU Eindhoven denkt het systeem in te kunnen zetten voor het simuleren van aardbevingen. "Ik ontwikkel en test mijn model op een bureaucomputer met een flinke gpu. Als ik het vervolgens bij SURF laat draaien, kan ik heel gemakkelijk net zoveel gpu’s aankoppelen als nodig is: de snelheid van de simulatie groeit lineair mee."

Universiteiten kunnen het cluster gebruiken als ze een abonnement op SURF's Research Capacity Computing Service hebben, maar de organisatie biedt de rekenkracht ook op basis van pay-per-use aan. Lisa draait Linux en bestaat uit een grote hoeveelheid nodes die wetenschappers kunnen inzetten voor hun rekenwerk. Het systeem wordt beheerd door SURFsara en ook de Vrije Universiteit Amsterdam en de UvA zijn er bij betrokken.

Reacties (57)

[Qinshi]

Dus niet alleen miners kopen een pallet vol GTX 1080ti kaarten, maar ook onderzoekcentra's/wetenschappelijke wereld.

De tijd dat GPU's vooral gemaakt werd voor de gamers, lijkt wel voorbij.
Ik kan best geloven dat de prijzen voor gpu kaarten zelden tot nooit nog zullen dalen, 1-2 jaar na release.
Zelfs nu nog, is een gemiddelde prijs sterk tegen de lanceer prijs van 2-3 jaar terug.

[Balance]

Dit valt enorm mee. De 27.648 Tesla V100 GPUs die in de nieuwe Summit-supercomputer zitten, dat zijn pas een aantal pallets .

An sich is het helemaal niet slecht dat de HPC-wereld steeds meer gpu's gaat gebruiken. Dat verspreidt de onderzoekskosten over een groter aantal klanten, waardoor (met gezonde concurrentie), de prijzen omlaag zullen komen. Ook is HPC nu zo groot dat er eigen chips voor gebakken worden, waardoor gaming gpu's weer 100% gaming zijn.

Kan niet wachten op de nieuwe Top500-lijst die deze maand uit komt. Zal heel veel Nvidia in terug te vinden zijn, maar hopelijk hier en daar ook wat AMD.

[Reactie gewijzigd door Balance op 22 juli 2024 18:13]

[Verwijderd]

Yep! We hebben ook onze eigen #36 op de lijst (NVIDIA's DGX-Saturn V): https://www.top500.org/lists/2017/11/

[Balance]

Hey, een Delftenaar die bij Nvidia is beland! Blijft een leuk platform, dat GoT!

Ik heb vernomen dat er ruim vijfduizend Tesla V100's aan SaturnV zijn toegevoegd. Deze maand klimmen jullie dus nog een stukje verder omhoog in de lijst?

[MrMonkE]

Die zal wel BF1 trekken op quad HD en 120fps
Bijna niet te bevatten zoveel rekenkracht

[NoTimeRemains]

PUBG zal wss nog steeds maar 23 fps hebben

[mraix]

de nieuwe top machine is (voor heel even, je weet hoe dat gaat )

een power9 monster van IBM met nvidia GPU's

https://www.top500.org/ne...rst-exascale-application/

[Accretion]

Totdat ze de vraag niet aankunnen en de onderzoekscentra meer budget hebben als de gamers.

Dan worden ze voor een hogere prijs verkocht...

[CMD-Snake]

Dus niet alleen miners kopen een pallet vol GTX 1080ti kaarten, maar ook onderzoekcentra's/wetenschappelijke wereld.

De 1080 Ti is erg populair voor wetenschappelijke toepassingen, zeker als je de Titan of Quadro kaarten niet kan bekostigen. De 1080 Ti komt ook flink in de buurt van de Titan qua rekenkracht.

Nvidia geeft ook videokaarten weg aan onderzoekers: https://developer.nvidia.com/academic_gpu_seeding

[gast128]

Ze zullen hun onderzoek wel gedaan hebben vooraf, maar die consumenten kaarten (e.g. GTX 1080 ti) zijn niet goed in dubbel precisie berekeningen en hebben geen error correctie. Niet elke toepassing heeft die dubbel precisie overigens nodig.

[MSalters]

Het is een paradoxaal resultaat, maar meerdere malen aangetoond: bij het trainen van neurale netwerken is error correction contra-productief (!)

De theorie erachter is vrij ingewikkeld, maar je kunt het zien als een vorm van leren dat de trainingsset niet de hele werkelijkheid is, en dat er altijd wel een random datapunt voorbij kan komen. Het maaakt netwerken robuuster.

[Bonsaiboom]

Dat had ik nog niet gevonden, maar het is wel goed in lijn met wat je soms toepast in regularisatie. er zijn technieken zat die het neurale netwerk pesten om niet te overfitten, en daar kan ik me inderdaad goed van voorstellen dat het gebrek aan error-correcite daarin dan positief is :-)

[init6]

Er zijn ook kaarten beschikbaar met double precision, het HPC Cloud binnen Surfsara heeft deze in een aantal nodes.

[gast128]

Ja ik zag dat ze ook Titan-V kaarten hadden toegevoegd die wel goed zijn in double en half precision.

[Inverted_World]

En niet alleen in de wetenschap maar ook voor GPU rendering in animatie. Daar zijn clusters van 96 1080ti's een stuk ' normaler '.

[Poesmij]

Zo, dit is echt droom voor iedereen die gpu rendering gebruikt. Zit ik dan met 2 stuks .

[Inverted_World]

Hahaha, ja wij hebben er 6 + 2 1070's Klein studiootje he haha. Bij de grotere studio's echter. Ik wordt er ook jaloers van hoor!

[Iblies]

Is al best lang zo.

Zelfs Dell en HP bieden ze in standaard-trim aan.
http://www.dell.com/learn/us/en/04/campaigns/poweredge-gpu

[Dutch_CroniC]

Ik was van mening dat er onlangs een soort afspraak was gemaakt dat miners niet meer dan 1 kaart p/p mochten kopen e.d., maar geldt dus niet voor dit soort gevallen.

[Verwijderd]

Dacht dat dit niet meer mocht van Nvidia om ‘gaming’ kaarten hiervoor te gebruiken?

[init6]

Mag ook niet, Nvidia is echt heel anaal wat dit betreft en classificeerd datacenter gebruik als oneigenlijk gebruik, als alternatief moet je Tesla P100 kopen, deze zijn 6-8x duurder voor iets meer hbm geheugen en meer double precision cores. Sara is een nvidia CUDA research center dus ze zullen een uitzondering hebben.

[sympa]

nViadia wil het niet, maar ik weet niet of hun verbod juridisch stand houdt.
Mag je een auto verkopen onder de voorwaarde dat je hem niet als taxi mag gebruiken (en houdt die beperking dan stand)?
Mag je frisdrank verkopen onder de voorwaarde 'alleen voor thuisgebruik, niet voor de horeca' - en houdt die beperking dan stand?

[MSalters]

Het "verbod" is vrij simpel te handhaven - NVidia hoeft in de toekomst geen verdere zaken met je te doen. Dus ook driver updates en dergelijke zijn dan uitgesloten.

Bedrijven hebben relatief veel vrijheid om contracten af te sluiten, een heleboel regels die consumenten beschermen zijn zuiver consumentenrecht.

[dmantione]

Dat doen ze alleen niet. Nvidia snapt heel goed waar hun belangen liggen: Een klant die een Geforce wil gaat niet voor een tienvoud een Tesla kopen. Radeons worden dan opeens wel hééél interressant en dat was dan ook waar klanten naar uit begonnen te wijken. Aanvankelijk had Nvidia tegen ons (ClusterVision, wij hebben deze kaarten voor Lisa niet geleverd) ook wat grote woorden, die ze direct weer inslikten, want ze hadden de tanden niet. Maar veel belangrijker, enkele weken laten, toen ze door hadden dat klanten niet massaal Tesla's bestelden, stuurden ze e-mails dat het opeens allemaal prima was Geforces voor wetenschappelijke doeleinden te gebruiken. Draai van 180 graden...

[Dorstlesser]

Maar als een instantie ervoor kiest om überhaupt geen contract met nVidia te hebben en hun kaarten gewoon in de winkel te kopen, zoals SURFsara, daar kan nVidia toch niks aan doen?

[init6]

Ze verwerpen gewoon alle garantie claims.

[sympa]

Dat is niet erg, want ik heb 6 keer zo weinig betaald. Als dan 5% van de kaarten faalt betaal ik 105% in plaats van 600%, daar is best mee te leven.

[YopY]

Die zaak ging ook behoorlijk door met de PS3 toendertijd; die was in eerste instantie zelfs bruikbaar als supercomputer, totdat Sony hun Linux ondersteuning stopte - ik geloof dat ze daar ook voor aangeklaagd waren.

[bbob]

Op een goede cpu-computer duurt het trainen van mijn model misschien een maand of twee. Met het gpu-cluster van Lisa ben ik in een uurtje klaar

cluster heeft 23x4= 92 gtx 1080 TI kaarten.
Dus ik denk in vergelijking met 1 kaart gaat dit dus theoretisch 92x sneller.
Als het nu binnen 1 uur kan kost het normaal 92 uur lees bijna 4 dagen.

Anders duurt het 1 of 2 maanden met cpu computer. Dan wordt er neem ik aan bedoeld puur cpu dus geen gpu in de pc. Als hij deze test met pc met gpu zou doen lukte het dus ook in 4 dagen. Vooruit 1 uur klinkt een stuk beter maar 4 dagen tegen 1 of 2 maanden klinkt ook al goed.

[mjl]

Hij kan nu ook meerdere iteraties doen bijvoorbeeld. Als je een model goed wilt valideren train je een classifier niet 1 keer maar met meerdere random subsets. Hier is altijd een balans van rekenkracht en hoeveelheid iteraties. Met dit cluster kunnen modellen dus beter doorgerekend worden en wordt het gebruiken van grotere feature (data) sets haalbaar. Het is dus niet zozeer van 4 dagen naar 1 uur gaan maar in diezelfde 4 dagen een beter model berekenen.

[init6]

Dan ga je er van uit dat het 1 op 1 overzetten van deze taken zal gebeuren. Echter hebben deze nodes meer geheugen en meer SSD disk space en ongetwijfeld heeft deze onderzoeker niet een systeem onder zijn bureau staan met een aantal GPU's. Hij zal dus meer taken in het geheugen kunnen laden, een aantal taken direct kunnen voorbewerken en sneller kunnen flushen naar disk. Het optimaliseren van zijn workflow omdat hij nu zijn taken bij Sara moet uitvoeren zal ook wel wat helpen.

[Mir]

Je kan je code voor de GPU totaal anders opbouwen dan wanneer je eenzelfde berekening op de CPU laat doen. De hardware ziet er voor beide rekenchips heel anders uit (zowel het reken gedeelte als het geheugen gedeelte). Daarom kan een bepaald algoritme op de GPU vele (>92x) sneller zijn dan wanneer je dit op de CPU uitvoert.

Hier wat achtergrond informatie: http://www.mirdesign.nl/videokaarten-in-de-wetenschap.html

Ik werk dagelijks op Cartesius en heb sinds kort ook toegang tot dit systeem! Ben erg benieuwd naar de verschillen die met mijn software te zien zijn. Cartesius biedt "maar" 2x k40 kaarten aan per node. Dus 4x een 1080TI is mogelijk al een behoorlijke winst.

[keranoz]

Goeie timing.... https://gadgets.ndtv.com/...-inventory-report-1870690

[nandervv]

Ze hebben waarschijnlijk al een goede deal gevonden.

[Nevie]

Voor wie zelf met Distributed Computing wat bij wilt dragen aan de wetenschap: https://www.worldcommunitygrid.org/

Er zijn overigens nog veel meer van dit soort projecten, waar veel T.net gebruikers aan mee doen: Dutch Power Cows

Ik draai het lekker op mijn werk pc zodat ik de overcapaciteit toch wat nuttiger inzet

[Reactie gewijzigd door Nevie op 22 juli 2024 18:13]

[Spekkie88]

Maar hoe zat het dan met die aanpassing in de voorwaarden van nvidia dat consumenten kaarten niet meer in datacenters terecht mochten komen?
Of heeft dit iets te maken met de mogelijk 300000 gpu's die terug zijn gekomen...

[hooibergje]

Mooi! Die ernstig overpriced Tesla's zijn qua geld ewoon een heel slecht idee in vergellijking met de consumentenkaarten. Het verhaal van ECC-geheugen was uit de tijd dat geheugen nog beroerd was, maar er komen tegenwoordig zo weinig geheugen bitflips voor dat ECC geheugen niet meer echt de moeite waard is...

[Sandor_Clegane]

Als ie idled krijgen ze nog wat ROI.

[aabs]

Verderdomme, net nu mijn project is afgelopen en ik geen toegang meer heb . Maar goed ik had toch alleen maar de CPU en RAM nodig. Wel heel leuk speelgoed.

[Bever!]

Mag ik een dagje minen? )

[Neko Koneko]

Doe maar niet, gebruik de stroom dan liever voor nuttige zaken zoals wetenschappelijk onderzoek IPV die Crypto onzin.

[Accretion]

In theorie is het voor een aantal Cryptovaluta dan nog rendabel.

Zeker aangezien je niet de aanschafkosten van de kaarten hoeft te betalen.