IBM voorziet Linux-server van Power8-chips met Nvidia NVLink

IBM heeft zijn Power LC-lijn van systemen uitgebreid met drie servers. Een daarvan heeft IBM's Power8-processors met NVLink-interconnects, voor de verbinding met Tesla P100-accelerators. De servers zijn onder meer bedoeld voor deep learning en kunstmatige intelligentie.

De drie nieuwe systemen zijn de Power System S822LC for High Performance Computing, de Power System S822LC for Big Data en de System S821LC. De krachtigste van het stel is de Power System S822LC for High Performance Computing. IBM voorziet deze van twee Power8-chips: twee decacores op 2,86GHz of een duo octacores op 3,25GHz.

De processors worden gecombineerd met tot aan vier Nvidia Tesla P100-accelerators met Pascal-gpu's, die in een smx2-formfactor in de systemen verwerkt zijn. De processors communiceren via Nvidia's NVLink-interconnect met de accelerators, waardoor werklasten met een bandbreedte van 80GB/s gedeeld kunnen worden. De P100-kaarten zijn ook onderling met NVLink verbonden voor het over en weer verdelen van parallel rekenwerk.

De Tesla-kaarten kunnen door de NVLink snel het systeemgeheugen benaderen en beschikken daarnaast over 16GB hbm2-geheugen, dat een bandbreedte van 720GB/s biedt. De Power8-chips hebben een 115GB/s-lijntje naar het ddr4 en de systemen ondersteunen 500GB werkgeheugen per socket.

De Power System S822LC for Big Data beschikt niet over NVLink en kan met twee Nvidia K80-videokaarten uitgerust worden, in combinatie met twee Power8-processors en tot aan 1TB geheugen. Het reguliere S822LC-systeem moet het met maximaal 512GB ddr4 en een enkele Tesla K80 doen. IBM rust alle Power LC-servers uit met Ubuntu 16.04 en richt zich met de systemen op gebruik voor hpc-analyse, big data, deep learning en kunstmatige intelligentie.

Reacties (49)

[Breezers]

Ok, Ik weet hier niets van, maar ehm... waarom zie ik op die afbeelding allemaal van die passieve grote koelblokken tov standaard servers ?

https://ic.tweakimg.net/ext/i/imagelarge/2001223791.jpeg

[totaalgeenhard]

Is niet raar hoor.

Actieve koeling op CPU zie je juist bij zelfbouw servers omdat je in een modulair opbouw van een server waar je componenten makkelijk moet kunnen vervangen een active CPU onhandig is.

Los van het feit dat koeling zo veel efficiënter kan terwijl je hoogte kunt beperken.

Tegenwoordig zijn veel datacenters gebaseerd op een "cold corridor" principe.
Waarbij de voorkant (waar in meeste gevallen aanzuiging plaatsvind) koude lucht is en zo naar achter geblazen word.

https://www.computable.nl/img/18/19/org_org/1819258.jpg

http://www.storagereview....owerEdge-R720-Cooling.jpg

Verder kan je eventueel luchtstromen concentreren door "tunnels" te gebruiken een stuk plastic die luchtstroom door koelelement heen forceert.

Ik denk dat sommige mensen zoals mij in een 1u server uit veiligheid een actieve koeling met lage koelelement gebruiken, omdat vaak in goedkopere case (b.v. Supermicro) maar 1 grote fan aan de voorkant zit, als die kapot gaat wil je wel wat tijd winnen voordat server gaat throttlen (langzamer gaat werken) of zichzelf (thermische beveiliging) gaat afsluiten.

Maar in een beetje DELL/HP server heb je een rits van b.v. 5 of 6 fans naast elkaar die continue koude lucht aanzuigen en internet over alles heen blaast. Die zijn vaak hot-swapable en uitval en een paar heeft geen directe consequenties.

[svennd]

Supermicro 1u+ heeft vrijwel altijd 3replace able fan blokken, voor naar achter zuig. Zelfde als Dell vermoed ik

[RGAT]

Maar niet op de CPU zelf, hoewel ze er wel zijn is het meestal een rij fans ergens in de server die van voor naar achter blaast door de passieve CPU koelblokken.

[totaalgeenhard]

Ligt aan welk model SM.

De goedkope chassis hebben maar 1 fan en 1 fan in de PSU.

https://www.supermicro.co...ssis/1U/512/SC512-200.cfm

De duurdere chassis van SM en zeker die hot-swabbale bays hebben, hebben meerdere of gewoon een rits naast elkaar die vrij makkelijk te vervangen zijn.

[borft]

Over het algemeen hebben chips in servers altijd passieve koelblokken. De luchtcirculatie wordt centraal geregeld…

[kh65]

Ik neem aan omdat de airflow zoals bij alle rack-servers van voor naar achteren door de server loopt, opgewekt door ventilatoren ergens voorin?

[aadje93]

deels opgewekt door fans, maar vaak ook al door overdruk in een cold corridor systeem word het er door convectie doorheen geleid (vooral voor passief app. als switches etc. belangrijk)

[DigitalExorcist]

Waarschijnlijk omdat er een peloton aan ventilatoren overheen blaast? Is bij de meeste servers van dat formaat het geval namelijk die zijn vaak hot swappable, dus hoeft de server niet down als je een fannetje wil vervangen.

[Cave_Boy]

Vaak zitten eer grote rijen met fans aan de voorkant van de server die zoveel lucht over de gehele breedte blazen dat een fan op het koelblok soms zelfs tegenwerkt,.

(Edit je ziet ook de Fan links op het plaatje (zwarte deel)

[Reactie gewijzigd door Cave_Boy op 29 juli 2024 21:25]

[ilaurensnl]

1. Het zijn waarschijnlijk heethoofden die goed passief gekoeld moet kunnen worden, kopper is daar ideaal voor.
2. Ze zijn kwalitatief goed bezig, zo te zien is het geen budget systeem
3. Kopper is zwaar, dus tenzij het behuizing zo is aangepast, is het waarschijnlijk geen slim idee om grote koperen blokken te hangen aan een server en te vervoeren (als voorbeeld, als het behuizing er niet naar is aangepast)

[eL_Jay]

offtopic:
Ben ik de enige die opgewonden raakt van zoveel koper voor koeling ?
Zou graag koperen heatsinks hebben, dan betaal ik graag 1 a 2 tientjes meer.

Hoe verhouden IBM cpu's zich tot Intel? Zijn cores/hertzen redelijk vergelijkbaar of is het net als bij AMD waar een 5Ghz octacore het vaak aflegt tegen een intel quadcore op nog geen 4Ghz en je er dus vrij weinig zinnigs over kan zeggen?

[Reactie gewijzigd door eL_Jay op 29 juli 2024 21:25]

[Dreamvoid]

Per-core performance kan je idd bekijken, maar het heeft weinig zin - je koopt deze chips per stuk, niet per core. Waar bij dit soort systemen de klanten geinteresseerd in zijn is in absolute performance per systeem, of performance per dollar van het totale systeem.

Je kan goed vergelijken met veelgebruikte applicaties die op beide architecturen draaien, zoals bv IBM's DB2 database, of SAP:
http://global.sap.com/solutions/benchmark/sd2tier.epx
Dat zijn alleen databases, geen parallelle HPC toepassingen, waar deze systemen vooral voor gebruikt gaan worden. Feitelijk zijn in deze machines niet de cpu de focus, maar de nVidia accelerators. De Power8 chips zijn er eigenlijk enkel om die units snel genoeg te kunnen voeden met werk.

Synthetische benchmarks zijn er ook:
http://www.anandtech.com/...e-xeon-e78800-v3-review/7
hier vergelijkt Anandtech de Spec CPU2006 score van Haswell-EX (wordt binnenkort vervangen door Broadwell-EX) tegen de huidige POWER8. Het zegt iets over de rauwe rekenkracht, maar of dat er in specifieke applicaties ook uitkomt is natuurlijk de vraag.

Als je generaliseert, zijn de Intel Haswell cores sneller per clocktik en singlethreaded (en een stuk zuiniger), maar klokken de POWER8 chips een stuk hoger en heeft een snellere geheugen bus waardoor de performance per chip redelijk dicht bij elkaar zit. De POWER8 heeft ook meer cache per core, maar ook langzamere cache, dus ook hier weer is het antwoord "hangt ervan af". En dit is ook allemaal voor 1 enkele chip - veel systemen hebben 2, 4 of 8 sockets dus dan komt de snelheid van de interconnects om de hoek kijken. POWER en SPARC schalen ook tot 64 sockets, maar de markt van >8 socket servers is zo klein dat het meer een prestigezaak is.

Er zijn helaas geen tech websites die de cash hebben om een 8-socket POWER, SPARC of x86 systeem inclusief 1-2 TB RAM uitgebreid te testen, en de bedrijven die dit soort bakbeesten hebben staan, lenen ze niet eventjes een middagje uit.

[Reactie gewijzigd door Dreamvoid op 29 juli 2024 21:25]

[Aragnut]

Een instap model Power8 server begint bij zo'n $7000 list price. Dit zijn dan wel inderdaad single socket systemen met een 10 core CPU. Het grote voordeel van Power architectuur over de intel x86 architectuur is echter het kunnen samenwerken van de processoren. Zo zijn er modellen die uit meerdere modules (CECs) bestaan, waarbij de geheugen en CPU load geheel verdeeld kan worden over 192 cores. De performance schaalt hierin ook mee. Waar een intel systeem bij 4 keer zoveel cpu niet 4 keer sneller wordt, gaat dit bij de power architectuur wel (bijna) op. Daarnaast is de power8 architectuur een SMT 8, dus per core kunnen er 8 threads lopen. IBm heeft hierbij ook nog eens hardware virtualisatie, zodat er op 1 core tot 20 systemen kunnen draaien (0.05 physical CPU per vCPU) en zijn er nog leuke speeltjes zoals Live Partition Mobility en Dymanic LPAR configuration.

[Dreamvoid]

Vroeger was dat idd een voordeel van POWER, maar sinds Sandy Bridge-E zijn die QPI interconnects van Intel vergelijkbaar met SPARC en POWER (en Itanium, daar komt QPI feitelijk ook vandaan), je ziet dat ook aan de SAP benchmarks die ook met de Xeons redelijk schalen met sockets - HP heeft een Integrity Superdome X server met 16-sockets (Haswell-EX Xeons) die qua SAP benches vergelijkbaar presteert met 16-socket SPARC en POWER bakken.

Om in elk geval een beetje een idee te krijgen hoe deze gebakjes presteren ten opzichte van elkaar kan je de SAP SD benchmark lijst bekijken, de best scorende 8-socket systemen zijn daarin:
Broadwell-E Xeon E7v4 (Windows/SQL), 2.2 GHz met 2 TB RAM: 404.200
POWER8 (AIX/DB2), 4.2 GHz met 2 TB RAM: 436.100
SPARC M7 (Solaris/Oracle), 4.1 GHz met 4 TB RAM: 713.480

[Reactie gewijzigd door Dreamvoid op 29 juli 2024 21:25]

[goarilla]

Zijn dat nu benchmarks van verschillende besturingssystemen en database backends ?

[Dreamvoid]

Klopt, dus deze benchmark is niet enkel over het silicon, maar de complete stack tot aan de applicatie toe.

Aan de andere kant, dat is waar je als klant ook doorgaans geinteresseerd in bent.

In het geval van SPARC wordt het hardwarematige cpu design ook specifiek geoptimaliseerd voor de Solaris/Oracle software stack, het zou zinloos zijn om dat te gaan lopen testen op bv een Linux/MySQL - het werkt misschien wel, maar er is praktisch gezien niemand die zo'n SPARC bak koopt als hij geen Solaris/Oracle gaat draaien.

[Reactie gewijzigd door Dreamvoid op 29 juli 2024 21:25]

[RGAT]

Tweakers had een paar jaar geleden wel zo'n Sun Micro beest van een server te testen, waarom dat maar eenmalig is geweest...

[Iblies]

Vergelijkingen gaan hier helaas niet op.

Belangrijkste is software. Heb je software die gebruik kan maken van alle mogelijkheden die deze chip bied,
oa meerdere threads per core en meer bandbreedte.

De software is op dit moment dusdanig in ontwikkeling op veel verschillende platformen dat er geen eenduidig antwoord op is te geven, anders dan dat IBM een van de weinige partijen die een dergelijke oplossing kan aanbieden.

[jozuf]

Vraagje, waarom Ubuntu?
Voor dit soort toepassingen zijn er toch veel betere toegewijde Linux distro's? Of is dit om iets generiek te kunnen bieden out of the box en verwachten ze dat er wel een specialistische distro op wordt gezet door de heren systeembeheerders?
Ubuntu klinkt zo noobish en lijkt hier niet echt op z'n plaats

[jja2000]

Ubuntu wordt als minimale install ook ontiechelijk vaak gebruikt als server distro hoor. Verder had Canonical een deal over het draaien van hun software gesloten met IBM dacht ik.

[strompf]

Ongetwijfeld is dit de server-versie van Ubuntu, en niet de desktop-versie. Dat maakt het al een stuk minder verrassend.

Verder wordt Ubuntu Server wel degelijk veel gebruikt voor serieus werk. Oa. heeft de Wikipedia Foundation een paar jaar geleden gestandaardiseerd op Ubuntu - https://en.wikipedia.org/wiki/Wikimedia_Foundation#Hardware

P.s.: En toch was ik zelf ook verbaasd

[Reactie gewijzigd door strompf op 29 juli 2024 21:25]

[Verwijderd]

Vraagje, waarom Ubuntu?
Voor dit soort toepassingen zijn er toch veel betere toegewijde Linux distro's? Of is dit om iets generiek te kunnen bieden out of the box en verwachten ze dat er wel een specialistische distro op wordt gezet door de heren systeembeheerders?
Ubuntu klinkt zo noobish en lijkt hier niet echt op z'n plaats

Er staat.

IBM rust alle Power LC-servers uit met Ubuntu 16.04 en richt zich met de systemen op gebruik voor hpc-analyse, big data, deep learning en kunstmatige intelligentie.

De reden is waarschijnlijk dat de meeste mensen bekend zijn met deze distro. En tevens is het enige door IBM ondersteunde gratis distro.

Ubuntu 14.04.3, and subsequent updates and releases
Red Hat Enterprise Linux 7.2

Theoretisch zou openSUSE Tumbleweed er ook op moeten werken.

[Verwijderd]

Theoretisch zou openSUSE Tumbleweed er ook op moeten werken.

Hoewel het theoretisch vast klopt, is het praktisch SUSE Linux Enterprise Server SLES (en dus vast ook wel openSUSE Leap).

[Reactie gewijzigd door Verwijderd op 29 juli 2024 21:25]

[Ed Vertijsment]

Waarom zou Ubuntu "noobish" zijn als het out of the box werkt voor veel toepassingen. Het slaat natuurlijk nergens op om een een keuze voor een OS te maken op basis van een imago (noobish), veel belangrijkere aspecten zijn community support, stable release cycles, documentatie en field experience.

Er draaien super veel cloud toepassingen op Ubuntu (was volgens mij ook de distro bij uitstek voor OpenStack) en de reden daar voor is dezelfde reden dat er veel desktop op Windows draaien, de werking is bekend er is veel support en software voor beschikbaar.

De onderlinge prestatieverschillen tussen verschillende distro's is gering, dan moet jet het echt in custom buiilds gaan zoeken, maar dat is in dit geval niet "off the shelf" aan te bieden.

In een vakgebied waarin alles ontzettend complex is wil je zo min mogelijk extra complexiteit toevoegen. De simpelste oplossing is dan vaak de beste, en dan is Ubuntu opeens zo'n gek idee nog niet.

[Dreamvoid]

Precies dat laatste, Ubuntu is gewoon de basis install.

[tinus61]

Wellicht helpt deze link jullie uit jullie droom, er is meer dan de Ubuntu desktop editie:

http://www.ubuntu.com/server

[Ulas]

Wat is de meerwaarde dan ten opzichte van Debian server? Ubuntu is daar op gebaseerd.

[Verwijderd]

Nieuwere architectuur / kernels. Debian is stabiel maar oud, Ubuntu is (iets) minder stabiel maar ondersteund meer nieuwe hardware

[tinus61]

Wat is de meerwaarde dan ten opzichte van Debian server? Ubuntu is daar op gebaseerd.

Voor zakelijk gebruik biedt Ubuntu betaalde support. Dit kan voor veel bedrijven en organisaties een doorslaggevende factor zijn.

Edit: ik wilde aantonen dat Ubuntu lang niet zo "n00bish" is als vaak beweerd wordt.

Sinds 1999 Linux gebruiker en prefereer Ubuntu reeds jaren, omdat het na mijn mening de meest efficiënte distro is.

[Reactie gewijzigd door tinus61 op 29 juli 2024 21:25]

[Verwijderd]

Met alleen een desktop distro ga je natuurlijk geen geld verdienen.. Als Ubuntu het alleen bij de Desktop distro hielt voor de gewone thuisgebruiker waren ze allang failliet gegaan.

[jozuf]

Ik draai zelf een thuisserver op Ubuntu server dus dat wist ik al wel.
Maar ik doe er dan ook geen HP computing mee

[totaalgeenhard]

Vraagje, waarom Ubuntu?

Dat is het eerste wat bij me opkwam toen ik de zin ubuntu las.

RedHat hebben klanten van IBM vaak al draaien.

[defixje]

Wij hebben op bijna al onze servers ook gewoon Ubuntu Server draaien. Niet te verwarren met de desktop distro.

Wel moet ik er bij zeggen dat de meeste servers web-, mysql-servers zijn.

Firewall server draait bijvoorbeeld pFsense. Dus sommige servers met een speciaal doel anders dan web hebben soms een andere distro.

[johnkeates]

Ik kan het er niet zo snel uit opmaken, maar zijn de Tesla cores ook voor grafische acceleratie te gebruiken? Ik kan me zo voorstelen dat je qua gaming streams deze hardware ook prima kan inzetten. Sure, je zal x86 games op PPC werken moeten krijgen, maar als bijv. Steam de slag kan maken van WinTel naar Linux, dan zou je denken dat het op z'n minst draaiend krijgen op de power architectuur wel mogelijk kan zijn.

[Squee]

Deze Tesla chips (en waarschijnlijk dit hele systeem zelfs) zullen geen grafische output hebben, maar natuurlijk zou je wel je 3D berekeningen er op kunnen doen. Wat betreft het porten van x86 naar PPC in vergelijking van Windows naar Linux; dat zal misschien wat lastiger zijn. Traditioneel was POWER een Big Endian architectuur, al is er blijkbaar voor POWER8 een little-endian Linux beschikbaar.

[johnkeates]

Ik dacht dat POWER ook endianness switching had, maar dat blijkt ARM te zijn ;-)

[Squee]

De recentere POWER processoren hebben inderdaad endianness switching. Maar ze hebben nu dus ook een Linux distributie die volledig little-endian kan draaien, zie mijn link hierboven.

[goarilla]

Ik ben curieus, waarom is byte-order een issue als je toch alles moet
compileren voor je ISA, binary compatibiliteit met x86 zal je toch nooit verkrijgen ?
Is het omdat veel C programmeurs bit twiddlen en hocus pocussen met packed datatypes ?

[nick lunenburg]

Hier geef ik je wel gelijk in naar aan de andere kant, zullen deze chips alleen bedoeld zijn voor high end-deep learning systemen en zal de prijs hiervoor vrij duur zijn.
Maar snap je reactie

[MacPoedel]

Maar waarom zou je moeilijk doen als er ook x86 servers zijn waarvoor je games niet zou moeten omschakelen naar een andere architectuur?

Bv http://www.nvidia.com/object/grid-certified-servers.html.

Akkoord dat de nieuwswaarde hier is dat er Nvlink gebruikt wordt, maar zonder aanpassingen aan de games in kwestie die je zou willen streamen, zouden die toch weinig hebben aan die snellere interconnect. Los dan van het vereiste werk om de software op een andere architectuur te laten werken.

[Reactie gewijzigd door MacPoedel op 29 juli 2024 21:25]

[johnkeates]

Ik zat inderdaad vooral naar nvlink te kijken. Qua games streaming bedoel ik niet perse het huis-tuin-keuken model, maar eerder de streaming die nu aangeboden wordt voor games door de grote entertainment providers. Ik dacht dat o.a. ook Sony hun legacy games a la streaming doen om dat dat makkelijker te implementeren en te monetizen was dan forward-porten op nieuwe consoles om er een te noemen.

[Kode_]

Jammer dat de kleinere modellen een gerebrand supermicro chassis is . Je zou toch iets beter van IBM verwachten.

[roverschuren]

Dat is omdat Supermicro ze produceert.

[RGAT]

Tja IBM heeft het grootste deel van hun serverdivisie aan Lenovo verkocht, dus waarschijnlijk dat ze daarom Supermicro erbij hebben gehaald.

[Verwijderd]

Naar prijzen hoe je niet te vragen zeker. Je kan er een mooie auto van kopen vermoed ik.

Leuk, maar een x64 is veel goedkoper en (bijna) net zo snel.

[Dreamvoid]

Valt wel mee, de entry-level POWER8 systemen van IBM zijn verbazend betaalbaar, en zitten niet ver van de concurrende Xeon E7v3 systemen af. Zodra je 4+ sockets gaat kijken wordt het met POWER8 inderdaad al snel idioot duur, maar de concurrentie is echt aardig losgebarsten in het 2-socket segment.

[Reactie gewijzigd door Dreamvoid op 29 juli 2024 21:25]

[goarilla]

Wat met de verborgen kosten, wat als je bv AIX en DB2 aangesmeerd krijgt ?

[Dreamvoid]

Tsja, maar een Oracle Linux bak met Oracle DB is ook niet gratis. En je hoeft geen AIX/DB2 te draaien op een POWER8, je kan ook gewoon zelf wat knutselen met Linux.

Sterker nog, op de HPC bakken uit dit artikel draai je normaal gesproken geen database