Cray gaat CS500-clusters voor supercomputers met AMD Epyc-processors leveren

Supercomputerfabrikant Cray gaat zijn CS500-clusters vanaf deze zomer ook met AMD Epyc-processors uit de 7000-serie leveren, die tot 32 cores hebben. Momenteel rust Cray die systemen uit met Intel Xeon-processors.

Cray geeft nog geen exacte specificaties van de CS500-clusters met Epyc-processors, maar zegt dat het cpu's uit de Epyc 7000-serie gaat gebruiken. De topmodellen uit die serie hebben 32 cores en kunnen middels simultaneous multithreading aan 64 threads werken. Per processor zijn acht ddr4-geheugenkanalen beschikbaar, wat configuraties met veel geheugen mogelijk maakt.

Ieder 2U-chassis in een CS500-cluster kan worden uitgerust met vier nodes die ieder twee sockets bevatten. Bij gebruik van processors met 32 cores, resulteert dat in 256 cores per 2U-chassis. Cray levert de systemen in verschillende afmetingen en configuraties, waardoor het totale aantal beschikbare cores kan verschillen.

Cray gaat niet alleen AMD Epyc-processors in zijn CS500-clusters zetten, maar optimaliseert ook zijn softwareomgeving voor de AMD-processors. Volgens AMD is het de eerste fabrikant die dat doet. Het Amerikaanse Cray is een grote speler in de markt voor supercomputers. Vanaf de zomer moeten de CS500-clusters met Epyc-processors beschikbaar zijn.

Reacties (46)

[TunderNerd]

De grote vraag is meer, hoe houdbaar is het x86 (of eigelijk x64) ontwerp, gaan we op termijn niet allemaal richting ARM? Ik geef ruimhartig toe dat ik momenteel een AMD fanboy ben, maar het is en blijft eeuwig zonde dat er maar 2 concurrenten zijn op de x86 markt (en meer mag ook niet), en dat we heel veel oude meuk (legacy) moeten blijven ondersteunen.

[CAPSLOCK2000]

De grote vraag is meer, hoe houdbaar is het x86 (of eigelijk x64) ontwerp, gaan we op termijn niet allemaal richting ARM? Ik geef ruimhartig toe dat ik momenteel een AMD fanboy ben, maar het is en blijft eeuwig zonde dat er maar 2 concurrenten zijn op de x86 markt (en meer mag ook niet), en dat we heel veel oude meuk (legacy) moeten blijven ondersteunen.

Het x86-ontwerp is eigenlijk al 30 jaar over datum, eind jaren 80 was het eigenlijk wel klaar.

Helaas is binary backwards-compatibility enorm belangrijk geworden op dat platform. In tegenstelling tot andere platformen was de meeste X86-software namelijk proprietary en binairy-only. Dat was een idee van de verkoper van het belangijkste OS uit die tijd, Bill Gates. Dat is leuk als je geld wil verdienen aan de verkoop van diskettes met software, maar niet zo handig voor de gebruiker want als je een nieuwe computer koopt werkt die software niet meer tenzij de processor bit voor bit compatible is. Als je eenmaal veel geld in dat soort software hebt geinvesteerd kun je moeilijk nog naar een andere platform overstappen. Vergelijk het met de Android en Appl, mensen zitten daar ook aan vast omdat ze al veel apps hebben.
Intel is dus de ene na de andere generatie van x86 processoren gaan maken om maar backwardscompatible te zijn met de x86 processor. Nou ja, eigenlijk waren dat geen "echte" x86-processoren meer, maar iets anders met een x86-jasje er over heen. (maar goed, vanuit de gebruiker gezien is het gewoon x86).

Gelukkig voor Intel waren er eind jaren 90 geen concurrenten meer over, behalve AMD maar dat stelde niet zo veel voor. Toen kon Intel eindelijk een nieuwe architectuur introduceren zonder het risico dat hun klanten zouden weigeren om over te stappen omdat die nieuwe architectuur niet backwards compatible was. In 2001 werd de nieuwe architectuur geintroduceerd onder de naam IA64. Het plan was om er een softwarematige x86-emulator bij te doen om toch nog x86-compatible te zijn, ook al zou het dan wat langzamer zijn.

Dat was het moment dat AMD z'n slag sloeg. AMD kwam met z'n eigen architectuur genaamd x86_64. Dat was x86 met een paar 64-bit uitbreidingen er bovenop. In tegenstelling tot de nieuwe architectuur van Intel was dit geen grote verandering, maar juist een hele kleine. Alle oude software bleef gewoon op volle snelheid werken. Nu had AMD opeens de snelste X86-compatible processor in huis en nog tegen een zachte prijs ook. Het commercieel succes was gigantisch.
Het succes was zo groot dat Intel zich gedwongen voelde om ook een x86_64 processor te bouwen. Hiermee gingen ze dus de concurrentie met hun eigen IA64-platform aan, en dat heeft het verloren.

We zijn dus al 3 decennia bezig met X86 te verlaten maar dusver schiet het niet heel erg op. Op de een of andere manier hebben we leren leven met de beperkingen en gebreken van dat platform. Wat dat betreft is het net evolutie. Evolutie kiest niet voor de beste oplossing, maar voor de eerste de beste die net goed genoeg is.

Ooit zullen we x86 wel verlaten, maar ik zou er niet op gaan zitten wachten.

[Blokker_1999]

En wat zien we vandaag op de non-x86 markt? Bijna iedereen zit op ARM. Op wat tweaks na om de prestaties te verbeteren zitten ze allemaal met nagenoeg dezelfde instructieset te werken. En dat heeft ook daar te maken met de vraag om compatibel te blijven en kosten te drukken, net zoals op x86. Software vendors zitten simpelweg niet te wachten op tientallen verschilllende architecturen die niet compatibel met elkaar zijn en de gebruiker wil dat zijn software gewoon werkt, ongeacht wat er onder steekt van architectuur.

Intel heeft rond de eeuwwisseling inderdaad IA64 geïntroduceerd, maar deze was toch echt voor de server markt bedoeld. Intel wilde wel een nieuwe architectuur bouwen, gebassseerd op IA64 maar is in snelheid gepakt door AMD.

De reden dat Intel gedwongen werd om AMD64 over te nemen komt niet door AMD of het verkoop succes dat ze in die periode hadden, maar kwam door een beslissing van Microsoft. Zij hadden namelijk laten verstaan dat zij maar 1 64bit platform voor consumenten zouden ondersteunen. En AMD64 was het eerste platform dat in aanmerking kwam en MS heeft dan ook ervoor gekozen om dat platform te gaan ondersteunen ipv het toekomstige Intel platform.

[Pim0377]

ik dacht juist dat Microsoft vooral de AMD kant had gekozen, omdat was gebleken dat de Athlon64 destijds 64 en 32bit vrijwel even soepel draaide, terwijl de Itanium van Intel eigenlijk een x64 only was en 32bit moest emuleren.

en toen bleek dat in 32bits emulatie de Itanium ongeveer zo snel was als een Pentium 2 300Mhz was het geloof ik, Microsoft heft gekozen om het destijds superieure design van de Athlon64 te gaan ondersteunen.

[CAPSLOCK2000]

ik dacht juist dat Microsoft vooral de AMD kant had gekozen,

Ik geloof niet zo in die verhalen. MS heeft zelf als vroeg ingezien wat de voor- en nadelen zijn van binairy-only software en hoe die aan een platform is gekoppeld. Bij de ontwikkeling van Windows NT hebben ze hun uiterste beste gedaan om het makkelijk portable te maken naar andere hardware. Ze hebben ze bijvoorbeeld een versie gemaakt voor Alpha-processoren. Als je eenmaal meer dan twee verschillende types CPU ondersteunt dan is het toevoegen van nog meer types relatief eenvoudig*. Ik denk dus dat het ondersteunen van zowel IA64 als x86_64 best had gekund.
Ik moet wel toegeven dat MS dit vermogen een paar jaar heeft laten versloffen. Het was wel makkelijk dat de hele wereld x86 draaide, dat scheelde toch werk. Een paar jaar lang is Windows er alleen voor x86. Zo erg dat 64bit invoeren een drama werd dat jaren duurde. Ondanks dat denk ik dat het niet zoveel verschil had gemaakt of ze dat nu voor 1 cpu deden of voor 2. De meeste aanpassingen die nodig zijn voor 64bit zal je in beide gevallen nodig hebben.

Sterker nog, in de Linux-wereld is het adagium dat software beter wordt van meerdere platformen ondersteunen. Hoe meer je er hebt hoe meer je gedwongen wordt om na te denken over algoritmes die goed schalen en alle gevallen goed afhandelen. Daarbij vindt je fouten sneller omdat de kans veel kleiner is dat je onbewust gaat vertrouwen op de foutjes en eigenaardigheden van 1 bepaald platform.

Een moderne illustratie zijn games. De meeste games zijn ofwel exclusief gebonden aan 1 platform, ofwel draaien op alle gangbare hardware. Als je eenmaal de stap hebt genomen om multiplatform te gaan dan is het toevoegen van een derde of vierde platform relatief eenvoudig. Dus als je toch al zowel de Playstation als de XBox ondersteunt dan is het een relatief kleine moeite om ook Windows, Linux en MacOS er bij te doen (of andersom).

[deregtx]

Naar mijn weten is MIPS efficiënter dan ARM. Daarom vind ik het jammer dat het Imagination Technologies niet gelukt is om alle grote bedrijven van ARM naar MIPS te krijgen.

En het nieuwe RISC-V is zelfs nog efficiënter dan alle andere architecturen. Maarja het moet natuurlijk wel grote investeringen krijgen om succesvol te worden..

[ehoeks]

Ik denk dat op de lange termijn RISC-V in zowel het low-power als het high-performance domein een groot marktaandeel zal krijgen.

[Thierr86]

Zo was er die discussie toen Apple aankondigde van intel af te stappen. De vraag is natuurlijk, gaan ze compleet hun eigen ARM chip bouwen, of misschien een x86/arm hybrid die ze samen met AMD opzetten?

Mochten ze erin slagen een ARM chip te bouwen die alle x86 software naadloos kan draaien dan zou dit inderdaad wel eens een grote verandering teweeg kunnen brengen.

[Spekkie88]

Och waarom? Alle heeft al eerder laten zien dat het niet bang is om over te stappen... Ze hebben destijds ook de overstag gemaakt van ibm naar intel, wat ook de nodige software heeft gebroken...
Voor zover ik weet was er wel (deels?) backwards compatibility met legacy programma's, maar voor zover ik weet werkte lang niet alles en was dat vrij snel uitgefaseerd...

Er zijn genoeg mensen/bedrijfstakken die zweren bij apple juist om de specifieke apple software en ik mag hopen dat de software die bij apple zelf vandaan komt wel native zal draaien op een nieuw platform.

Apple geeft je ook weinig keus aangezien je OSX alleen op apple producten kan draaien (op hackingtosh na dan), dus dat is dan een beetje "slikken of stikken".

[kidde]

Cray maakt inderdaad ook ARM supercomputers, op sommige gebieden betere prestaties dan Intel:

https://www.nextplatform....c-ripe-processor-shakeup/

[sugarlee89]

Ik denk niet zozeer dat het moeten is, maar men geen idee heeft hoe men het anders moet doen. De mensen van Datapoint die aan de wieg stonden van de x86 instructieset zijn al lang met pensioen of overleden. Enige wat dan overblijft zijn diegene die later de 286 en opvolgers hebben uitgebracht. maar bij allemaal is er hoop geprutst en hoop legacy meegekomen.

[Zer0]

Grappig dat je ARM noemt... op de x86 markt zijn er misschien maar twee partijen, maar op de ARM markt is er zelfs maar een enkele partij, namelijk de Softbank Group, die eigenaar is van ARM Holdings, en de bijbehorende licenties. Alle ARM CPU's bevatten ontwerpen en/of instructie-sets waar licenties van ARM voor nodig zijn.

[TunderNerd]

Klopt, ze ontwerpen alleen de instructie structuur. Verder mag je alles doen wat je leuk vind!
Niemand mag verder x86 processoren ontwikkelen, maken, en verkopen.

[Zer0]

ARM ontwerpt ook cores, alleen hoef je die niet af te nemen. Maar zonder licenties van ARM voor de instructie-set mag/kan je geen ARM cpu's maken, net als x86 niet mogelijk is zonder licenties van Intel.

[Thierr86]

Epyc lijkt me vanwege zijn threads&pcie lanes toch perfect voor supercomputers. Ben verbaasd dat we er niet meer zien.

offtopic: morgen Ryzen 2! Hoop dat tweakers met een review komt. Ik hoop dat ze in gaming eindelijk intel kunnen evenaren.

[Rudie_V]

Elke CPU heeft tegenwoordig wel een vorm van multi-threading, waarom dit volgens jou bij AMD dan opeens perfect voor supercomputers is is mij een raadsel. Het aantal PCIe lanes kan een voordeel zijn als er bijvoorbeeld veel GPU's gebruikt zouden worden, maar de veel gebruikte GPU in supercomputers heeft weer NVLink. In pure rekennodes zijn zoveel PCIe lanes ook weer niet echt nodig.

Er zijn al tijden reviews van bepaalde ryzen 2 CPU's, bijvoorbeeld de 2200 en 2400 en verwacht er geen grote verbeteringen van.
https://nl.hardware.info/...dge-review-mmo-kampioenen
In de singlethreaded test is er eigenlijk geen verschil met de voorgaande generatie.

[watercoolertje]

Elke CPU heeft tegenwoordig wel een vorm van multi-threading, waarom dit volgens jou bij AMD dan opeens perfect voor supercomputers is is mij een raadsel.

Omdat 99/100 andere CPU's waar je het over hebt helemaal geen 32 cores hebben (en dus ook geen 64 threads), en dus kom je dan never nooit aan 256 cores in een 2u rackserver. Er is maar 1 (intel) chip die dat ook heeft volgens mij...

Daarnaast zegt ie niet dat dit de enige mogelijkheid is om een supercomputer te bouwen maar dat EPYC zich daar perfect voor leent, niks aan gelogen dus!

[Reactie gewijzigd door watercoolertje op 23 juli 2024 20:40]

[Adlan]

Niet elke moderne cpu heeft multi-threading (als je HT bedoelt).

[Jeffrey_KL]

Hij heeft het nergens er over dat het geweldig is dat ze multithreading hebben. Het is geweldig dat ze over zoveel threads beschikken en dat dit zicht goed verleend voor supercomputers.

[Thierr86]

Ik doelde idd op GPUs in supercomputers. Van NVlink heb ik geen weet.

We zullen het morgen zien met ryzen2!

[SG]

Cores moeten goed gevoed worden met data en instructies. Meer cores vereist ook meer geheugen bandbreedte wat meer teld bij lichte transacties die wel nodige data als input neemt.
Bij zware compute waar units dozijn of meer cycle nodig hebben speeld het minder mee.
Dus in bepaald toepassingen is 8 channel de feature.
Andere io heavy juist 128 pcie lanes.

Soms is platform belangrijker dan compute power als die hoog genoeg is maar bandbreedte en IO juist de bottleneck is.

[flippy]

epyc is pas kort op de markt en het duurt erg lang om een supercomputer in elkaar te meubelen.
intel heeft het rijk erg lang alleen gehad, dus het duurt even voordat amd weer kan worden aangeboden in de prijslijsten.

[Iblies]

Ligt aan voor welk doel je een supercomputer nodig hebt.

Met een gpu kun je op een aantal vlakken een heel hoge output halen, maar die vinden database en sql niet zo erg leuk.
Vervolgens komt het aan op ondersteuning bij bepaalde specifieke software en daar hebben Intel en Nvidia weer veel meer ervaring mee.

AMD zal het met name van de prijs moeten hebben in standaard-configuraties. Daarnaast zoveel mogelijk meewerken en drivers eventueel optimaliseren voor bepaalde grijs.

[sdk1985]

Epyc lijkt me vanwege zijn threads&pcie lanes toch perfect voor supercomputers. Ben verbaasd dat we er niet meer zien.

offtopic: morgen Ryzen 2! Hoop dat tweakers met een review komt. Ik hoop dat ze in gaming eindelijk intel kunnen evenaren.

Hopen kan altijd maar het is een refresh die niet veel meer doet dan wat de overclockers al met de vorige generatie deden. De paar games met grote verschillen zijn vermoedelijk meer te wijten aan missende optimalisaties dan aan de kracht die in Ryzen zit.

[Maxxilopez]

Hier heb je het heel erg mis als je het nieuws in de gaten houd.

Latency is verbeterd oftewel de IPC is zeker verhoogt. Morgen ga je hele goede gainz zien tegenvoor de 1ste ryzen serie

[sdk1985]

Hier heb je het heel erg mis als je het nieuws in de gaten houd.

Latency is verbeterd oftewel de IPC is zeker verhoogt. Morgen ga je hele goede gainz zien tegenvoor de 1ste ryzen serie

Zoals verwacht zijn de verbeteringen beperkt een procent of 7 bij een 1700X op 4 Ghz vs een 2700X op 4.2 Ghz. Zie https://www.gamersnexus.n...nchmarks-memory?showall=1

[Thierr86]

Zoals ik het begreep zijn er wel architecturele wijzigingen en is het toch echt meer dan enkel een overclock.

Deze architecturele wijzigingen zouden moeten verhelpen met de reden waarom ryzen niet zo goed presteerde in games als in productivity. Volgens mij had het met de latency van de infinity fabric te maken....

[nelizmastr]

Op dat laatste hoef je niet te hopen. Vroegtijdig gelekte data tonen een IPC verbetering van zo'n 7-15% afhankelijk van de applicatie. Niets meer dan we voorheen tussen Intel generaties zagen (en te verwachten bij een optimalisatie i.p.v. een nieuwe generatie, Zen 2 komt pas 2019). Het gat wordt gedicht, dat wel.

[Horatius]

Skylake was de laatste keer dat er meer dan een paar procent is geboekt... Kaby lake zeiden ze 5% extra, was 2-3 % meestal, coffee lake was alleen 2 extra cores. 15% is veel voor een nieuwe generatie.

[nelizmastr]

Skylake naar Kaby was geen IPC verbetering maar alleen kloksnelheidsverhoging. De laatste sprong was eigenlijk Ivy Bridge naar Haswell. Dat zat wel boven de 10%.

[Horatius]

Dat is best veel jaar geleden en zat een flinke tijd tussen. AMD lukt het om in 1 jaar 15% IPC verbetering door te voeren, dat zou intel ook kunnen als ze van hun luie reet kwamen.

[Razzah]

Nee, Ryzen 2 heeft een ~3% IPC increase. Wel een 10-15% SC performance increase, puur door hogere clocks, lagere latency en andere optimalisaties.

De echte klapper komt waarschijnlijk met Zen2 op 7nm, ik kan niet wachten

[spNk]

https://segmentnext.com/2...md-ryzen-7-2700x-vs-1700/

Let hierbij dat beide CPU's dus op een vaste, gelijke kloksnelheid getest zijn. Hier komt de winst van de kloksnelheid dus nog bij op(!).

[Zer0]

Het is AMD nu één keer gelukt op deze architectuur, Intel is ook bij de 2e generatie van de Core architectuur 10-15 procent ophoog gegaan, de 3de generatie was weer minder, en de 4de ruim 10% sneller.
(https://nl.hardware.info/...dge-en-nehalem-resultaten)
Het is dus niet echt bijzonder dat AMD nu 15% extra uit de architectuur weet te persen, het is een jonge architectuur waar blijkbaar nog optimalistie-winst te behalen is. Intel's Core architectuur is wat dat betreft een stuk meer volwassen en zal minder spectaculaire veranderingen bieden.

[Darkstriker]

Met deze 15% zou AMD de huidige Intel's zelfs op IPC en single-core gebied eindelijk inhalen. De belangrijke kwesties zijn dan: Kan Intel de komende jaren evenveel winst uit hun bestaande architectuur persen als AMD uit hun nieuweling (dat lijkt toch best lastig), of gaat AMD er vandoor met de performance-kroon, en hoeveel basis performance weet Intel uiteindelijk te halen uit de geheel nieuwe Sapphire Rapids architectuur die voor 2020 of 2021 gepland staat. Het wordt eindelijk weer spannend in processorland nadat AMD 15 jaar geleden te vroeg inzette op parallelization en breed gebruik van APIs waarmee FP berekeningen naar de GPU overgeheveld zouden worden bij de ontwikkeling van Bulldozer. Developers hebben dat echter nog steeds niet gedaan en zodoende ligt er nog veel efficiëntiewinst in het programmeren van software maar AMD heeft noodgedwongen toch weer een architectuur gemaakt die dat wel redelijk kan maar alsnog niet goed kan concurreren met GPUs als het gaat om FP berekeningen (precies als Intel dat ook doet). Het is jammer, want software zou sneller en energiezuiniger kunnen worden door beter gebruik te maken van de beschikbare hardware (hoewel dat natuurlijk ook ligt bij de ontwikkeling van APIs en niet alleen bij individuele programmeurs).

[Pim0377]

klopt volledig, ze hadden alleen 0,0 motivatie om er veel in te steken.

minimale inzet met maximale omzet, dit allemaal dankzij gebrek aan concurrentie.

je zal zien dat intel de komende tijd in een keer stuk beter sprongen maakt dan de afgelopen jaren

[Sp3ci3s8472]

Volgens mij gaven de AMD slides 3% IPC verbetering aan, clocksnelheid zal naast betere cache/memory latencies de meeste winst gaan geven.

De combinatie geeft wel behoorlijk wat winst tussen de 1700x naar 2700x, wellicht meer dan 15%.

[Sinester]

Ik hoop dat ze in gaming eindelijk intel kunnen evenaren.

We kunnen altijd hopen, maar reken er maar niet op

Wel leuke leaks tegen gekomen dat de 2700x 10% sneller is als de 1700 op de zelfde kloksnelheid
Helaas verder weinig informatie uit de leak

https://www.youtube.com/watch?v=Lv5uTGFSxyA

[xmenno]

Alle vendoren doen wel iets met AMD, al is het alleen maar om de prijs bij Intel omlaag te krijgen.
Dat is wat mij betreft allemaal prima, maar ik denk dat Intel het op performance nog wel wint van AMD.
PCI lanes zijn handig voor NVMe storage en GPU / FPGA, maar ik denk dat de mesh structuur van Intel van bij complexe berekening in geheugen efficienter is.

[Reactie gewijzigd door xmenno op 23 juli 2024 20:40]

[SG]

Op bepaalde gebieden doet gebrek aan AVX512 en Monolitisch model niet toe maar juist memory en IO.
En dan bied AMD meer. Maar ja daar waar intel de features bied blijft het intel. Tenzij iNtel zich de markt uitprijst. Want Epyc is op sommige disiplines duidelijk minder maar kwa prijs performance niet.

[mjtdevries]

maar ik denk dat Intel het op performance nog wel wint van AMD

Waarom denk je dat?

De enige situatie waarin Intel het nog goed doet is spellen met weinig threads waarbij de hogere klokfrequentie als je maar twee cores gebruikt de doorslag geeft.

In vrijwel alle andere situaties wint AMD al van Intel.

[Zomborro]

Goed gedaan AMD!

[sugarlee89]

Wie kent de CRAY1 nu niet, met de mooie zitplaatsen. Apple had er zelfs een om hun volgende Apple mee te ontwikkelen.

[harmvzon]

8 sockets met 256 cores in 2U? Wordt dat niet super warm? En hoe proppen ze het er in?