Intel introduceert 'tiled' Xeon-processors met tot 60 cores en HBM

Intel introduceert dinsdag een stortvloed aan serverprocessors: maar liefst 52 modellen. Het topmodel telt 60 cores, verdeeld over vier tiles, terwijl de nieuwe Xeon Max-serie over onboard-hbm beschikt. Bovendien komt de Ponte Vecchio-videokaart beschikbaar.

Eindelijk Sapphire Rapids

De nieuwe cpu's hebben de officiële marketingnaam 4th Gen Intel Xeon Scalable Processors, maar waren tot nu toe beter bekend onder de codenaam Sapphire Rapids. Ze volgen de in 2020 geïntroduceerde Cooper- en Ice Lake-chips op. Oorspronkelijk had Sapphire Rapids al vorig jaar op de markt moeten komen, maar problemen met het Intel 7-productieprocedé hebben tot uitstel geleid.

Alle nieuwe Xeons maken uitsluitend gebruik van P-cores, die wat de architectuur betreft overeenkomen met de Raptor Cove-cores in de dertiende generatie Core-processors. De chips hebben een octachannel-DDR5-geheugencontroller en beschikken over 80 PCIe 5.0-lanes. Daarbovenop kunnen vier CXL 1.1-apparaten worden aangesloten, bijvoorbeeld accelerators. Wat type connectiviteit betreft zijn de processors daarmee vergelijkbaar met AMD's nieuwste Epyc Genoa-processors.

Drie dies: XCC, MCC en Max

Onder de heatspreader van de nieuwe Xeons gaat steeds een XCC-, MCC- of Max-die schuil. De XCC-die bestaat uit vier los geproduceerde tiles, met elkaar verbonden via Intels 2,5d-packagingtechniek emib. Voor de onderlinge communicatie wordt een geoptimaliseerde meshstructuur gebruikt, die Intel MDF heeft gedoopt. Afgaande op de gedeelde schema's zijn er 64 cores aanwezig in de XCC-chip, maar daarvan zijn er maar maximaal 60 ingeschakeld. De Max-die is een variant van de XCC-die met 64GB HBM2e-geheugen, terwijl de MCC-die een monolithische chip is met maximaal 32 actieve cores.

Accelerators tegen betaling

Tijdens het release-evenement hamerde Intel vooral op de aanwezigheid van tal van ingebouwde accelerators die specifieke taken kunnen versnellen, zoals deep learning, encryptie en netwerkverkeer. Lang niet alle modellen beschikken standaard over alle soorten accelerators en uitbreidingen. Met Intel On Demand, een vorm van software-defined silicon, kunnen die na aanschaf alsnog worden geactiveerd, tegen betaling uiteraard.

Intel heeft geen benchmarks gepresenteerd ter vergelijking met AMD's nieuwste Epyc-cpu's, naar eigen zeggen omdat het daar nog niet aan kon komen. De nieuwe Xeons krijgen adviesprijzen tussen de 415 en 17.000 dollar. De Xeon Platinum-versies kunnen overweg met maximaal acht sockets per systeem.

Data Center GPU Max: Ponte Vecchio

Tegelijk met de nieuwe Xeons komt eindelijk de Ponte Vecchio-videokaart beschikbaar, waarover Intel al in 2021 uitgebreid heeft gepresenteerd. Deze gpu bestaat uit maar liefst 47 tiles, gemaakt op vijf verschillende productieprocessen van TSMC en Intel zelf. Ze zijn met elkaar verbonden via emib.

Er komen drie versies beschikbaar, waarvan de GPU Max 1100 het best herkenbaar is als een videokaart. Deze PCIe-kaart heeft een tdp van 300W. De GPU Max 1350 en 1550 zijn verpakt in de OAM-formfactor, een door Meta ontwikkelde en open source gemaakte standaard, en hebben tdp's van respectievelijk 450 en 600W. Tot slot zijn er ook nog eens complete 'subsystems' beschikbaar, die vier van die OAM-modules combineren met een tdp van 1800 tot 2400W.

Reacties (80)

[d3x]

@Tomas Hochstenbach

In je huidige info geef je aan dat connectiviteit on par is tussen Intel en AMD:

Alle nieuwe Xeons maken uitsluitend gebruik van P-cores, die wat de architectuur betreft overeenkomen met de Raptor Cove-cores in de dertiende generatie Core-processors. De chips hebben een octachannel-DDR5-geheugencontroller en beschikken over 80 PCIe 5.0-lanes. Daarbovenop kunnen vier CXL 1.1-apparaten worden aangesloten, bijvoorbeeld accelerators. Wat connectiviteit betreft zijn de processors daarmee vergelijkbaar met AMD's nieuwste Epyc Genoa-processors.

Echter als we kijken naar specs binnen de connectiviteit:
Xeon 4th - 8 mem channels - Genoa 12 mem channels
Xeon 4th - 80 PCI-e lanes - Genoa 160 PCI-e lanes
Xeon 4th - 64 CXL lanes - Genoa 64 CXL lanes

Dus een single socket AMD heeft maar liefst 50% meer mem channels en 100% meer PCI-e lanes. tot zo ver vergelijkbaar.
Dus: ze zijn on par kwa type connectiviteit.... maar ver van specificaties.

[Reactie gewijzigd door d3x op 26 juli 2024 20:53]

[Tomas Hochstenbach]

Uiteraard bedoelde ik daar het type connectiviteit ja

[synoniem]

Jammer dat er nog geen vergelijkende benchmarks met AMD Epyc zijn. En de bij die benchmark behorende energieverbruik. Puur de klok opvoeren om maar de benchmarkwinst te halen is natuurlijk een no no voor het energieverbruik.

[- peter -]

Die zijn er wel. Bijv Phoronix. https://www.phoronix.com/review/intel-xeon-platinum-8490h

Conclusie: in AI workloads sneller maar de nieuwste Epycs kloppen het topmodel Xeon nog wel in de normale workloads/benchmarks, met minder verbruik.

[Reactie gewijzigd door - peter - op 26 juli 2024 20:53]

[kdekker]

Bij https://www.servethehome....ire-rapids-leaps-forward/ staat ook al wat.

[Jonathan-458]

En niet te vergeten een betere prijs, al zal intel flinke kortingen aan partners geven.

[d3x]

Als je zelfs de benchmarks weglaat die gebruik maken van de Intel specifieke compilers of nu specifiek hun acceleratie engines aanspreekt (die heel specifiek zijn per SKU soms) dan is de top SKU van Intel dual socket veelal on par met de vorige generatie Epyc. Komt natuurlijk dat deze generatie Epyc niet alleen veel sneller is dan de vorige maar ook nog eens een SKU heeft met 96 Cores tegen 64 Cores. En de base clock en all core turbo is ver buiten de ranges van eender welke 4th gen Intel binnen zelfde TDP.

Maw. Je koopt nu een AMD single socket waar je voor Intel een dual socket moet kopen voor maar in de buurt te komen van de performance in general purpose workload wat vandaag de dag al 80-90% virtualisatie is. AMD is daar nu simpel weg de beste keuze (zelfs al in vorige generatie) wie nu nog Intel only koopt voor virtualisatie is blind en doet gewoon zichzelf de das om met slechte prijs/perf/power.

[Reactie gewijzigd door d3x op 26 juli 2024 20:53]

[thibaultvdb]

Ben ook benieuwd hoe goed ze zijn in RandomX.

[Q]

Tijdens het release-evenement hamerde Intel vooral op de aanwezigheid van tal van ingebouwde accelerators die specifieke taken kunnen versnellen, zoals deep learning, encryptie en netwerkverkeer. Lang niet alle modellen beschikken standaard over alle soorten accelerators en uitbreidingen. Met Intel On Demand, een vorm van software-defined silicon, kunnen die na aanschaf alsnog worden geactiveerd, tegen betaling uiteraard.

Voor mij is dit het meest interessante puntje van deze aankondiging. Linus van LTT heeft al een aardige rant gehouden over deze nieuwe trend in een WAN show. Persoonlijk geef ik er niet zoveel om gezien de markt van deze processoren.

Maar ik vind persoonlijk wel dat het subscription model voor hardware meer een soort stuiptrekking is van een verziekte globale markt. Eerder was er al de rel over de BMW subscription voor verwarmde stoelen. Maar dit is het logische gevolg van kapitalisme waarin altijd groei moet worden behaald. Totaal unsustainable in ieder opzicht, maar er zijn geen fratsen die bedrijven niet zullen uithalen om die winst en groei te laten zien. En lange-termijn gaat dit ook de consument steeds meer treffen, vrees ik. Huren vs. kopen.

Huren is in heel veel gevallen erg ongunstig voor de huurder, maar will somebody think of the shareholders?

[Caayn]

Hardware "ontgrendelen" doormiddel van een licentie is niet perse iets nieuws voor de zakelijke markt. Ik herinner mij nog wel oude AS400 systemen waarbij het aantal ingeschakelde cores/cpus afhankelijk was van de licentie.

offtopic:
Linus is ook wel een kleuter eerste klas.

[Reactie gewijzigd door Caayn op 26 juli 2024 20:53]

[CrazyBernie]

In mijn carrière al tientallen keren tegen gekomen vooral bij high end hardware. Waarbij de fabrikant eigenlijk maar een paar skus had en dan op basis van licentie (eenmalig of recurring) functionaliteit aan of uit zette.
Dit liep van raid controllers , kvm , router functies , extra cores tot zelfs extra disk space. Dus het model is totaal niet nieuw en voor de bedoelde afnemers alleen maar handig want je koopt maar wat je nodig hebt en zonder extra installatie en integratie kosten krijg je later indien gewenst extra functies. Ook voor de consument is het belangrijk want hierdoor kan Intel meer massa produceren van een techniek en uiteindelijk zakt de prijs per unit.

[Guru Evi]

Lenovo en Dell doet het al een tijdje, en een reeks storage systemen kun je ook gewoon schalen per GB die je gebruikt alhoewel het volledige systeem in je rack staat.

Windows Server gaat in die richting met de nieuwe on-prem licenties, Windows Server Next (2025) betaal je Microsoft een per-core kost en dan betaal je per uur voor de software (Exchange, Kubernetes, SQL) die je gaat willen draaien aan dezelfde kost dan als je het in Azure zou draaien.

Dit is uiteindelijk wat ‘cloud’ doet ook, en meer en meer bedrijven kiezen voor zulk betaalmiddel.

[oef!]

Maar ik vind persoonlijk wel dat het subscription model voor hardware meer een soort stuiptrekking is van een verziekte globale markt.

Ligt er natuurlijk aan in welke vorm, de hele cloud is gebaseerd op hardware die je huurt. En veel genuanceerder kan het natuurlijk beter zijn om een paar modellen van iets te produceren en vervolgens functionaliteit vrij te geven na betaling. Een eenvoudiger productieproces kan leiden tot kostenbesparingen en uitval/afval.

Of de klant daar veel van merkt is een tweede maar het gebeurt gelukkig nog niet in de consumentenmarkt.

[majetta]

Nee, je snapt het niet. Er gaat miljarden in R&D om deze chips te maken, het winst die ze al maken moet natuurlijk NOG hoger.

We leven namelijk in een kapitalistische wereld, niet in Noord-Korea waar elk mens gelijk is en ieder net zo weinig heeft als de ander.

[cariolive23]

Maar dit is het logische gevolg van kapitalisme waarin altijd groei moet worden behaald. Totaal unsustainable in ieder opzicht, maar er zijn geen fratsen die bedrijven niet zullen uithalen om die winst en groei te laten zien. En lange-termijn gaat dit ook de consument steeds meer treffen, vrees ik. Huren vs. kopen.

Dat werkt toch al een paar duizend jaar? Of je nu Duitsland, Cuba, Venezuela of de Verenigde Staten neemt, overal betaalt men huur omdat men niet de eigenaar is van een woning. Alleen diegene die zelf eigenaar is, betaalt geen huur.

Sociaal democratisch, communistisch, dictatuur of sterk kapitalistisch, overal doen we hetzelfde. Noemen het alleen anders.

[Guru Evi]

In communistische en socialistische regeringen (dictaturen) zegt de regering wat ze denken dat de markt nodig heeft (zoals standaardisatie op een 100W USB 3.1 in 2024 terwijl USB4 al aan de tweede incarnatie is) en dan innoveert er niemand..

Hoeveel computers en innovatie komt/kwam er uit Chinese of de Soviet regeringen? Ze kunnen inderdaad goed namaken, maar we horen al 20 jaar over een Intel- en nVIDIA-verplaatsing uit China en behalve een namaak Celeron en verouderde ARM/MIPS architecturen zien we echt niet veel vooruitgang.

[Reactie gewijzigd door Guru Evi op 26 juli 2024 20:53]

[koenkooi]

In communistische en socialistische regeringen (dictaturen) zegt de regering wat ze denken dat de markt nodig heeft (zoals standaardisatie op een 100W USB 3.1 in 2024 terwijl USB4 al aan de tweede incarnatie is) en dan innoveert er niemand..[...]

Je verward de USB charger specificatie (waar 3.1 op dit momemt de nieuwste versie is) met de USB4 specificatie (waar het nummer letterlijk niets betekent). Zie https://www.usb.org/usb-charger-pd

[Guru Evi]

Zowel de kabel alsook de PD standaard hebben nieuwe standaarden van wat de EU gespecificeerd heeft.

De EU specs zijn USB PD 3.0 (100W) OF een USB-C connector met een teruggetrokken IEC voorstel, gelijkaardig aan (maar niet) USB Type C ergens tussen Gen1 en Gen2

Dus jouw toestel MOET een oudere USB-C verbinding hebben. De USB Type C v2.1 kabel/connector standaard ondersteunt ondertussen 240W, stroomlevering in beide richtingen en een hoop andere innovaties die niet compatible zijn met de versie die jouw toestel verplicht is om te hebben.

[robertlinke]

voor business is dit beter dan voor de consument.
As A Service zou nooit een consumenten ding geweest moeten zijn, alleen een business ding
want er zit ook support, SLA's etc achter want het bedrijf achter de "service" heeft nu ook een doorlopend contract. iets wat bij de consumenten versies vaak niet als zodanig word neergezet.

[divvid]

Leveren ze er ook een kolencentrale bij? Wat een vermogens

[PjotterP]

Je moet wel even meenemen dat je als je kijkt naar de performance per watt dit beter is. Als je puur kijkt naar hoeveel cpus je nodig hebt in een server of aantal servers dan ben je met deze CPUs juist MINDER energie kwijt.

[divvid]

Als je daar naar kijkt dan zit je allang in het AMD kamp.

[PjotterP]

Je maakt het weer lekker binair, zo simpel ligt het niet, er zijn meerdere factoren die je meeneemt bij de keuze van het platform

[Reactie gewijzigd door PjotterP op 26 juli 2024 20:53]

[divvid]

Als zware gebruiker van dergelijke systemen heb ik echter vrij weinig verschil gezien. Nieuwe systemen zijn welliswaar sneller, maar de queues zitten vaak zo overvol dat rekenen op een wat ouder systeem soms toch sneller is voor het project

[PjotterP]

Bedoel je met queues levertijden van de leverancier? Want als het gaat om verwerkingssnelheid (processing power) van de cpus snap ik je punt niet.

[divvid]

Queues als in jobs die staan te wachten. Al meer malen meegemaakt dat een job een dag staat te wachten om in een paar uur klaar te zijn terwijl op het oude systeem dezelfde job er tweekeer zo lang over doet, maar wél gelijk start.

[PjotterP]

het is mij nog steeds volstrekt onduidelijk hoe dan het oude systeem 'sneller' kan zijn voor het project.

[divvid]

Ok , nog 1x
Ik submit op 17:00 een job naar het oude cluster ( geschatte runtijd 12 uur), de job start direct en ik ga lekker naar huis

Of…
Ik submit dezelfde job naar het nieuwe cluster, runtijd ongeveer 2 uur, queue wacht tijd ongeveer 18 uur.

Met welke job ben ik blij de volgende ochtend 8:30 denk je?

[PjotterP]

Helder zo, maar jouw opmerking heeft als ik het goed begrijp niet betrekking op hardware performance maar op interne organisatorische aspecten zoals capaciteit, vraag, prioritering. Het nieuwe cluster is sneller maar er is meer vraag is in de organisatie om dingen op het nieuwe cluster te draaien.

[flippy]

is intel nu echt cpu's cores aan elkaar aan het lijmen?

(voor de mensen die de grap missen: https://www.techpowerup.c...er-in-official-slide-deck

[SpamLame]

yup, if you cant beat them, join them

[Tomas Hochstenbach]

In de slides staat dus ergens letterlijk het woord 'glueless'

Als je het Intel vraagt zijn de tiles absoluut niet aan elkaar gelijmd iig

[Ithaca81]

Verkeerd geplaatst

[Reactie gewijzigd door Ithaca81 op 26 juli 2024 20:53]

[Ithaca81]

Alle nieuwe Xeons maken uitsluitend gebruik van P-cores, die wat de architectuur betreft overeenkomen met de Raptor Cove-cores in de dertiende generatie Core-processors.

Lijkt mij golden cove P-cores.

[Tomas Hochstenbach]

Golden Cove had 1,25MB L2 per core. De serverversie van Golden Cove zou 2MB krijgen, maar die was er tot nu toe niet, en in feite de enige verbetering in Raptor Cove was... een verhoging van de L2-cache per core naar 2MB. Potayto, potahto

[Ithaca81]

Wikipedia is het niet met je redenatie eens.

https://en.m.wikipedia.org/wiki/Golden_Cove#top

In eerdere berichtgeving werd consequent gesproken over golden cove cores. Gelet op de vertragingen en intensievere wijze van testen van de server cpus zou het ook vreemd zijn als een dermate nieuwe core (raptor) nu al is terug te vinden in server cpus.

[kluyze]

De lijst staat ook al op ark;
https://ark.intel.com/con...-scalable-processors.html

De meest goedkope is inderdaad 415 dollar;
https://ark.intel.com/con...22-5m-cache-1-80-ghz.html

[Reactie gewijzigd door kluyze op 26 juli 2024 20:53]

[PjotterP]

Ik ben benieuwd of en wanneer we saphire rapids workstation (W series) te krijgen (opvolger van icelake xeon w-3300 series)

[kluyze]

Een aantal bronnen heb ik 15 februari zien opperen;

https://wccftech.com/inte...kstation-cpus-next-month/
https://videocardz.com/ne...s-launch-on-february-15th

[Reactie gewijzigd door kluyze op 26 juli 2024 20:53]

[PjotterP]

Dank! Ziet er veelbelovend uit!

[Sodela]

Voor de datacenters en dus de gebruikers zal het ook de vraag zijn hoe de leveranciers van software die hier op gaat draaien de rekening presenteren.

Veel meer cores en dergelijke veroorzaken misschien wel een „explosie“ aan rekenkracht soms ook een nog grotere explosie aan licentiekosten zonder dat je er effectief meer voor krijgt omdat het gerelateerd is aan het platform (met name de omvang) en nauwelijks aan het gebruik.

[supersnathan94]

EPYC 9004-cpu's krijgen 128 PCIe 5.0-lanes en 12 DDR5-kanalen, met ondersteuning voor maximaal 6TB DDR5-geheugen per socket.

Dat zette me even aan het denken. Aangezien er hier bij 80 lanes al gezegd wordt dat het vergelijkbaar is.

De chips hebben een octachannel-DDR5-geheugencontroller en beschikken over 80 PCIe 5.0-lanes. Daarbovenop kunnen vier CXL 1.1-apparaten worden aangesloten, bijvoorbeeld accelerators. Wat connectiviteit betreft zijn de processors daarmee vergelijkbaar met AMD's nieuwste Epyc Genoa-processors.

How does that compute? 80 is wat mij betreft namelijk significant minder dan 128 (AMD heeft 62,5% extra lanes) dus ik ben even naar die CXL dingen gaan kijken. Blijk dat dit onder water gewoon PCIe 5.0 x16 sloten zijn en dat cxl alleen een uitbreiding is op:

Compute Express Link has the benefit of supporting either a standard PCIe Device or a CXL Device on the same Link

Intel zou hiermee dan dus op 144 lanes PCIe 5.0 uitkomen.
Probleem is echter... waarom dan alleen die 64 lanes expliciet via CXL en niet daadwerkelijk als PCIe?

CXL maintains a unified, coherent memory space between the CPU and any memory on the attached CXL Device

Aha! oke dat is opzich best interessant natuurlijk. Als ik het zo lees op de website van CXL gaat het er vooral om dat het ietwat restricties aan brengt in de type devices, maar daar in de plaats wel een minder complexe set up met extra controllers vereist en een heterogene set aan apparaten verbind als 1 resource pool.

Dan begrijp ik hem denk ik wel. Zeker met die nieuw GPU accelerators.

edit: CXL spec: https://www.computeexpres...-now-available-to-members

[Reactie gewijzigd door supersnathan94 op 26 juli 2024 20:53]

[jaquesparblue]

Gaat dit net zo'n paperlaunch worden als de 13th series non-Ks? Of is er dit keer wel daadwerkelijk silicon gebakken?