Intel introduceert Xeon Scalable-processors voor datacenters

Intel heeft zijn Xeon-serverprocessors op basis van het Skylake-SP-platform aangekondigd. Het gaat om 51 verschillende Xeon-modellen, die het bedrijf onder de series Bronze, Silver, Gold en Platinum uitbrengt.

Intel kondigde al eerder de naamgeving en enkele typenummers van de Xeon Scalable-familie aan, maar nu zijn de serverprocessors daadwerkelijk verschenen. De krachtigste chips zijn de Platinum-modellen in de 81xx-reeks, die tot aan 28 cores hebben en geschikt zijn voor servers met twee, vier en acht sockets, dankzij de aanwezigheid van drie upi's of ultra path interconnects.

De Gold-Xeons komen uit in een 61xx- en 51xx-serie, en beschikken maximaal over respectievelijk 22 en 14 cores. De 61xx-chips hebben drie upi's en zijn geschikt voor dual- en quadsocketconfiguraties, de 51xx-modellen moeten het met twee upi's doen, voor gebruik in maximaal twee sockets. De Silver-lijn bestaat uit cpu's met maximaal twaalf cores die in dualsocketsystemen terecht kunnen komen. De processors ondersteunen ddr4-2400-geheugen. Bronze neemt het onderste deel van het gamma in, met processors die over maximaal acht cores beschikken en ddr4-2133 ondersteunen.

Het chipontwerp kenmerkt zich door een meshtopologie, wat Intel in staat stelt om relatief eenvoudig de hoeveelheid cores te verhogen, vandaar de naam Xeon Scalable. De die van een 28core-Xeon is bijvoorbeeld weer te geven als een matrix van zes bij zes, waarbij de bovenste rij wordt ingenomen door de i/o, zoals de upi's en pci-e-controllers. Aan weerzijden van de vierde rij zitten de geheugencontrollers. De meshconfiguratie moet de ringbus van vorige Xeons vervangen. Dat moet lagere latency's opleveren en vergt minder ruimte voor de metalen interconnects.

Intel maakt de op de Skylake-architectuur gebaseerde processors op 14nm. De chips ondersteunen de avx-512-set voor het uitvoeren van instructies op 512bit-data. Intel heeft daarnaast de L2- en L3-cachehiërarchie onder handen genomen. De gedeelde L3-cache is afgenomen van 2,5MB per core naar 1,375 MB per core en is niet langer inclusive; de cache bevat niet meer standaard een kopie van data van de L2-cache. Bovendien heeft Intel de hoeveelheid L2-cache per core verhoogd van 256kB naar 1MB. Volgens Intel levert de gewijzigde cachestructuur flinke prestatiewinsten op.

Intel combineert de processors met de Lewisburg-chipset, oftewel C620. Deze biedt onder andere ondersteuning voor tot aan vier 10Gbit/s-netwerkcontrollers en hardwarematige QuickAssist-accelerators, die kunnen helpen bij het versnellen van toepassingen als encryptie en compressie. De integratie van Omni-Path-interconnects, Intels Infiniband-alternatief, is optioneel. De tdp's van de Xeons variëren van 205W voor de grootste processors tot 85W voor de kleinere varianten. Er zijn ook speciale modellen met lagere tdp's tot 70W voor een levensduur tot tien jaar.

Intel zelf spreekt van de 'grootste vooruitgang voor datacenters in tien jaar' en het bedrijf claimt al 500.000 Xeon Scalable-processors geleverd te hebben. Dat Google onder de afnemers zit, was al duidelijk, maar ook Amazon en Microsoft ondersteunen de generatie volgens Intel.

Reacties (33)

[duderuud]

Meer info bij broertje HWI: https://nl.hardware.info/...view-skylake-voor-servers

Jammer dat Tweakers geen wat meer in depth reviews maakt.
Meer mainstream geworden en op dit punt is dat jammer.

[Reactie gewijzigd door duderuud op 23 juli 2024 20:02]

[Ruudje88]

Leesvoer AMD EPYC vs Skylake-SP:

http://www.anandtech.com/...-cpu-battle-of-the-decade

[itcouldbeanyone]

Komt er dus op neer dat intel met deze neiuwe brand xeons al dik daalt ten opzichte van AMD , voor 10.000euros komt intel niet eens in de buurt van de 4000euro kostende epyc,
Kwa energie, memory en multithreaded perfomance.

Enige voordeel wat ik zie is meer dan 2 sockets

[miel54]

voor die 6000 euro minder krijg je nog eens 16 pci-e lanes extra ook. Wat in deze tijden van machine learning met gpu's ook wel een troef is.

[itcouldbeanyone]

buiten dat minder cores, minder geheugen bandbreedte 2 kanalen minder per socket

[goarilla]

Zo kak dat ook de HPC mensen verplicht zijn om minstens gold te kopen om
Omni-Path te kunnen gebruiken. Blijven de E3 processors trouwens bestaan, ik heb daar nog geen eenduidig antwoord op gehad ?

[TD-er]

Is er ook ergens te zien welke instructies ondersteund worden?
Ik zou graag de SHA256 instructies erbij zien, voor het berekenen van checksums. (voor berekenen van crypto-coins zijn deze niet interessant )
Dat zou zo'n factor 3-5 kunnen schelen en voor de toepassing waar ik naar zit te kijken kan dat dus aardig schelen in het benodigd aantal cores.

[MSalters]

Vreemd op zich. De L3 cache neemt af met 5/4 MB per core, en dat zou gecompenseerd moeten worden door een toename van de L2 met 3/4 MB? De L3 cache is nu nauwelijks groter dan de L2 cache.

De gebruikelijke organisatie van caches is een opbouw in lagen, L1 tot L3, waarbij de lagen steeds groter maar ook langzamer worden (dat is een inherente engineering trade-off).

Het lijkt er nu op dat het belangrijkste verschil tussen L2 en L3 is dat L3 shared is, en L2 niet. Maar L3 wordt nu wel ingewikkeld: het is een exclusive cache, dus data in L2 caches zit niet in L3. Maar wat nu met cache lines die geshared zijn tussen meerdere cores? Die kun je niet in sync houden via L3. Dat betekent dat je tot 22 L2 caches in sync moet houden. Uitdaging.

[Squee]

Het lijkt er nu op dat het belangrijkste verschil tussen L2 en L3 is dat L3 shared is, en L2 niet. Maar L3 wordt nu wel ingewikkeld: het is een exclusive cache, dus data in L2 caches zit niet in L3. Maar wat nu met cache lines die geshared zijn tussen meerdere cores? Die kun je niet in sync houden via L3. Dat betekent dat je tot 22 L2 caches in sync moet houden. Uitdaging.

Ik heb nog geen details gezien over deze indeling, maar een manier om dit te implementeren is dat elke L3 cache een directory bijhoudt over welke lines er in die L3 en in de onderliggende L2 zitten, want dan hoef je niet elke keer naar de L2 toe om deze te doorzoeken. Dit zou dan onderdeel zijn van wat ze bij Intel de "Caching and Home Agent" noemen. Een complex cache coherence protocol om dit te managen is in hedendaagse grote multicore processors een vereiste, en het is een stuk complexer dan de ouderwetse MESI en MOESI protocollen die we bijvoorbeeld vroeger in de AMD Opteron SMP systemen zagen.

[dmantione]

Mogelijke worden lijnen die gedeeld worden gewoon niet in de L2 gezet, dan heb je altijd een penalty als de processor daar toegang op wil, maar beter dan de lijn continu verplaatsen tussen de L2 van iedere kern.

[goarilla]

Ik vind zelf geen antwoord op jouw interessante vraag. Echter servethehome heeft wel iets over CHA (Distributed Caching and Home Agent). Dit kan je hier vinden: https://www.servethehome....nd-platform-implications/. Maar ook weer hier ontbreken er details.

[DervishD]

Intel is nu wel heel zielig bezig. Ze vergelijken een CPU van meer dan $2000 met een CPU van minder dan $500.
https://pics.computerbase.../2/15-1080.3209761711.png
En dan deze nog.
https://pics.computerbase.de/7/9/1/0/2/5-1080.743141907.png
En blijkbaar is vendor lock in good voor de klant.
https://pics.computerbase.../2/16-1080.4009120049.png

[Reactie gewijzigd door DervishD op 23 juli 2024 20:02]

[FreezeXJ]

Had jij dan verwacht dat ze nu gingen toegeven dat ze hopeloos outclassed zijn? Nee, voorlopig moeten ze het hiermee doen, en mag marketing zoveel verf op dit varken smeren als nodig is om em te verkopen. Gelukkig zijn systeembouwers heel behoudend, dus dat komt wel goed...

(Ga je Dell/HP dealer eens vragen om ThreadRipper servers, die gaan ze voorlopig maar zelden leveren. Je systeembeheerder ompraten dat ie zo'n ding neerzet is ook al leuk, de meesten willen Intel of anders niks. Betrouwbaarheid, verkrijgbaarheid over jaren en bekendheid, plus een hoop merktrouwheid wordt geciteerd... en dwingt AMD tot dit soort prijzen. Het hoeft niet te kloppen, als je klant het maar gelooft...)

[Reactie gewijzigd door FreezeXJ op 23 juli 2024 20:02]

[itcouldbeanyone]

De vergelijking met ryzen 1700 is al raar op zich, maargoed vergelijken een epyc steld intel niets meer voor

[jaquesparblue]

Die 2e is bijzonder. Ryzen is een server cpu die repurposed is voor desktop werk, niet andersom.

[DDX]

51 verschillende modellen, beetje overdreven veel 'keus'

[ikbenvanmars]

Dat wordt leuk om te configureren op de website van Dell, bij de volgende serveraankoop.

[Toettoetdaan]

En een CPU met 3647 pinnen, maar als je intels Omni-Path wil, wat eigenlijk 2x PCI-e 16x is, dan moet er nog een connectortje extra aan van 40pinnen...

[Ijsklont]

Deze "connector" waar je over spreekt bevind zich eigenlijk buiten de socket en is dus geen onderdeel van de socket/socketpins aan zich. Hier kun je echter een adaptor op aansluiten om de OPA aansluiting aan de buitenklant van de chassis beschikbaar te maken.

[Reactie gewijzigd door Ijsklont op 23 juli 2024 20:02]

[FlowSnake]

https://www.techpowerup.c...er-in-official-slide-deck

Hmm, het lijkt erop dat Intel toch wat damagecontrol doet, maar op deze wijze met zulke comments richting je professionele klanten? Vreemde gang van zaken.

[Dreamvoid]

Die Platinum chips kunnen wel eens de definitieve nekslag worden voor met name IBM's POWER8 chips. Ze zullen ze nog wel jarenlang blijven bakken voor de huidige systemen maar ik kan me niet voorstellen dat er met dit soort alternatieven nog nieuwe klanten zijn die bij IBM uitkomen.

[kdekker]

Want? Heb je onderbouwing?

Ik denk niet dat je gelijk hebt, c.q. je wens (direct) uitkomt. IBM is al bezig met POWER9. Daar zitten ze ook niet stil. Er is kennelijk mark voor. Hoe goed de Windows/Intel combinatie ook is, er zijn nog steeds goede redenen om AIX/POWER9 te kiezen. O.a. de schaalbaarheid en uitgebreidere enterprise features (zoals LPARs).

[Dreamvoid]

LPARs etc heb je ook bij SPARC en x86 dus dat is op zich niet zozeer het probleem. AIX/POWER is er nog wel in naam, maar die business krimpt al jaren verder en verder richting een legacy-service business zoals HP-UX, de enige groei zit hem bij IBM in hun Linux/POWER systemen (volgens IBM nu 15% van de totale omzet). Maar de totale omzetten en aantallen zakken jaar na jaar verder. Ik volg het nieuws rond IBM al vele jaren, POWER7 zou eerst voor de ommekeer gaan zorgen, toen was POWER8 was de grote hoop, kwam laat, duur en heet, en nu is POWER9 de grote hoop, voor 2018.

Er was vorig jaar nog sprake van dat Google voor POWER9 zou gaan samen met Rackspace, maar het is al een tijdje heel stil rond die "Zaius" servers en sindsdien is Google volop bezig om deze Xeon Platinum servers uit te rollen.

[kdekker]

Ik erken dat het een krimpmarkt is. Voor veel bedrijven is de prijs/prestatie verhouding van Windows/Intel (of desnoods Linux/Intel) goed (genoeg). De groep die meer wil, is een krimpende groep. Maar voorlopig nog wel een groep die blijft bestaan, zolang Intel met de Xeons niet (volledig) in de buurt komt van genoemde concurrenten.

HP staat stil, omdat er geen nieuwe Itanium processor meer komt. Oracle doet nog meer met SPARC, maar ook niet meer in een hoog tempo (LPARs heten daar overigens zones).

Andere dingen die een rol gaan spelen: als 90+% van je organisatie Windows is, is voor management het aantrekkelijk om op een zeker moment de stap naar 100% Windows te nemen (waar al w.s. heel wat managers achter kwamen dat dit toch niet zomaar lukt).

[SSDtje]

"Bij de nieuwe generatie server-CPU's die Intel vandaag introduceert - Xeon Scalabale Processors als marketingnaam en Skylake-SP voor de techneuten - zet Intel technisch grotere stappen vooruit dan men de afgelopen jaren heeft gedaan."

"Intel noemt de nieuwe reeks CPU's zelf "de belangrijkste server launch in de afgelopen 10 jaar". Dat is een claim die we graag voor Intel zélf laten, maar één ding is zeker; bij deze Skylake generatie is er inderdaad veel meer nieuws te melden dan bij de afgelopen generatiea Broadwell en Haswell."
Bron

En dit geeft mij dan een beetje het gevoel van oké eerst was het niet nodig, er was voor Intel immers toch geen concurrentie op deze markt, op IBM en ARM chips na dan.
Nu is AMD de laatste tijd weer flink aan de weg aan het timmeren, waarna het bij Intel plots allemaal wel weer sneller en beter kan.
En nu is het natuurlijk zo, dat wat je niet kent, je ook niet mist, wat mij dan ook zo'n het idee geeft dat Intel dit eigenlijk al lang klaar had liggen, alleen nu pas lanceerd omdat AMD weer een beetje aan het terugkomen is.
Wat hun goed recht is natuurlijk, mocht het zo zijn.
Maar zet je toch even aan het denken.
Al heeft deze nieuwe generatie wel een groot pluspunt, althans naar mijn mening, ze zijn allemaal te plaatsen in eenzelfde type socket, Socket P eindelijk.
Aangezien dit laatste altijd al een beetje een Intel dingetje was.
Kwam er een nieuwe CPU van ze uit, dan kon je er vaak standaard al vanuit gaan dat, mocht je een update gaan doen, je ook gelijk je moederbord kon gaan vervangen.
Waar AMD dat naar mijn idee altijd wat beter voor elkaar had.

@duderuud @Ruudje88 Beiden enorm bedank voor het toevoegen van de link naar jullie gevonden artikelen, het is in een klap een stuk meer leeswerk, maar daar had ik in dit geval een stuk meer aan.
Mede aangezien één van jullie beiden zelf ook al opmerkte, dat het artikel hier op Tweakers niet enorm diep in deze materie duikt.
Topie dus, many thx.


Edit: reactie nog even iets aangevuld

[Reactie gewijzigd door SSDtje op 23 juli 2024 20:02]

[ACM]

Het is bij dit soort dingen natuurlijk niet zo dat Intel in het nieuws leest dat AMD een nieuwe processor heeft, en dat ze dan even snel een week later een compleet vernieuwde architectuur kunnen presenteren. Dus daar zal Intel al een tijd mee bezig zijn geweest.

Of het wel of niet door AMD (en wellicht aankondigingen rond ARM) komt of domweg vooral toeval, is natuurlijk lastig te zeggen zonder ergens in de buurt van de directiekamers van Intel te komen

[DamirB]

Grappig dat je op de achtergrond van de Xeon's een quantum processor ziet

[Squee]

Ik vind het wel interessant om even naar de schaalbaarheids aspecten te kijken van wat ze nu presenteren. De top of the line Platinum en Gold (61xx alleen, niet 51xx) hebben drie UPI links, de opvolger van de QPI met iets hogere bandbreedte. De andere modellen, de 51xx Gold en Silver en Bronze moeten het met twee UPI links doen. Een goed overzicht van deze topologieen staat op een van de Intel slides gepost by de buren.

Wat betekent dat nou eigenlijk? Voor de top of the line Platinum en Gold kan je een 4-way multiprocessor systeem bouwen waarbij alle sockets een directe link hebben. De Gold 51xx ondersteunt wel 4-way configuraties, maar omdat er maar twee UPI links zijn per socket zal je de 4e socket via een van de andere sockets moeten bereiken, waardoor 25% van je geheugen capaciteit te bereiken is tegen een hogere latency dan de 50% die op de twee direct verbonden sockets zit, of de 25% op je lokale socket.

Met de 8-way systemen die je alleen met Platinum kan bouwen heb je een vergelijkbaar probleem; omdat je maar 3 UPI links hebt zijn er maar 3 van de 7 andere sockets direct te benaderen, en zal je de overige 4 via een extra hop moeten bereiken. Met andere woorden; in deze situatie heb je dat 50% van je addresseerbare geheugen deze extra hoge latency heeft, 37.5% een enkele hop latency en 12.5% lokaal aanwezig is.

2-way is wel altijd simpel; je hebt simpelweg meer of minder bandbreedte afhankelijk van of je een 2 of 3 UPI link processor gebruikt, en je zal altijd hebben dat 50% van je geheugen een wat hogere latency heeft omdat je naar de andere socket moet.

Natuurlijk gaat het bovenstaande verhaal niet alleen maar op voor geheugen toegang; maar ook voor data die gedeeld wordt en actief in de L2 of L3 caches aanwezig is. Applicaties die schalen over meerdere cores en geheugen actief delen zijn het meest interessant hier, want moderne besturingssystemen hebben allerlei NUMA optimalisaties om te zorgen dat het meeste geheugen wat een applicatie gebruikt lokaal gealloceerd wordt. Dergelijke non-uniforme afstanden is dan best een uitdaging.

Het is ook wel even leuk om dit te vergelijken met AMD's EPYC. Ten eerste heeft AMD alleen maar ondersteuning voor 2-socket systemen tot nu toe op de markt gebracht. Nu zou je in eerste instantie denken; dat is vergelijkbaar met het simpele 2-socket scenario van Intel hierboven, maar dat is niet het geval. Omdat AMD EPYC uit vier Zephyr modules op een package bestaat, komt er toch nog wat meer bij kijken. Zo zijn er vier Infinity Fabric links tussen de sockets (een tussen elk paar Zephyrs), en elke Zephyr heeft drie links naar zijn drie buren binnen de package/socket. Dit betekent dat je hier een topologie hebt die een beetje lijkt op wat ik hierboven beschreef in de 8-socket case; je hebt drie korte links (met iets lagere latency) binnen dezelfde socket, je hebt een iets langere latency naar dezelde Zephyr in de andere socket, en je hebt een optelling van deze twee latencies, dus ook twee hops, naar de drie andere Zephyrs op de andere socket. Dus je hebt 12.5% lokale latency, 37.5% lokale link latency binnen socket, 12.5% remote socket latency, en 37.5% remote socket + lokale link latency voor een willekeurig geheugen adres.

Als laatste, iets wat ik zo even niet echt zag terug komen in de artikelen, zijn de "F" modellen die Intel hier heeft aangekondigd. Deze hebben een ingebouwde OmniPath Fabric connectie; in feite Intel's eigen ontwikkelde opvolger van InfiniBand. Dit zal erg interessant worden voor supercomputer clusters. Dit soort interfaces direct integreren op een chip kan weer extra veel latency voordelen opleveren, en dat zal de schaalbaarheid van dat soort grote supercomputer clusters alleen maar ten goede komen.

[killerdemon]

Nu AMD nog

[Dreamvoid]

AMD, maar ook IBM en Oracle.

Het zou wel interessant om een 4-way test te zien tussen EPYC, Skylake-SP, POWER8 en SPARC M7, alle platforms draaien op Linux dus dat biedt een mooie vergelijking.

[TheBorg]

AMD heeft twee weken geleden de EPYC 7000 aangekondigd.

[killerdemon]

Ook al verkrijgbaar?