Nvidia introduceert RTX PRO-servers met acht gpu's en 768GB GDDR7-geheugen

Nvidia werkt aan nieuwe RTX PRO-servers voor enterprisedoeleinden. Deze servers zijn elk uitgerust met maximaal acht gpu's op basis van de Blackwell-architectuur en hebben samen bijna 800GB aan gezamenlijk GDDR7-geheugen.

De nieuwe Nvidia RTX PRO-servers worden geleverd met maximaal acht RTX PRO 6000-videokaarten op basis van de Blackwell-architectuur. Deze gpu's beschikken ieder over 24.064 CUDA-cores; dat zijn er 2304 meer dan in een RTX 5090 voor consumenten. De videokaarten beschikken ook stuk voor stuk over 96GB GDDR7-geheugen met ecc, voor een gedeelde geheugenpool van in totaal 764GB met een onderlinge bandbreedte van 13TB/s. De kaarten hebben bovendien allemaal een tbp van 600W.

Een server met acht van deze kaarten is in totaal goed voor 30 petaflops aan fp4-rekenkracht en 1,32 petaflops aan fp32-prestaties. Daarmee zijn de RTX PRO-servers volgens Nvidia vooral bedoeld voor AI-doeleinden, hoewel de servers bijvoorbeeld ook gebruikt kunnen worden voor het in real time renderen van fotorealistische 3d-beelden.

De servers worden verder voorzien van BlueField 3-dpu's voor het versnellen van opslag- en netwerktaken en krijgen daarnaast een ConnectX-8 SuperNIC-switch. Deze switch is gebaseerd op PCIe 6.0 en biedt een bandbreedte van 800GB/s. De ConnectX-8-switch kan worden gebruikt om meerdere RTX PRO-servers te clusteren tot één geheel.

De RTX PRO-servers verschijnen per direct voor enterpriseklanten. Verschillende bedrijven bieden systemen op basis van de servers aan, waaronder Cisco, Dell, HPE, Lenovo, Gigabyte en Supermicro.

Foto's: Tweakers

Reacties (31)

[MPIU8686]

NVIDIA RTX PRO 6000 Blackwell Server Edition specs.

GPU Architecture : NVIDIA Blackwell Architecture
CUDA Parallel Processing cores : 24,064
NVIDIA Tensor Cores : 752 (5th Gen)
NVIDIA RT Cores : 188 (4th Gen)
Single-Precision Performance (FP32) : 117 TFLOPS
Peak FP4 AI PFLOPS : 3.7 PFLOPS
RT Core Performance : 354.5 TFLOPS
GPU Memory : 96 GB GDDR7 with ECC
Memory Interface : 512-bit
Memory Bandwidth : 1597 GB/s
Power Consumption : Up to 600W (Configurable)
Multi-Instance GPU : Up to 4 MIGs @ 24GB
NVENC | NVDEC | JPEG : 4x | 4x | 4x
Confidential Compute : Supported
Secure Boot with Root of Trust : Yes
Graphics Bus : PCI Express 5.0 x16
Display Connectors : 4x DisplayPort 2.1
Form Factor : 4.4" / 11,17cm (H) x 10.5" / 26,67cm (L), dual slot
Thermal Solution : Passive
Power Connector : 1x PCIe CEM5 16-pin

edit. form factor hoogte

.

[Reactie gewijzigd door MPIU8686 op 19 mei 2025 23:13]

[dasiro]

een paar serieuze opmerkingen:

600W passive koelen is natuurlijk niet zo, maar het wil zeggen dat de koeling vanuit de server/rack moet komen en niet dedicated voorzien is.

De hoogte van 4.4" = 11.18cm en geen 132cm

[FooLsKi]

132cm is 4,4' (foot ipv inch)

[goarilla]

Impliceert dit dat Dell/HP/Cisco zelf met eigen heatpipe heatsink-waterblock cooling designs zullen moeten aankomen of gaan ze dit kunnen bolwerken met gewoon blazers en shrouds vanvoor en wellicht ook in het midden die razen over de standaard heatsinks doorheen de 2.3U (qua hoogte) pizzadoos ?

[MPIU8686]

Klopt inderdaad, maar die passive wijst zichzelf uit.

Hierbij wel de hoogte juist aangepast ..

[Lankman]

Aan de andere kant, wie is er ooit met kennis/ervaring vooraf begonnen?

[R.G]

Nou daarmee kan je selfhosted ai draaien lijkt mij?
👌

[MPIU8686]

Op minimaal 5200Watt .. en 768GB aan GDDR7-geheugen !!

[John Doos]

Ja? Prima toch?

Kun je prima je eigen LLM bouwen, testen en opschalen. Dit zal niet bij de gemiddelde tweaker op zolder eindigen nee. Maar meerdere nodes in een rack in een DC prima te doen hoor.

[MPIU8686]

Gaat zeker .. thuis op de aansluiting van het kookvuur (2 of 3-fasen) dan .. .. gelukkig heb ik zo eentje extra tot 7400Watt op zolder liggen ..

[PuzzleSolver]

Met de negatieve stroomprijzen van hedendaags kan je 'm zelfs terugverdienen . Zal wel heel wat jaartjes duren want het is vast niet goedkoop zo aan de specs te zien

[MPIU8686]

Tussen de €75.000 tot €80.000 schat ik zo met 8x RTX PRO 6000-videokaarten erin.

[kujinshi]

Is dat dan ook weer niet goed voor mining. Dan verdien je hem sneller terug.

Gemiddelde miner zou erg hebberig worden van 8 van die GPU's op een platform.

[R.G]

Bedoelde voor 1 van 97gb met max 600w

[MPIU8686]

Bedoelde voor 1 van 97gb met max 600w

Dan koop je toch gewoon een workstation met 1x RTX PRO 6000-videokaart erin, die zullen binnenkort wel op de markt verkrijgbaar zijn voor €8000 tot €9000 ..

[mjl]

Jemig… moeten we toch een dubbele 32amp groep zien te regelen in de server ruimte… en een bijbehorende UPS, prijs zal niet mals zijn…

[Bramtweakers]

Wat zou het prijskaartje hiervan zijn?

[Dirk J]

Huidige RTX 6000 van de Ada generation kost net geen 8000 euro in de pricewatch. Dan heb je echter de rest van de server nog niet, maar die zal in vergelijking met de GPUs een relatief klein deel van de totaalprijs zijn. Laten we zeggen, ruim boven de 64.000 euro.

[Ariejan]

Ik wacht wel tot ze op V&A komen te staan.

[djwice]

@AverageNL De videokaarten kunnen elk opgedeeld worden in meerdere virtuele video kaarten met elk 24GB geheugen.

De 13TB/s is eigenlijk evenredig verdeeld over de videokaarten.

De kaarten kun je instellen tussen de 300 en 600W. Bij 300W hebben ze 110 TFLOP bij 600W hebben ze 125TFLOP (= fl32).

[Reactie gewijzigd door djwice op 19 mei 2025 19:52]

[itlee]

Dat betekent dat je de server op een 3 fase aansluiting moet koppelen, en kan dus niet op een 230v. een stopcontact kan maximaal 3600 watt leveren. De vraag is, kan je hier ook op minen?

[mjl]

Kan ook prima op een 24 of 32amp groep, in een data center zijn er best wat mogelijkheden.

[MPIU8686]

Je kan hier zeker op minen, met 5x RTX PRO 6000-videokaarten ingebouwd kom je al een heel eind en dan kan deze gewoon nog in je stopcontact. Anders is het inderdaad met 2 of 3-fasen aansluiting.

8x RTX PRO 6000-videokaarten tot 4800Watt + 200Watt systeem

1-fase : Tot 3680Watt
2-fasen : Tot 7400Watt
3-fasen : Boven de 7400Watt

[GMJansen]

https://www.dell.com/en-u...45?search_redirect=xe7745

8x 3200 PSU. 8 16 Ampère groepjes

[GMJansen]

(Hoe meld ik foutjes in een artikel aan de redacteur?)
@Daan van Monsjou
een ConnectX-8 SuperNIC-switch heeft een bandbreedte van 800gb/s (kleine letters). Staat in je genoemde link.

[Werelds]

Feedback link onder de naam van de auteur, rechtsboven.

Maar corrigeer het dan ook wel correct: Gb/s; enkel de "b" moet een kleine letter worden omdat het om bits en niet bytes gaat; giga dient nog altijd met een hoofdletter G gedaan te worden

[GMJansen]

Uh, ja, idd

[rverboom]

Helaas is dit nog niet voldoende voor The Machine. (1313.4 TB)

[David77]

But can it run Crysis Cyberpunk?

[Techman]

Wat mag het eigenlijk kosten?