Nvidia stelt release AI-chip voor Chinese markt uit naar begin 2024

Nvidia stelt de release van de H20 AI-chip voor de Chinese markt uit naar het eerste kwartaal van volgend jaar. Volgens Reuters zouden sommige serverfabrikanten problemen ondervinden met de integratie van de AI-videokaart in hun systemen.

De H20 is, net als de H100-gpu, gebaseerd op de Hopper-architectuur en beschikt over 96GB HBM3-geheugen. Dat geheugen maakt hogere snelheden en groottes mogelijk. De geheugenbandbreedte bedraagt 4TB/s. De AI-chip werd begin november samen met de iets minder krachtige L20- en L2-videokaarten geïntroduceerd. De drie videokaarten zijn specifiek voor de Chinese markt ontwikkeld en zouden ook niet in strijd zijn met de Amerikaanse beperkingen van AI-chips naar China. De release van de L20- en L2-videokaarten zou volgens Reuters wel op schema zitten.

De Amerikaanse overheid voerde een jaar geleden een exportverbod in voor AI-videokaarten. Nvidia mocht zijn A100- en H100-datacenter-gpu’s hierdoor niet meer exporteren naar China, Rusland en later ook het Midden-Oosten. Volgens de Amerikaanse overheid kunnen deze gpu’s gebruikt worden voor militaire doeleinden.

Update, 17.00 u: 4 Tbit/s vervangen door 4TB/s.

Nvidia H100

Reacties (16)

[Myri]

Ah, waar is de tijd dat regimes aanzienlijke playstation 2/3/4's inkochten voor hun eigen supercomputer te bouwen..

[cmegens]

Technisch gezien kan dat nog steeds met 4090s. Het schaalt alleen iets minder lekker qua kosten en stroom kosten, en dat loopt aardig snel uit de klauwen.

[Koakie D]

je kunt een aardige workstation bouwen met een paar 4090. Maar dan houd het wel een beetje op omdat de geforce gpus geen NVLink ondersteunen.

dat is wat de A100/H100 interessant maakt. Supersnelle communicatie tussen de GPUs buiten de PCIE interface om en het geheugen onderling delen waardoor het functioneert als één geheel. Vervolgens kan je meerdere servers aan elkaar koppelen met Infiniband (daarom had Nvidia Mellanox overgenomen) en kunnen de GPUs van server 1 direct communiceren met server 2 3 4 5 6 7 etc.

je kunt geen supercomputer meer bouwen met 4090 GPUs. Edit: kan wel. Maar dan zijn alle nodes in de supercomputer beperkt tot eenvoudige machine learning opdrachten. Geen geadvanceerde AI. Zonder NVLink schaalt het voor AI gewoon helemaal niet.

[Reactie gewijzigd door Koakie D op 22 juli 2024 14:31]

[cmegens]

Hmm 3090s dan?

[Koakie D]

de NVlink op de 3090 is een bridge die zorgt er alleen voor dat twee GPUs met elkaar kunnen communiceren. Zodat je van 24gb naar 48gb gaat en een grotere dataset in het geheugen kunt laden. Geforce GPUs ondersteunen geen RDMA (remote direct memory access).

De grote AI servers van Nvidia hebben 8 A/H100 SMX modules die allemaal direct met elkaar kunnen communiceren en het geheugen delen. (80GB X 8 = 640GB)

Vervolgens met RMDA ondersteuning kunnen de GPUs in een cluster onderling geheugen delen met andere servers en dan kan je opeens een dataset van een aantal terabyte in het geheugen laden.

https://docs.nvidia.com/h...architecture-dgx-h100.pdf
supercomputers/clusters zijn facinerend.

De bottleneck bij opschalen zit hem in de geheugen snelheid en bandbreedte. De a800 versie die China vorig jaar nog kreeg van Nvidia is net zo krachtig als de a100 alleen langzamer in onderlinge communicatie tussen GPUs.

[Reactie gewijzigd door Koakie D op 22 juli 2024 14:31]

[SuperDre]

Regimes klinkt nogal negatief, tenzij je daar de VS ook onder schaart, want het amerikaanse leger had ook heel wat PS3's gekocht om goedkoop een supercomputer te bouwen, deze waren vele malen goedkoper dan IBM's cell bladeservers.

[dasiro]

Volgens Reuters zouden sommige serverfabrikanten problemen ondervinden met de integratie van de AI-videokaart in hun systemen.

Klinkt alsof ze een drogreden hebben gevonden om de release uit te stellen tot er nieuwe strictere sancties komen, want de H100 is wel gewoon gereleased. Misschien is het probleem veroorzaakt doordat ze gecrippled zijn. Ik kan me niet inbeelden dat er in China geen gigantische contracten liggen te wachten om fullfilled te worden en serverfabrikanten hardware weigeren omdat ze hem niet goed geïntegreerd krijgen.

[Blokker_1999]

Wat denk je dan, dat fabrikanten met plezier systemen gaan uitleveren die niet goed werken om achteraf de schadeclaims te betalen en nog meer te moeten investeren in alles recht te zetten?

Sowieso kunnen wij geen uitspraken doen zonder meer details te kennen over de precieze problemen die ze ondervinden. Het kan gaan om een puur softwarematig probleem, maar in het ergste geval heeft Nvidia een hardwarematige bug geintroduceerd die opgelost moet worden waardoor er eerst nieuwe chips gemaakt moeten worden.

[dasiro]

in het ergste geval heeft Nvidia een hardwarematige bug geintroduceerd die opgelost moet worden waardoor er eerst nieuwe chips gemaakt moeten worden.

dat is idd waar ik op hint. Simpel gezegd: ze mogen enkel rommel naar China exporteren en zeggen dan "oops het is rommel, we gaan het niet exporteren", zelfs al zijn ze in China aan het wachten om van die rommel iets bruikbaars te maken.

[DvanRaai89]

De H20 is, net als , gebaseerd op de Hopper-architectuur en beschikt over 96GB HBM3-geheugen. Dat geheugen maakt hogere snelheden en groottes mogelijk. De geheugenbandbreedte bedraagt 4 Tbit/s.

Moet dat niet 4 TByte/s zijn? 500GB/s is een beetje weinig hè?
Verder is het ook wel interessant om na te denken over de geheugenconfiguratie. De H100 heeft 80GiB HBM3, vijf stacks van 16 GiB, een een zesde voor EEC. Deze GPU heeft 96GiB, wat de indruk wekt dat 'ie geen ECC support heeft, wat op z'n minst opmerkelijk is voor een kaart van dit kaliber.

[Reactie gewijzigd door DvanRaai89 op 22 juli 2024 14:31]

[svenk91]

en later ook het Midden-Oosten.

Dit wordt toch erkent door zowel Nvidia als de overheid van de VS voor dat artikel waar jullie naar linken? De originele verwarring ging ook enkel over enkele landen in het Midden-Oosten, niet de hele regio. Kaarten zijn daar te verkrijgen hoor
Misschien was er een verwarring met de export restricties naar Iran specifiek, maar zeg dan Iran.

[Dark Angel 58]

China… mag ik je een suggestie geven, keur de kaarten in China af en ze retour naar afzender, met een opmerking: “afgekeurd, te zwak”.

[sfjuocekr]

Oh nee, de GPU's kunnen gebruikt worden voor militaire doeleinden...

Goed argument, je kunt dit ook met GPU's die al tien jaar oud zijn... als je er maar genoeg hebt.

Daarnaast, wat zijn militaire doeleinden? Lekker specifiek en een makkelijk argument om een verbod opgelegd te krijgen zonder enige vorm van rationaliteit.

[Cerberus_tm]

Gaat het niet vooral om het ontwikkelen van kunstmatige intelligentie, waar je veel van die snelle chips voor nodig hebt?

[dasiro]

Daarnaast, wat zijn militaire doeleinden? Lekker specifiek en een makkelijk argument om een verbod opgelegd te krijgen zonder enige vorm van rationaliteit.

daarvoor hebben ze het begrip propaganda uitgevonden