‘Voorraad Nvidia GeForce RTX 5090D voor China tijdelijk opgeschort’

Nvidia zou al zijn board-partners hebben laten weten dat de voorraad van GeForce RTX 5090D voor de Chinese markt tijdelijk wordt opgeschort. Fabrikanten zouden hun klanten hebben gevraagd om een verkooppauze in te lassen. Nvidia heeft nog niet gereageerd op de geruchten.

Op het Chinese Chiphell-forum staat te lezen dat Nvidia voorlopig geen totale verkoopstop heeft ingevoerd voor de GeForce RTX 5090D voor de Chinese markt. Het Amerikaanse bedrijf zou zijn board-partners ook hebben gevraagd om nog geen aannames te doen, totdat er officieel over de maatregel wordt gecommuniceerd.

Techwebsite Benchlife zou enkele board-partners hebben gecontacteerd om de maatregel te bevestigen, maar kreeg daar naar verluidt enkel negatieve antwoorden. Een fabrikant van koelingselementen zou de nieuwe maatregel echter wel hebben bevestigd. Nvidia heeft nog niet officieel gereageerd op de geruchten.

In april van dit jaar raakte bekend dat de Amerikaanse overheid nieuwe exportbeperkingen op halfgeleiders naar China ging invoeren. Nvidia is een van de bedrijven die getroffen wordt. Het Amerikaanse bedrijf moet voortaan toestemming aan de Amerikaanse overheid vragen als het H20-chips naar China wil exporteren. Het is voorlopig onduidelijk of de vermeende nieuwe maatregel in het kader van de nieuwe exportbeperkingen past.

Reacties (77)

[scandalous]

Kan dit betekenen dat meer ruimte beschikbaar komt voor de productie van de reguliere 5090 en een betere voorraad in onder andere Europa?

[Powerblast]

Nvidia kennende zien ze dit waarschijnlijk als een verlies aan inkomsten en een reden om de prijs in Europa nog wat op te voeren. Ik zou persoonlijk niet rekenen op een betere voorraad.

[wow7]

Nou verlies hebben ze niet bij 3 miljoen verkochte AI gpu's alleen al in de eerste 3 maanden , de 5090(D) zijn bij producten en het lijkt wel of zoals al door velen en mijzelf werd opgemerkt het ze geen ene ruk uitmaakt wat er met de gaming markt gebeurd.

Iets met " zo de wind waait zo waait me jasje " en dat is AI.

[Powerblast]

Nvidia is al lang geen GPU fabrikant meer die primair focused op de gaming market. Dat is een leuk dingetje voor als de hoofdactiviteit even stilvalt. Tijdje terug was de hoofdactiviteit crypto mining, de laatste jaren is het AI.

[Evertprakkie]

mooi gesproken

[SCiENTiST]

95% van hun inkomsten komt uit AI producten dus grafische kaarten zijn inderdaad een bijzaak geworden. Ook een van de redenen dat de 50xx serie nog op hetzelfde aantal nm zit als de 40xx serie, omdat de nieuwere machines voor AI producten ingezet worden.

[Reactie gewijzigd door SCiENTiST op 22 april 2025 01:48]

[jumbos7]

Waarom zou Nvidia als ze er mee weg zouden kunnen komen, en ze er ook financieel beter van zouden worden, een andere reden nodig moeten hebben om de prijs in Europa op te voeren? Het enige wat hen zou weerhouden is het idee dat klanten dan naar de concurrent gaan.

[Powerblast]

Dan zeggen we toch hetzelfde? Of ik snap je punt niet

[_Pussycat_]

Nee, hij zegt dat nVidia geen smoesjes nodig heeft om prijzen te verhogen. Als ze de 5090 voor 10'000€ willen verkopen, kunnen ze dat prijskaartje er gewoon aanhangen.
Ze doen dat niet omdat ze denken dat dat een financieel slecht idee is.

[Reactie gewijzigd door _Pussycat_ op 21 april 2025 04:58]

[Evertprakkie]

Laten ze dat maar doen goed voor AMD waar iedereen naar toe gaat. In china wonen ongeveer 1.5 miljard inwoners en is dus de grootste afzet markt voor Nvidia.

[Ricko1]

De wan show van vrijdag YouTube: That Time I Almost Got Sued - WAN Show April 18, 2025 vanaf 1:12:36 had hier een discussie over. Schijnbaar vallen de prestaties van de datacenter (ai) kaarten tegen. Mogelijk wordt productie capaciteit naar consumenten GPU omgezet. Als dit al zo is heb je het over maanden voordat er een verschil te merken is.

[_Pussycat_]

Zo werkt economie niet. Je kunt niet gewoon zeggen "ik wil meer winst, dan verhoog ik de prijzen en verdien meer". Klanten zullen dan gewoon bij concurrentie kopen / in een lager segment kopen / niet kopen.

Toe nVidia de prijsstelling van de 5900 bepaald heeft, hebben ze al geprobeerd hun huidige en toekomstige winst te maximaliseren.
Die afweging verandert nu alleen in de zin dat er meer voorraad is, dus een lagere prijs met hogere aantallen in Europa/USA realiseerbaar is, als dat gewenst is.

[Powerblast]

In een economie waar concurrentie is, werkt het inderdaad zo niet. Maar wie is de directe concurrent van de 5090? Geen enkele kaart komt maar in de buurt. Dus ze hebben in ieder geval voor die kaart volledig vrij spel. Monopolie is het nog net niet omdat er nog concurrentie is, maar voor de topkaarten kan AMD en intel in ieder geval niet mee. Ik zal het nvidia niet verwijten dat dat ze boter bij de vis willen zien, ze hebben nu eenmaal de topkaarten in handen. Maar het zorgt er wel voor dat ze de prijs kunnen inzetten op wat ze willen, binnen bepaalde marges natuurlijk. 5090 aan 10k zou nog verkocht worden, ben ik zeker van, maar wel in heel kleine aantallen.

[Reactie gewijzigd door Powerblast op 21 april 2025 12:30]

[_Pussycat_]

De concurrentie is "niets nieuws kopen/kleiner model kopen". Een GraKa voor 10k€ zal bijna niemand kopen, ook zonder concurrentie.

Bovendien maakt het de high-end markt aantrekkelijker voor Intel/AMD, die dan misschien volgende keer die markt wel meenemen.

[Reactie gewijzigd door _Pussycat_ op 21 april 2025 14:44]

[Inflatable]

Nvidia maakt sowieso veel te weinig RTX 5090 chips.. Het is namelijk zeer merkwaardig dat veruit het duurste model die hier voor prijzen van nog ruim €2500 verkocht wordt ook veruit het slechtste verkrijgbaar is nog steeds bijna 3 maanden na launch.. Alle andere veel goedkopere modellen kan je wel gewoon overal uit voorraad kopen, alles onder de 5080 zelfs gewoon voor adviesprijs.. Geen idee of dat bewust beleid is van Nvidia of dat ze de vraag naar het dure topmodel onderschat hebben.. Hoe dan ook geeft het geen goed signaal af qua prijzen voor de topmodellen, want men koopt het kennelijk nog steeds.. Straks dus een 6090 voor nog meer geld.. Maar dat is ook de schuld van de concurrentie (lees: AMD), die gewoon *niks* biedt op dat niveau..

[Reactie gewijzigd door Inflatable op 20 april 2025 17:17]

[Flipswix]

Heeft het er niet mee te maken dat de RTX5090 chips gewoon de chips uit een wafer zijn die geen defecten vertonen? En dat er dat dus relatief zeldzaam is, dus minder aanbod?

[Inflatable]

Zoals gezegd geen idee.. Maar ik vermoed eerder dat dit (zie link) er iets mee te maken heeft..

https://blog.runpod.io/rt...s-it-the-best-gpu-for-ml/

Dus zitten we misschien nu weer met een situatie waar gaming GPU's worden opgekocht om er heel andere zaken mee te doen dan gamen.. Door mensen dus die het niet uitmaakt dat het €3000+ kost omdat ze er geld mee verdienen.. Net als in de crypto-mining tijd een aantal jaar geleden (rond 2021)..

[keejoz]

Het 90 model is al sinds de 3090 geen exclusief gaming model meer. Het is altijd gemarket als voor gamers en creators.

Wanneer gaan jullie dat eindelijk snappen?

[Inflatable]

Dat snap ik wel hoor, dat de 90-serie infeite de oude Titan kaarten zijn.. Nvidia's marketing is er echter niet heel dfuidelijk over wat de doelgroep voor die kaarten is, kijk de CES 2025 presentatie van de 50-serie met Jensen nog maar eens terug.. Maargoed, mij boeit het verder toch allemaal niet zo wat dat topmodel kost, ik koop ze toch allang niet meer.. Vanaf het moment dat die dingen ver boven de €1000 gingen kosten waren ze mij kwijt.. Laatste GeForce topmodel wat ik gekocht heb was de 980Ti.. Daarna altijd de **80-serie.. En op dit moment een 5070Ti, omdat ik die voor adviesprijs kon kopen, voorlopig snel genoeg was voor mij, en ik de 5080 de 40% meerprijs niet waard vind.. Het enige wat ik erg triest vind is dat het gat naar het topmodel en de rest nu wel erg groot geworden is.. Dat daaruit blijkt dat Nvidia voor de pure gaming markt niet meer echt z'n best lijkt te (willen) doen.. Dat bedoelde ik ook met dat we weer met een situatie zitten waar Nvidia meer geld kan verdienen aan niet-gamers, ook met GeForce.. Dat veel AI-creators nu 5090's kopen zal me verder worst wezen, veel plezier met die €2500+ videokaart.. Ik baal dus vooral dat de 5080 niet eens de 4090 verslaat, waar vroeger de **70 modellen al **90/Titan prestaties van de vorige generatie boden, nu de **80 niet eens meer.. Triest..

[lithiumangel]

Nee hoor, Nvidia's marketing is er altijd duidelijk in geweest. @Inflatable heeft gelijk.

Zie hier de 4090 pagina: https://www.nvidia.com/nl...cards/40-series/rtx-4090/
Quote: " Aangestuurd door de NVIDIA Ada Lovelace-architectuur en geleverd met 24 GB G6X-geheugen om te voorzien in de ultieme ervaring voor gamers en creators."

Zie hier de 5090 pagina: https://www.nvidia.com/nl...cards/50-series/rtx-5090/
Quote: "Pak de meest geavanceerde modellen en de meest uitdagende creatieve workloads aan met ongekend AI-vermogen. Game met volledige raytracing en de laagste latentie "

Ja er word gaming bijgehaald dat je real-time RT/PT kan doen met degelijke performance, maar er word ook aangehaald dat je er creatieve workloads mee kan doen. En daaronder staat als hoofdpuntje ook creator specifieke dingen zoals : " Versnel je creativiteit NVIDIA Studio-tools en -technologie voor creators"

Kortom sinds de 3090 zijn de **90 series bedoeld voor creators & gamers en de marketing is daar gewoon heel helder in geweest. Nvidia zelf brengt ook vaak heel veel filmpjes op Youtube m.b.t de **90 series en wat voor baat die kaart je brengt bij 3D tooling etc van "kijk! Met 24GB VRAM (3090) kan je 1 app dingen laten real-time renderen en verder in app x met de rest van je workflow" .

[Inflatable]

Zal allemaal wel, ik vind het eigenlijk niet zo boeiend hoe men het "verkoopt" qua marketing.. Het is gewoon heel erg triest dat de prijzen sinds de 30-serie constant maar flink omhoog worden gegooid en nog erger de rest van de lineup onder het topmodel bewust afgeknepen wordt om het dure topmodel interessanter te doen lijken.. Upselling pur sang allemaal.. Komt door totale gebrek aan concurrentie vanuit AMD, die het highend nu zelfs helemaal heeft opgegeven, wat Nvidia dus infeite gewoon een monopolie geeft met hun 5080 en 5090.. En dus weer iets van buiten gaming, AI content creation deze keer, waarvoor mensen idiote bedragen neerleggen voor videokaarten.. Waar je 5 jaar geleden nog een RTX 3080 kon kopen die slechts 15% langzamer was dan een 3090 voor de helft van het geld kost een 5080 nu nog steeds de helft van een 5090, alleen is het nu de helft van €2200,- geworden i.p.v. €1500, en is het prestatiegat gegroeid van 15% naar meer dan 50%..

Dat het prijsniveau waar ik in 2020 mijn 3080 kocht nu een 5070Ti geworden is.. Zolang AMD geen concurrentie biedt en er iets blijft buiten PC gaming waarvoor mensen videokaarten kopen heb ik ook 0,0 hoop dat het gaat veranderen met de volgende 60-serie over 1-2 jaar, ik denk dat het juist alleen maar erger wordt.. Dat €3000 voor een 6090 straks "normaal" is.. De 6080 weer ongeveer de helft kost, wat dan dus richting de €1500 gaat.. Die nog verder achterblijft bij 5090 prestaties dan de 5080 nu zit van de 4090.. De verbeteringen voor gaming komen vooral uit weer een nieuwere DLSS variant en nog meer frame-gen (6x ofzo).. En ondertussen natuurlijk weer allemaal voor nog hogere prijzen.. Zolang AMD niks doet en er een andere reden is dan gaming voor mensen om veel teveel geld te betalen voor een highend videokaart blijft de markt gewoon f*cked.. Dat is vanaf 2021 nu al zo helaas..

[Reactie gewijzigd door Inflatable op 22 april 2025 16:30]

[Wolfos]

Er is momenteel geen andere kaart met een GB202 GPU. Dat is wel het geval bij de 5060 en 5060Ti.

[Powerblast]

Dat is wat ik in ieder geval ook gehoord heb. Zijn er wel defecten dan wordt het een 5080, enzovoort.. zal dus met de tijd waarschijnlijk beter worden als de yield door verbeteringen aan de productie omhoog gaat. Ik gok er alleen op dat ze nu heel wat productielijnen omgezet hebben naar pure AI chips omdat daar meer geld voor wordt neergeteld. En fabrieken zet je niet even nieuw bij voor dergelijke chips.

[wildhagen]

Het Amerikaanse bedrijf moet voortaan toestemming aan de Amerikaanse overheid vragen als het H20-chips naar China wil exporteren.

Huh? Een week geleden waren deze beperkingen toch opgeheven, na een lunch van de CEO van Nvidia op het Mar-a-Lago resort van Trump?

De Trump-regering heeft onverwachts afgezien van geplande beperkingen op de export van Nvidia's H20-chip naar China, nadat Nvidia CEO Jensen Huang een exclusief diner in Mar-a-Lago bijwoonde. De H20-chip is de meest geavanceerde AI-chip die Amerikaanse bedrijven legaal aan China mogen verkopen, een cruciale markt voor Nvidia.

Bronnen melden aan npr.org dat de geplande exportbeperkingen, die al maanden in de maak waren en deze week mogelijk zouden worden ingevoerd, na het diner zijn opgeschort. Volgens een van de bronnen beloofde Nvidia de Trump-regering nieuwe investeringen in Amerikaanse AI-datacenters.

Bron en meer info: Trump ziet af van beperkingen op Nvidia H20 chip na diner in Mar-a-Lago

Zijn ondanks dit bericht die beperkingen toch (weer) ingevoerd dan? Ik vind het een beetje verwarrend en tegenstrijdig op deze manier. Schept nogal wat onduidelijkheid, en niemand die nog weet waar ze aan toe zijn.

[Powerblast]

Welkom tot de manier van informatie verstrekking vanuit de US momenteel. Ze blijven wel consistent in chaos scheppen.

[MPIU8686]

Dinsdag werd bekendgemaakt dat Nvidia voortaan toestemming moet vragen aan de Amerikaanse overheid om zijn H20-chips naar China te exporteren.

Op 9 april werd Nvdia al ingelicht door de Amerikaanse overheid over de nieuwe exportregels
Maar Nvidia had Chinese klanten vorige week nog niet gewaarschuwd over de beperkingen.

https://www.reuters.com/t...n-sources-say-2025-04-16/

[dasiro]

de reeds geplande beperkingen zijn opgeschort, dat wil niet zeggen dat er helemaal géén meer zijn of dat ze niet in een andere vorm alsnog kunnen worden ingevoerd.

[TechSupreme]

Het artikel waar jij naar linkts is een geruchte, niks nieuwswaardigs dus.

When Nvidia CEO Jensen Huang attended a $1 million-a-head dinner at Mar-a-Lago last week, a chip known as the H20 may have been on his mind.

Following the Mar-a-Lago dinner, the White House reversed course on H20 chips, putting the plan for additional restrictions on hold, according to two sources with knowledge of the plan who were not authorized to speak publicly.

Kan goed zijn dat ze iets wilde in ruil en dat Jensen daar niet aan kon of wilde voldoen. Maar, het kan ook zijn dat ze ondetussen Trump ervan wisten te overtuigen dat zijn verhaal anders te inconsistent zou zijn.

We zullen het nooit weten.

[Reactie gewijzigd door TechSupreme op 20 april 2025 16:17]

[TechSupreme]

Firmware aanpassingen werken niet, zeker niet voor een grootmacht als China die genoeg ingenieurs klaar heeft staan om die firmware aanpassing te omzeilen.

Er is geen verschil tussen een 5090, 5080 of 5070. Net zoals alle Intel chips hetzelfde zijn en alle AMD chips ook.

De productie van chips is nooit 100%, alleen een heel klein deel lukt echt helemaal. Dat zijn de high end chips. De rest hebben allemaal wel een afwijken of zijn ergens mislukt waardoor ze deels niet werken. Dan schakelen ze het deel wat niet werkt uit en verkopen ze het als een lagere chip.

Dat uitschakelen gebeurde vroeger op firmware niveau, AMD was daar berucht om. Tegenwoordig snijden ze met een laser dat deel gewoon weg.

De chips die ze in China krijgen zijn chips die op hardware niveau beperkt zijn. Het is fysiek niet mogelijk om dat deel aan te spreken.

[_Pussycat_]

Er is geen verschil tussen een 5090, 5080 of 5070.

RTX 5090: 750 mm² (GB202) ​
RTX 5080: 378 mm² (GB203)
RTX 5070: 263 mm² (GB205)

[TechSupreme]

Kijk ook eens naar de die shots.

[_Pussycat_]

eeeuuuhhh.... Nee.
Minder oppervlakte = andere chip met hogere kosten. Tenzij je denkt dat ze de randjes eraf vijlen....??

[TechSupreme]

Tegenwoordig snijden ze met een laser dat deel gewoon weg.

https://www.howtogeek.com...20cards%29%2C%20and%20RAM.

[_Pussycat_]

Nee, dat snijden ze niet weg. Je lijkt te geloven dat ze uit een grote wafer een soort tetris-puzzel aan chips halen. Dat is helaas gewoon niet waar.

[Reactie gewijzigd door _Pussycat_ op 21 april 2025 14:45]

[TechSupreme]

Kijk naar de dieshots en kijk naar de architectuur. Het zijn meerdere cores die aan elkaar worden "geglued" (is een industrie term). Afhankelijk van de binning wordt per chip een deel weggesneden om hem mogelijk te maken voor gebruik.

Het stukje wat niet werkt wordt niet fysiek weggesneden zoals jij schijnt te denken, alleen de datapaden worden afgesneden waardoor het fysiek niet mogelijk is om dat deel te gebruiken.

[_Pussycat_]

En door de datapaden af te snijden wordt de die 3 keer zo klein?
Heb je ergens een bron over dit "glueing"?
De enige chip die zoiets doet is de Apple M3 max (of zoiets) die uit 2 dies bestaat. nVidia heeft zoiets niet.

[Reactie gewijzigd door _Pussycat_ op 21 april 2025 16:54]

[TechSupreme]

AMD is er bekend mee geworden met de Zen cores.... ARM fabrikanten deden het veel langer. Dat jouw kennis begint bij de M3 zegt genoeg. nVidia gebruikt het ook, kijk maar naar de die shots.

[_Pussycat_]

Okee, laar maar zitten. Je kent duidelijk je zaken niet. Je heb ooit iets gehoord van binning (dat bestaat inderdaad) en van lasercuts (die bestaan ook) en hebt er zelf uit verzonnen dat nVidia/AMD/Intel alles uit één wafer snijden (complete onzin).

Dat jouw kennis begint bij de M3 zegt genoeg.

Ik begon met een Amiga 1200. Ik heb heb ook een aantal tape-outs van halfgeleiders begeleid en weet zodoende hoe breed een scribe line is, hoe waferbonding gaat, welke layers je voor bumps nodig hebt. Ik heb elektrotechniek gestudeerd en zelf transistoren handmatig getekend en gesimuleerd.

Mijn kennis is dramatisch groter dan die van jou. Noem me niet dom omdat je zelf dingen door elkaar haalt en zelf niet snapt dat binning een ding is, maar dat niet wegneemt dat er verschillende dies bestaan.

Oh ja, en aangezien je zo trots bent het woord "die shot" te kennen: GB202 die shot.
De geheugeninterfaces zitten aan de rand. Hoe ga je dit in godsnaam knippen?
En als je denk dat je hem in het midden door zou kunnen snijden, zoek eens op wat een scribe line is en groot die is. Teken een scribe line in het midden en bedenk je eens hoeveeel je kapot zou maken. En bedenk je ook dat één halve chip wel een PCIe interface zou hebben, maar de andere halve chip niet.
Of verdubbel dit, en bedenk je dat nu ineens de geheugeninterfaces in het midden zitten. Zou er misschien niet een reden zijn dat nVidia die interfaces aan de rand heeft gezet?

En hier de GA102 van de 3080/3090 (ja, inderdaad, binning tussen die twee). Waar ga je die in stukken snijden? En waarom zitten de geheugeninterfaces wederom aan de rand?

Iets meer respect voor de kennis voor mensen die daadwerkelijk in de halfgeleiderindustrie gewerkt hebben zou nuttig zijn. Met dank.

[Reactie gewijzigd door _Pussycat_ op 22 april 2025 03:58]

[Guru Evi]

Op papier is de H100 6x sneller dan de H20. Het verbruikt echter 400W tov 700W, echter de NVLink (om meerdere GPU aan te spreken) en MIG (noodzakelijk voor containers) capaciteiten zijn gelijk gebleven.

Volgens PETA's LLM-prestatievergelijkingsmodel heeft H20 een piek in tokens per seconde bij een lage batchgrootte, die 20% hoger is dan bij H100, en is de token-tot-token-vertraging bij een lage batchgrootte 25% lager dan bij H100. Dit komt doordat het aantal chips dat nodig is voor inferentie teruggebracht is van 2 naar 1. Met een extra 8-bits kwantificering kan het LLAMA 70B-model effectief werken op één H20 in plaats van twee H100's.

De reden hiervoor is dat in architectuur de H20 dichter bij de H200 ligt dan de (belofte van) een afgezwakte H100. Daarmee dat ik zei, de Biden administratie is om de tuin geleid door NVIDIA, op papier heeft hij inderdaad minder dan de H100, echter de H100 was op dat moment al ‘afgewerkt’ en zoals we in de industrie al lang weten, chip bakkers hebben eenmaal een product in de winkel ligt al 1 generatie verder in de oven en liggen 2 generaties verder in de ontwerpafdeling. Dus in principe heeft de Chinese overheid van NVIDIA een ”halve” H200 gekregen maanden voordat de H200 zelfs in de winkel lag. En momenteel verwacht ik nog steeds ~6-9 maand alvorens mijn eerste H200 bestelling binnenloopt terwijl in 2024 al miljoenen H20 aangeleverd zijn.

Dus als de Biden administratie wouden China te ‘straffen’ zouden ze gezegd moeten hebben: je systeem van 2 generaties verder mag niet verkocht worden, je mag ze enkel maar vb. H100 zonder NVLink verkopen totdat de H400 op de markt komt. In praktijk hebben ze China een 6-12 maand voorsprong gegeven.

Hier zijn ook verdere voordelen aan verbonden, namelijk dat per watt per U een H20 beter geoptimaliseerd is voor ‘oudere’ datacenters. Voor een 8xH100 of H200 neer te zetten moet er een redelijk aantal infrastructuur naast gezet worden, in de datacenters waar ik momenteel bezig ben, betekent dit maximum 2 van die beesten per rack, en koeling van een rack dat grotendeels leeg staat is niet optimaal. En de investeerders die vandaag een datacenter willen bouwen voor deze generatie - momenteel is de vraag voor koeling en generators zo hoog dat de fabrikanten een bestellijst van ~7 jaar hebben - inderdaad, een grote diesel generator, bestel ze vandaag en krijg ze binnen 5-7 jaar aangeleverd. Daarmee zijn de ‘grote’ ondernemers in die sector aan het zoeken voor alternatieven zoals een kool/gas of zelfs kerncentrale ingebouwd.

Dus de H20 is inderdaad voor China gebouwd en doet een rondje om de export-restricties - een per-watt betere chip dan de H100 nagenoeg geoptimaliseerd voor de infrastructuur die China al gezet heeft. Dat ie voor grafisch werk 6x trager is kan de Chinezen worst wezen.

[Reactie gewijzigd door Guru Evi op 20 april 2025 21:45]

[TechSupreme]

De embargo kijkt ook niet naar de architectuur, ze kijken naar bandbreedte van de chips.

nieuws: VS gaat omzeilen van exportrestricties voor chips naar China blokkere...

Daarom kwam nVidia met chips die hetzelfde zijn qua architectuur, maar beperkt zijn in de bandbreedte.

nieuws: Nvidia: 'We werken nauw samen met VS om te voldoen aan exportregels C...

Nu lijkt dat ook niet genoeg te zijn en wil de VS de beperkingen verder uitbreiden.

[Reactie gewijzigd door TechSupreme op 20 april 2025 21:56]

[Guru Evi]

De NVLink bandbreedte (de bandbreedte tussen meerdere chips die belangrijk is voor inferentie) is identiek gebleven, de bandbreedte nodig voor grafisch werk is niet echt belangrijk. De belofte was de onderdrukking van AI mogelijkheden, niet dat de AutoCAD een beetje trager loopt.

[TechSupreme]

Lees even wat er staat joh... van chip naar chip. Er staat niet welke chip. HBM1 gaat al over die 600. GDDR7 biedt 32GB/s per pin met een max van 1,5TB/s. Ik weet niet welke NVLink versie jij voor je hebt, maar NVLink 5 gaat tot 1,8TB.

https://resources.nvidia....architecture?ncid=no-ncid

Een NVLink switch kan zelfs tot 7,2TB/s per poort verwerken.

https://www.nvidia.com/en-us/data-center/nvlink/

Volgens jou is de bandbreedte van NVLink lager als de bandbreedte van je geheugen bus? Wat is het nut van dat hele NVLink? Kan je toch net zo goed PCIe gebruiken? Toch?

Scientific computing en High Performance Computing bestonden lang voor AutoCAD of AI. AI is sinds 2022 een ding, maar men was lang daarvoor al bezig met bouwen van clusters waar nVidia GPU's in zitten. Zullen we ervan uitgaan dat die clusters niet bedoelt zijn voor een potje Crisis of AutoCAD?

Het moge duidelijk zijn dat we het hier niet hebben over een GamePC of een Workstation.

[Reactie gewijzigd door TechSupreme op 21 april 2025 09:58]

[Guru Evi]

Misschien even lezen: voor de basis modellen in de benchmarks kan de H20 hetzelfde werk op 1 chip doen tov de H100 die 2 chips nodig heeft (dus 1 cyclus moet verspreid worden over 2 chips tov 1). Daarom heb je dus snellere resultaten omdat je niet van chip-chip moet gaan.

Daarnaast is er een reden dat we NVLink willen ipv gewoon over de PCIe bus te gaan, de NVLink laat toe om al je GPU te adresseren in CUDA zonder geheugen via de CPU/RAM te verhuizen. Dus zeg dat je 500GB moet laden tussen de GPU, met 8x96GB VRAM, NVLink laat GPU 1 aanspraak maken op geheugenpagina’s in GPU 2 of 3 zonder de pagina te moeten verhuizen naar de kaart via PCIe of RAM instructies.

Net zoals Bitcoin en de meeste GPGPU gebruikers is de bandbreedte tussen geheugen en GPU minder belangrijk, BitCoin miners kunnen overweg met PCIe 2.0 x1 en hebben liever grotere adresruimte, zelfs als dit betekent dat we vb via NVLink of tegenwoordig zelfs met BlueField via 100 of 400GbE gaan. Natuurlijk probeer je te optimaliseren maar LLM zijn gewoon grote databases die moeten samengesteld worden, je weet nooit wanneer een cluster van woorden opeens een referentie maakt aan een ander cluster,

Daarmee dat geheugen op de nieuwe generaties alsmaar verdubbelt maar niet evenredig omhoog gaat in bandbreedte, we zitten nu aan 140GB op de nieuwste generatie, grafisch geweld waar je relatief kleine prentjes snel heen en weer moet sturen naar het geheugen is niet meer van toepassing.

[TechSupreme]

En wat als ik nou een gigantisch weermodel heb waar ik aan wil rekenen? Jij blijft maar vasthouden aan AI, maar ook bij AI kan je transformaties hebben op je hele model.

Buiten dat is crypto's een slechtvoorbeeld aangezien crypto's voornamelijk processing kracht kijken en niet naar bandbreedte.

Voor de rest, leuk verhaal, maar wat heb ik eraan? Ik zeg jou alleen wat de beperkingen zijn. Je kan wel leuk allerlei use cases bedenken waar die beperking niet van toepassing is, maar dat verandert helemaal niks aan die beperking.

Jij kan wel lekker op core niveau kijken, als je een workstation hebt is dat misschien relevant. Maar als je een cluster wil bouwen zijn die transfer snelheden veel belangrijker.

NVLink laat toe om al je GPU te adresseren in CUDA zonder geheugen via de CPU/RAM te verhuizen.

En PCIe kan dat niet?

zonder de pagina te moeten verhuizen naar de kaart via PCIe of RAM instructies.

Dus blijkbaar kan PCIe het wel?

[Reactie gewijzigd door TechSupreme op 21 april 2025 21:29]

[Guru Evi]

De bedoeling voor die kaarten zijn grotendeels AI, we spreken hier precies over de reden dat de H20 ten bestaande kwam en de H100 niet meer geleverd mag worden voor enkele jaren. Voor weer en andere modellen zit je meestal met een groot deel CPU bezig of kun je ook met andere soorten acceleratie aan de gang, daarmee dat ze oa. hun eigen Intel kloon gemaakt hebben.

Zoals ik eerder zei, kijk naar de benchmarks, de H20 is sneller dan de H100 ondanks het minder verbruik en kleinere (op papier) bandbreedte. Waarom, juist omdat ie geoptimaliseerd is voor AI ipv voor andere dingen te doen.

En inderdaad, zoals je zelf zegt is de bandbreedte tussen machines in een cluster veel belangrijker, echter die loopt tussen nodes ‘maar’ op 2x100-800Gbps dus de TB/s op de chip is irrelevant voor jobs met hoge parallellisatie.

PCIe kan dit inderdaad in principe wel, maar als de GPUs op andere NUMA node zit moet dit via QPI gaan, je moet dit met memcpy regelen met je RAM als tijdelijke buffer - een hoop overhead zowel in uitvoering alsook in je code en gedurende die tijd kan je GPU niets doen. En als je niet genoeg RAM hebt op die NUMA node, moeten een reeks andere blokken ook doorgestuurd worden via de QPI link, ik heb dit probleem op een van mijn oudere systemen (voor dit werk spreekt de software GPU onafhankelijk aan zonder NVLink) en een 256GB reservatie maken kan soms 10 minuten duren op een drukke node alvorens genoeg geheugen verzet is naar de andere NUMA node. Een ander systeem via NVLink aanspreken is letterlijk een nummertje veranderen, gebeurt onafhankelijk van het werk dat er aan de gang is op de andere GPU, het is net alsof je de volledige VRAM op 1 kaart hebt of alternatief de kernel die je schrijft heeft toegang tot alle GPU cores via 1 verbinding.

[Reactie gewijzigd door Guru Evi op 22 april 2025 00:34]

[TechSupreme]

De bedoeling voor die kaarten zijn grotendeels AI

Aangezien de H100 al helemaal niet verkocht mag worden blijft er voor Chinese maar 1 optie over... de H20.. met minder geheugen... maar wel een snelle chip. Wat gaat er dan gebeuren? Dan moet je... iets doen?

Een cluster wordt zelden voor 1 ding gebruikt.

bandbreedte tussen machines

De bandbreedte tussen machines is wel belangrijk, maar de bandbreedte tussen kaarten in een node ineens niet? Raar.

PCIe kan dit inderdaad in principe wel, maar als je CPU op een andere NUMA node zit moet dit via QPI gaan

Oh ik dacht dat dingen als DMA en MMU al bestonden, sorry. Blijkbaar leef ik in een wereld waar NUMA niet meer relevant is. Waarom iemand een moderne GPU op een oudere systeem zou gebruiken is voor mij een gigantisch raadsel.

Maar... waarom zou je voor NVLink kiezen ipv PCIe? Beide doen toch hetzelfde?

Als geheugen bandbreedte niet belangrijk is, als transfers tussen kaarten in een node niet belangrijk is, waarom bestaat dat hele NVLink dan?

[Reactie gewijzigd door TechSupreme op 22 april 2025 09:44]

[Guru Evi]

Oef, Dunning Kruger effect, misschien eens beter inlezen op het lager niveau dan Python - hint: lstopo op Linux.

NUMA is niet “oud” een modern multi-CPU systeem is nog steeds opgedeeld in 2 verschillende NUMA clusters of sub-NUMA clusters voor optimalisatie. NUMA is nog steeds relevant, de kernel maakt een abstractie maar eenmaal je met PCIe mapping begint in je geheugen is het opeens wel relevant.

Elke CPU heeft de helft van je geheugen aanspreekbaar, de CPU verbindt ook de PCIe bus. Dus als je een 8-wide GPU met 2 CPUs hebt staan meestal 4 GPU aan een kant en 4 GPU en vb een netwerkkaart of NVMe aan de andere CPU gebonden.

DMA tussen adresgedeeltes van CPU1 en CPU2 (of 3 of 4) gebeurt voor Intel met QPI voor AMD over een gespecialiseerde PCIe verbinding. Het is net alsof je moet adresseren op een “ander systeem”. Als je dus geheugen gaat mappen zonder NVLink tussen 2 verschillende GPU moet je dus memcpy doen aan beide kanten van de NUMA cluster en wachten totdat het geheugen via de QPI bus loopt (samen met alle andere dingen zoals netwerk en storage die ook via de QPI bus lopen voor threads van een CPU naar threads op de andere afhankelijk waar je hardware gebonden is)

Denk je echt dat NVLink en BlueField DPU vandaag overbodig is omdat PCIe 5 bestaat? Waarom verkoopt NVIDIA dan die dingen?

[Reactie gewijzigd door Guru Evi op 22 april 2025 13:07]

[TechSupreme]

Denk je echt dat NVLink en BlueField DPU vandaag overbodig is omdat PCIe 5 bestaat? Waarom verkoopt NVIDIA dan die dingen?

Je snapt de vraag nog steeds niet he. Ik vraag diezelfde vraag aan jou, waarom bestaat NVLink....

Je maakt een hoop herrie, maar in essentie zeg je helemaal niks. Ik zal het nogmaals herhalen. Jij bent degene hier die zegt dat NVLink niet uitmaakt want de bussnelheid ligt ver onder die 600 (wat sowieso niet waar is want NVLink 5 gaat er ver over). Als NVLink trager is als PCIe... waarom zou je nog plek op je die verspillen voor NVLink, kan je net zo goed de PCIe bus gebruiken via de IOMMU?

Wat de CPU hiermee te maken heeft is voor mij een raadsel.

Maar goed nogmaals die hypotetische vraag... Als NVLink trager is als die 600 (zoals jij claimt) waarom zou je uberhaupt nog gebruik maken van NVLink, leg mij die eens uit.

Jij schijnt ook niet te snappen dat je heel leuk 1 enkele transactie kan benchmarken en zeggen dat je systeem meer als voldoende is, maar als het er ineens miljarden per seconden worden dat die bandbreedte ineens heel relevant wordt.

Ach laat ook maar, weet je wat je hebt gelijk. Het doet er allemaal niet aan toe, Nvidia steekt voor niks geld in de ontwikkeling van NVLink. Al die tijd en geld steken om een bredere bus te bouwen en hogere bandbreedte, maar het is allemaal een scam, had allemaal niet gehoeven. Jij weet het allemaal toch wel beter te vertellen, of zo claim jij volgens een bechmark die er niet aan toe doet.

Al die jaren ons steeds betere GPU's aangenaaid terwijl we met een Voodoo 5 hetzelfde resultaat konden hebben... ik voel een massa claim aankomen.

[Reactie gewijzigd door TechSupreme op 23 april 2025 00:47]

[Guru Evi]

Ik denk dat je niet goed kunt lezen - wat ik zeg is dat in de H20 de NVLink NIET afgezwakt is ondanks jouw claim dat de bandbreedte op papier naar beneden moest.

Daarmee dat de performance voor AI opdrachten (waar NVLink belangrijk is, zoals eerder uitgelegd) niet verminderd maar verbeterd is tov de H100. Jij had het over bandbreedte tussen GPU en VRAM op de kaart zelf, daar is wat aan gesleuteld maar vanwege de verbeteringen op de chip zelf en het feit dat dit irrelevant is voor LLM is dit teniet gedaan.

Ergo, mijn claim dat NVIDIA de Biden admin om de tuin geleid hebben, omdat de Biden admin geen techneut in de administratie had en ze hebben dus in principe NVIDIA zelf de wet laten schrijven.

Als je een zwakkere kaart wilt voor AI schakel NVLink uit, dan krijg je in principe een GeForce, kun je inderdaad via PCIe nog aan de praat krijgen maar vanwege de beperkingen met NUMA, RDMA etc veel moeilijker en trager. Dat is in principe wat de Trump administratie nu aan het doen is, geen H100, H200 of H20, enkel maar ‘gaming’ kaarten zijn toegelaten voor export, dat snijdt in het portfolio van AI diensten.

[Reactie gewijzigd door Guru Evi op 23 april 2025 13:50]

[TechSupreme]

Ik denk dat je niet goed kunt lezen - wat ik zeg is dat in de H20 de NVLink NIET afgezwakt is ondanks jouw claim dat de bandbreedte op papier naar beneden moest.

Ik kan heel goed lezen, jij claimt dat dat zo is. Maar volgens de wet waar zij aan moeten voldoen mag dat helemaal niet. Dus er kunnen 2 dingen zijn, of jij praat onzin, of nVidia overtreedt het embargo. De eerste heeft weinig consequenties, het tweede heeft forse consequenties voor nVidia... Dus kijk maar even welke je wil geloven.

[Guru Evi]

1) er is geen wet, het was een presidentiële uitspraak, die kunnen door de president of de volgende president ongedaan worden
2) kijk naar de specs: H20 NVLink: 900GB/s; H200 NVLink: 900GB/s; HBM3-geheugen en een geheugenbandbreedte van 4TB/s. Deze bandbreedte is hoger dan de 3,35 TB/s van de H100.
3) zoals eerder gezegd: de Biden admin heeft zelf de goedkeuring voor de H20 gegeven, met andere specs om de tuin geleid en heeft NVIDIA toelating gegeven voor China iets dat dichter bij de H200 ligt vroeger te geven.

[TechSupreme]

Minister van Commercie heeft in opdracht van het congres beperkingen ingesteld:
https://www.nbcnews.com/n...-chip-industry-rcna182579

Dat maakt het een wet.

[Guru Evi]

Nee, dat is een regulatie, een regel opgezet door de executieve functie. Wetten moeten door beide kamers goedgekeurd met 60% en door de president afgetekend worden. Regulatie kan door de president teruggedraaid en veranderd worden. Een wet eenmaal ingelegd kan niet veranderd worden. Regulatie kan aangevochten worden en uitgezonderd, een wet kan enkel nietig verklaard worden als het de grondwetten schendt.

[Reactie gewijzigd door Guru Evi op 25 april 2025 12:40]

[BlueHulk]

Neen, "bronnen zeggen" betekent niet "wat ik denk".

Dat is lullen uit het buikgevoel en draagt weinig toe bij.

Journalisten hebben brongeheim dat dient gerespecteerd te worden.

[vman128]

De H20-chip is speciaal voor china ontwikkeld. De chip is ontworpen om onder eerdere Amerikaanse exportregels uit te komen.

[Reactie gewijzigd door vman128 op 20 april 2025 13:18]

[BMW-M]

Leve het kapitalisme leve de "vrije markt" een communistisch land waar de overheid bepaalt met wie bedrijven zaken doet en die bedrijven van de overheid zijn, ik regering Trump II moet er niet aan denken.. behalve als het mij beter uitkomt, dan moeten mensen luisteren naar mij, en manipuleer ik de vrije markt, als mensen een mening hebben die mij niet zint pleur ik ze het land uit, als de pers vragen stelt die mij niet bevallen leg ik ze het zwijgen op, is je haar tekort? Bevalt je huidskleur me niet, dan oprotten. We proppen je voedsel vol met chemicaliën, maken zorg onmogelijk en zorgen voor genoeg wapens voor iedereen, zon 50 per huishouden, en toch zul je me dankbaar moeten zijn, voor leven in het veiligste land, het meest gezonde land en het beste land op de aarde, helaas is dat wat te klein, daarom nemen we wat extra land, de Canadese bevolking en de Groenlandse bevolking zal ons zeer dankbaar zijn. En ben je een facist en heel erg rijk? Dan mag je natuurlijk mijn overheid verkleinen

[sn3lders]

Euhm, wat is de D variant?

[sj0nsj44k]

Het is de diesel zonder turbo, efficiënter maar helaas niet voorzien van Europese goedkeuring vanwege het ontbreken van milieucertificaten.

[FrostyPeet]

Wat je ook van de situatie in China mag vinden, het is zeer onverstandig om ze te onderschatten.

In het verleden keek China vele jaren vooruit voor hun planning. Het lijkt er op dat ze Trump als een tijdelijk ongemak behandelen. In de tussentijd zijn ze als een gek hogesnelheidstreinen aan het uitrollen, satelliet telefonie voor een prikkie, mega handelsroutes aan het opzetten. Dit alles gekoppeld aan een enorm productiepotentieel. Ook van hoogwaardige goederen als auto's. China zorgt ervoor dat de basisbehoeftes worden vervuld: betaalbare woningen, betaalbare energie, betaalbaar openbaar vervoer, de kans dat Chinezen overal geld aan kunnen verdienen.

China komt heus wel aan zijn AI chips. Of ze kopen het via een geitenpaadje, of ze maken er zelf eentje. Misschien niet de allerbeste maar wel goed genoeg. Goed genoeg is een motto dat China ver bracht. Je hoefft niet altijd aan kop te lopen om ver te geraken.

[Pietervs]

En in theorie hebben de Chinezen natuurlijk gelijk dat Trump een tijdelijk ongemak is: over 3 jaar en 7 maanden zijn er weer verkiezingen waar Trump niet meer aan mee mag doen.
Vragen zijn echter wat hij achterlaat en wie hem opvolgt. Worst case scenario zal er een totaal exportverbod komen vanuit de VS, waarna China de uitvoer van zeldzame metalen naar de rest van de wereld beperkt of helemaal tegenhoudt. En dat Vance Trump opvolgt. Maar beide scenario’s zijn vrij onwaarschijnlijk.

[audiojunk]

Ik moet het nog maar zien of we over 3 jaar en 7 maanden van Trump af zijn, er wordt al gespeculeerd op een 3e termijn.

[Blokker_1999]

Alleen maakt de grondwet die derde termijn onmogelijk, daar zijn zowat alle grondwerspecialisten het over eens. Je moet al heel vreemde kronkels maken in je beredenering om een derde termijn mogelijk te maken.

[HuisRocker]

grondwet ... derde termijn onmogelijk

vreemde kronkels maken ... om een derde termijn mogelijk te maken

Het eerst is hoe het in een fatsoenlijk functionerende Democratie werkt, wat de VS nu, objectief bezien, echt niet meer is...

Het tweede is echter heel normaal in een schijndemocratie/eenpartijstaat/dictatuur/o.i.d.

Maar hoe je bij het idee komt dat deze VS regering zich wel aan dit punt in de grondwet zal gaan houden, terwijl ze vele andere punten letterlijk dagelijks aan de laars lappen, daar gaan we het maar even niet over hebben ofzo?

[Pietervs]

Het staat letterlijk in het 22e amendement:
"No person shall be elected to the office of the President more than twice"
Dit Amendement is in 1951 ingesteld, na de 2e Wereldoorlog waarin Roosevelt voor de 4e keer (!) president werd.

Vraag is echter of Trump en zijn vazallen zullen proberen een geitenpaadje te vinden.

[HuisRocker]

over 3 jaar en 7 maanden zijn er weer verkiezingen

Eerst zien, dan geloven!

[dez11de]

Het gaat er juist om dat Amerika graag aan de top blijft. China hoeft niet kapot maar Amerika moet aan de top blijven.

[Blokker_1999]

En Amerika kan simpelweg niet aan de top blijven als je China toestaat zich economisch verder te ontwikkelen. Het land heeft meer dan 3x zoveel inwoners, als die op een gelijkaardig welvaartsniveau komen als wij in het westen, dan domineert China gewoon de wereldeconomie. Dat is waar het hier om gaat.

[SuperDre]

Juist, deze beperkingen zorgen uiteindelijk alleen maar dat China nog harder aan eigen varianten werkt, en daarmee dus ook nog meer eigen ervaring op doen waardoor de chinese bedrijven uiteindelijk gewoon westerse bedrijven voorbij schieten wat betreft geavanceerde tech, ze waren al beter in her gebruik ervan, wat dus voor de restricties zorgde omdar de VS achterliep, maar dadelijk ook nog in ontwikkeling er van. Enige wat ik hoop is dat die chinese bedrijven die geavanceerde chips wel ook aan ons willen verkopen.

[BruceLee]

De h20 is geen consumenten videokaart speelgoedje

[MPIU8686]

De H20 is een minder krachtige AI-versneller van Nvidia, speciaal ontworpen voor de Chinese markt

[smoove]

de chinezen worden meer gemotiveerd om eigen chips te ontwikkelen, paar maanden geleden hadden ze een silicon vrije chip gemaakt van bismuth en het zou 40% sneller zijn met 10% minder energie

[sam.o]

Zal dan waarschijnlijk nog duurder zijn dan de GPU’s nu al zijn

[Evertprakkie]

Tuurlijk de Chinezen zijn veel slimmer dan de amerikanen en hebben veel meer technische kennis in huis

[westlym]

Komt deze kaart ook naar Nederland? En zo ja, hebben ze minder problemen met die kabel die heel snel kan door verbranden?