Ook Nvidia GeForce RTX 4090 valt onder nieuwe exportbeperkingen VS naar China

Ook de Nvidia GeForce RTX 4090 valt onder de vernieuwde Amerikaanse exportbeperkingen naar China. De regelingen zijn vooral gericht op geavanceerde AI-chips, zoals de Nvidia A800 en H800, maar gelden dus ook voor Nvidia's krachtigste consumenten-gpu.

De nieuwe Amerikaanse exportregelingen verbieden Nvidia om zijn GeForce RTX 4090 te verkopen op de Chinese markt, zo blijkt uit een SEC-document van Nvidia. De regels gelden ook voor de Nvidia A100, A800, H100, H800, L40 en L40S voor datacenters en supercomputers, zo werd eerder deze week al bevestigd. Die exportregels beperken de verkoop van de getroffen videokaarten op de Chinese markt, naast enkele andere landen. De regels gelden ook voor de verkoop van voorgebouwde systemen waarin de chips al zitten, zoals DGX- en HGX-datacentersystemen.

De Verenigde Staten introduceerden zijn bijgewerkte exportregelingen eerder deze week. Het land verbiedt daarmee onder andere de verkoop van bepaalde chips die eerdere exportbeperkingen omzeilen door de chip-to-chipbandbreedte te beperken. Naast Nvidia, zouden de nieuwe regels volgens CNBC ook invloed hebben op Intel en AMD. Met de restricties wil de VS beperken dat China toegang krijgt tot bepaalde AI-technieken, die bijvoorbeeld gebruikt kunnen worden voor militaire doeleinden. Tweakers schreef vorig jaar een achtergrondverhaal over de chipstrijd tussen de VS en China.

Reacties (71)

[PilatuS]

Als een RTX 4090 hier onder valt, zou het dan niet gelijk zo zijn dat iedere nieuwe GPU die Nvidia maakt die sneller is er ook onder gaat vallen ? Dan wordt het nog lastig om in de toekomst een beetje te kunnen gamen als je daar woont.

[djexplo]

The 4090 is equipped with 24 GB of GDDR6 VRAM

Die 24GB zorgt er voor dat je een "large language model" (zoals chatGPT) to 33B parameters er op kan draaien als quantized model. Je eigen model trainen kan tot ongeveer 1.3B parameters.

Dus met 2 van deze kaarten kan je het grootste LLaMa model van 65B draaien, en met 50kaarten het zelfde model trainen.

Dus dat je er AI mee kan doen is de reden van de export beperking. Nieuwere kaarten met minder geheugen zullen die beperking niet hebben. Ook zal in de toekomst de grote van LLM's verder toe nemen, dus deze kaart niet meer genoeg zijn, en export beperking vervallen.

[micla]

Mooi verhaal, maar met mindere kaarten kan dit ook prima. Met clusteren van kaarten kom je immers tot dezelfde mogelijkheden. Geld speeld hierin geen rol voor diegene die op zoek zijn naar deze techniek. Zeker in China niet.

Dit is dus gewoon pure onzin. Een papieren tijger, die geen ander doel heeft om politieke daadkracht te exposeren.

Voor ons wellicht wel handig, de kaarten zullen goedkoper worden

[ViPER_DMRT]

Mooi verhaal, maar met mindere kaarten kan dit ook prima. Met clusteren van kaarten kom je immers tot dezelfde mogelijkheden. Geld speeld hierin geen rol voor diegene die op zoek zijn naar deze techniek. Zeker in China niet.

Dit is dus gewoon pure onzin. Een papieren tijger, die geen ander doel heeft om politieke daadkracht te exposeren.

Voor ons wellicht wel handig, de kaarten zullen goedkoper worden

Je doet niet veel in HPC land he ? En nee, dit gaat helemaal niet prima met `gewone` kaarten.
Enige idee hoeveel 3080's je nodig gaat hebben om 1 dataset van 600GB te processen ?

Zijn geen sweatshops waar je per gpu lekker kan crypto minen... Het idee is juist dat je ze ECHT parallel wilt laten werken met elkaar, NVLINK (opvolger van SLI) zit niet meer op consumer kaarten. Zelfs de 4090 heeft hem niet meer. Lang verhaal kort, Niet rendabel.

# Dit, is een blokje (van een Nvidia Super Pod)
https://www.youtube.com/watch?v=MY7jZGZw9vA
# Dit is een pod
https://www.nvidia.com/en-us/data-center/dgx-superpod/

Dat blokje alleen heeft al 640GB aan HBM2 geheugen beschikbaar, en 8 A100 GPU's die praten met 600Gbs a sec tegen elkaar.

De grote jongen hebben 30.000+ A100's draaien op 1 dataset.
Quad 400Gb/s NVLINK switch be pricy af, of dacht je over ethernet te gaan babbelen tegen je nodes ?

Your argument is invalid.

[Zezura]

Clusteren gaat niet zomaar en maar tot een bepaalde grote, dus het is wel zinvol. Want met een 4090 loop je minder snel tegen problemen aan met clusteren dan met 3060. Er gaat heel veel tijd en geld inzitten om te clusteren. Met beide clusters van 512 aantallen, kom je toch aan een verschil in rekenkracht.

[Obfzk8R]

Goed dat jij het zo helder ziet. Nu nog wat bewijzen voor jouw stelling en ik ben om...

[TTMJ!]

Misschien is dit naïef, maar hoe werkt dat, een GPU gebruiken voor AI ipv beeld? En hoe is dit iets anders dan bijv een dikke cpu met een hoop ram voor AI?

[milte001]

Heel kort door de bocht... Een cpu kan heel veel verschillende type instructies op zeg maar 8 cores tegelijk. Een GPU kan veel minder operaties op veel meer cores. De instructies die heel erg vaak gedaan worden bij AI zijn matrix berekeningen. Een GPU kan heel veel van deze berekeningen op grote hoeveelheden gegevens doen. Je hebt soms een andere driver nodig, of een software library die jouw AI algoritme laat draaien op de GPU.

[Gubbel]

Aanvullend hierop, een GPU is alleen een GPU omdat dit soort rekenkracht dus ook goed van pas komt bij het snel renderen van veel plaatjes. Een GPU hoeft echter niet iets "grafisch" te doen, het blijft gewoon een processor die berekeningen uitvoert.

[ViPER_DMRT]

Nog makkelijker, hij is extreem goed in driehoekjes maken !

[SCS2]

Ik zie het zo:
De cores van een cpu kan heel goed en snel hele ingewikkelde dingen doen.
Simpel dingen kan hij ook, maar dan zit er een hoop hardware niks te doen.
8 cores kunnen 8 (met SMT 16) ingewikkelde of simpele dingen tegelijk doen.

Een GPU heeft heel veel cores die alleen maar simpele dingen kunnen doen.
Ik dacht inmiddels nu meer dan 1000 cores? die tegelijk 1000 dingen kunnen doen.

Bij 3D game versnelling, zijn heel veel kleine simpele berekeningen nodig (zeg per pixel)
Bij AI ook, de matrix berekeningen die genoemd worden.
(Ik denk aan een veld van 10 bij 10 waarden maal een veld van 6 bij 8 = (10*10)*(6*8) is al 4800 vermenigvuldigingen. En met vele parameters zal het naar een veld van (1000*1000)*(...) gaan? )

[Atomsk]

China now has at least 130 large language models (LLMs), representing 40% of the global total and behind only the United States' 50%, data from brokerage CLSA showed.
https://www.reuters.com/t...rnie-ai-model-2023-10-17/
Het is hoogstens een vertragingstactiek.

[TheGiantPotato]

Dat maakt de overheid daar volgens mij toch al steeds onmogelijker dus ik denk dat dit soort dingen niet het grootste probleem zijn voor gamers daar.

[sygys]

Het enige wat dit gaat veroorzaken is dat China onafhankelijk wordt van het westen. Ze zullen juist steeds meer zelf chips gaan produceren en meer geld investeren in het onderzoek naar nieuwe ai chips. Het wordt tijd dat de wereld gaat samenwerken in plaats van samen elkaar tegenwerken.

[TheGiantPotato]

Het zou zeker fijn zijn als we een keer met zijn allen samen zouden kunnen werken maar helaas maakt china dat zelf onmogelijk door het beleid wat ze zelf al jaren voeren (en versterken) waardoor de enige oplossing is om ze buiten te sluiten.

En als het gaat om zelf dingen ontwikkelen, tja, ik moet het nog zien.
Veel van de dingen die china maakt zijn uiteindelijk allemaal technologie die ze van het westem gekocht hebben, ik heb ze nog niet echt zelf technologie zien ontwikkelen.
Zullen ze denk ik ook niet snel doen want hun hele cultuur focust op het afkijken van een ander in plaats van zelf innoveren jammer genoeg.

[StGermain]

Hoezo? Ik speel bijna dagelijks online met een Chinees van het vasteland. Is wel een dertiger dus heeft geen last van de misschien wel terechte restricties voor minderjarigen.

[Marzman]

Nu misschien, maar dit motiveert de Chinezen wel om met iets beters te komen. Het is geen Cuba daar dat ze oude Amerikaanse videokaarten tot een eeuwigheid blijven gebruiken.

[ViPER_DMRT]

*Kuch*
https://www.techpowerup.c...d-on-chinese-black-market

Laatst weer een vissersbootje aangehouden met 1200 GPU's
Coke, Guns & Gpu's !

[LieveGeit]

Men vindt altijd omwegen. Chips voor het Russische leger gaan nu van het Westen naar Turkije/Kazakhstan en dan naar Rusland om de exportrestricties te omzeilen. Dus vraag mij af of de RTX 4090 niet alsnog via Japan of Zuid-Korea naar China kan.

[marco-ruijter]

Restricties zijn over het algemeen nooit helemaal waterdicht, maar het zorgt wel degelijk voor een effect.

[dutchruler]

Precies het effect is dat de gewone burger gepakt word en het er nog ongezelliger op gemaakt word.

[_Pussycat_]

Juist, dat zou toch erg jammer zijn, als het voor de gewone burger in rusland ongezellig is! Iets ergers zou ik me nauwelijks voor kunnen stellen, en dat allemaal voor een onschuldige genocide!

[Zoop]

Helaas is het vaak wel de burgers die juist getarget worden hiermee, hopen dat die boos genoeg worden dat ze gaan veranderen in eigen land (in geval van rusland/china, onwaarschijnlijk).

[sircampalot]

Ze zijn daardoor een stuk duurder, en dat alleen al heeft effect
Net als olie en gas, dat is hier in europa ook veel duurder door de omweg via india.

[freek.george]

Dat klopt, maar dat betekent niet dat de sancties geen zin hebben. Die doorvoerlanden verdienen er goed geld aan, en niet omdat ze bij ons korting krijgen. Dat betaalt Rusland. Daarnaast betwijfel ik of dit soort sanctie-omzeilende handel hetzelfde volume kan leveren als ze zonder de sancties hadden kunnen invoeren.

[litebyte]

Japan wordt lastig, en waarschijnlijk vergelijkbaar Zuid-Korea ook, verzendingen naar China worden best goed gecontroleerd, maar er zijn zat andere landen. Het drijft meestal alleen de prijs maar op, en elk tussenpersoon komt er weer zoveel % bovenop.

Daarnaast er vindt nog steeds tussen HK en China een levendige smokkel plaats, ook van computerchips...met drones, of personen die hun lichaam ermee volplakken. Kan me voorstellen dat populaire video kaarten een populair smokkelwaar gaan worden.

[Reactie gewijzigd door litebyte op 22 juli 2024 15:25]

[n4m3l355]

Klopt zo zie ik de 4090 met 24GB nog steeds in de aanbieding maar kost die wel 40.000 rmb of wel ruim 5.500 euro. En er is maar heel weinig beschikbaar. Tuurlijk export van "laagwaardige" producten die je plug en play kunt gebruiken zul je nog steeds hier tegenkomen. Maar wil je een super computer bouwen wordt het toch wel moeilijk om een grote massa van dergelijke kaarten te kopen. En daar draait het gewoon om, het vertragen van ontwikkelingen.

(Zelf vraag ik me af of je niet het geheugen gewoon kunt vervangen van een 16 GB model wat je wel zo kunt kopen).

[ViPER_DMRT]

https://www.techpowerup.c...d-on-chinese-black-market

Gaat je kosten, en wanneer je er 20.000 nodig hebt voor een datacenter is dit sub-optimaal.

[LieveGeit]

De exportrestricties zijn er vanwege geopolitieke overwegingen, alsof een dubbele prijs enig verschil gaat maken als er bijvoorbeeld ooit een cyberoorlog komt. De Chinese staat heeft genoeg geld.

[ViPER_DMRT]

Mag duidelijk wezen dat ze niet ingezet gaan worden voor betere humanitaire voorzieningen, klimaat etc. Toch ? Wapens willen leveren aan Rusland, Klein pikkie syndroom tegen Taiwan nu... hey, vingertje wijzen doet niet veel. Dan maar zo.

China kan prima 50.000 A100's bestellen, relatief. Maar omdat er een paar billionaires massaal huizen opkopen in NL zegt natuurlijk niet veel, China heeft genoeg problemen. Ik zou me echt geen zorgen maken. That said, ze zijn linksom dan wel rechtsom zwaar afhankelijk van het westen. Eigenlijk meer dan wij van hun cheap/child labor praktijken.

Hun laatste eigen geproduceerde CPU's lopen al jaren achter qwa wafers, laughable.

`als er bijvoorbeeld ooit een cyberoorlog komt.`

My brother in christ :-) Ik werk in de Secops industrie, die oorlog is al jaren aan de gang. State sponsored, both ends, day in, day out.

[Madshark]

Betekent dit dat er geen 4090 kaarten meer in China geproduceerd kunnen worden ?
Dat verklaart wellicht ook de recente kleine prijsstijging van de RTX4090FE van Nvidia, die was immers ook Made in China.

[beantherio]

Ik mag aannemen dat ze (zoals hierboven al is genoemd) enkel in Taiwan worden geproduceerd. Een exportverbod naar landen waarin juist de feitelijke productie van het betreffende product plaatsvindt is al bij voorbaat gedoemd te mislukken.

[Madshark]

De AD102 GPU chip komt van TSMC in Taiwan inderdaad, maar de kaarten worden voornamelijk in China gefabriceerd. Er gaan dus hele container ladingen AD102's (RTX4090) die kant op.

[Reactie gewijzigd door Madshark op 22 juli 2024 15:25]

[mrbullet]

Wat meer info waarom de 4090 opeens wel:

The new regulations remove restrictions on communication speeds, which had limited bidirectional transfer rates at 600 GB/s, and now prioritize a computing performance threshold instead.

[themadone]

Das een hele markt weg, krijgen we nu lagere prijzen? Wil er graag eentje bij maar niet voor de huidige prijs.

[themaxxxx]

MSRP is net verhoogt met 30 euro voor de RTX 4090 FE.

[Byron010]

Een markt weg en lagere prijzen? Ik zie ze eerder de prijzen verhogen omdat het winst marge nu op een kleiner aantal klanten behaald moet worden

[TTMJ!]

Meer scalpers die het willen exporteren in de grijze en zwarte markt lok

[CH4OS]

Er bij als in SLI? Zover ik weet is dat niet meer supported.

[keejoz]

Wat doet dat er toe? SLI/Nvlink heb je helemaal niet nodig om multi GPU applicaties te draaien.

[CH4OS]

Dat doet er toe, omdat als je een GPU er bij wilt steken, je dus geen SLI kan gebruiken. Naar mijn weten heeft het dan ook geen zin om in te (kunnen) stellen welke GPU te gebruiken, zover ik weet althans.
En in concreto komt het er dan ook op neer, dat een tweede GPU erbij te steken in de PC geen zin heeft.

[themadone]

Eh, je kan bij bijvoorbeeld rendering gewoon kiezen welke je wilt gebruiken natuurlijk.

[CH4OS]

Moet het wel ondersteund zijn. Solidworks ondersteund al geen RTX kaarten bijvoorbeeld, en voor gaming heeft het dus geen zin.

[xenn99]

Omdat 1 programma geen RTX kaarten ondersteund is het ineens nutteloos om meerdere kaarten te hebben?
Die logica ontgaat me even.

SLI heeft er ook weinig mee te maken.. Dat is een techniek die wordt gebruikt om 2 kaarten aan 1 output te koppelen.

Er zijn zat redenen om meerdere kaarten te willen als je ze vooral gebruikt voor de rekenkracht.
Bijvoorbeeld voor AI, waar dit hele artikel zo'n beetje over ging.

[CH4OS]

Omdat 1 programma geen RTX kaarten ondersteund is het ineens nutteloos om meerdere kaarten te hebben?
Die logica ontgaat me even.

Dat zeg ik ook niet, maar een programma waarin je meerdere GPU's zou kunnen willen, zijn dus zware grafische programma's zoals Solidworks, die dus geen RTX ondersteund. Dat is dus om aan te geven dat de GPU dus wel supported moet zijn om uberhaupt te kunnen gebruiken, laat staan meerdere kaarten.

[BruT@LysT]

Maar dat is dus de insteek dus helemaal niet, als iemand meedere 4090's zou willen, dan worden deze per definitie niet gebruikt om in realtime 3d te werken want dat kan niet. Ze worden puur ingezet voor rekenwerk. Dus in een programma zoals Solidworks wil je per definitie niet meerdere GPU's zoals jij suggereert omdat dat helemaal niet werkt. Daarnaast is een enkele GPU meer dan genoeg om Solidworks goed te laten draaien, ik kon er al perfect mee werken op een gemodde Radeon 9700pro 128MB destijds. Moderne games zijn over het algemeen een stuk zwaarder. Je hebt het in mijn ogen mis dat je voor zulke grafische programma's heel graag meerdere kaarten zou willen hebben, meedere GPU's gebruik je voor andere doeleinden. Ook is het vaak overbodig bij 3d render tools zoals Blender. Je realtime viewport kan niet gebruik maken van gebundelde GPU's, echter kan je je eindproduct wél renderen met behulp van meedere GPU's, dit kan je zelfs online doen door gebruik te maken van GPU farms. Video bewerking idemdito, je werkt op 1 GPU, maar je final kun je laten renderen op meerdere GPU's. Meerdere GPU's gebruik je dus uitsluitend voor rekenwerk, niet om realtime rendering zoals we dat zien in Games, Solidworks of de viewport in Blender. Voorheen konden we weliswaar kaarten bundelen via SLI om zo extra gameperformance te krijgen, maar dit was vaak problematisch en zover ik weet zijn er nauwelijks software tools geweest die hier fatsoenlijk gebruik van hebben gemaakt. Ik heb vele SLI setups gehad, en hoewel er soms wel eens een game was die het supergoed deed met wel 90% + performancewinst was het meerendeel niet fantastisch te noemen.

- edit -

Ik geloof overigens ook dat je voor Solidworks dure industriële kaarten nodig hebt zoals de Nvidia A2000 / A4000 etc. Niet omdat deze zoveel beter zijn, maar omdat deze kaarten support bieden voor een hoger marktsegment, de drivers zijn gericht op professionele tools inplaats van gaming en ze unlocken vaak functies die je met een consumentenkaart niet kan gebruiken. Ik had het eerder al over een gemodde radeon 9700, deze was gemod zodat ik hardwarematige versnelling kon gebruiken in Solidworks waardoor de performance enorm toenam.

[Reactie gewijzigd door BruT@LysT op 22 juli 2024 15:25]

[CH4OS]

Volgens mij hoeft het ook niet per se meerdere GPUs voor gebruik in 1 applicatie te zijn. Als je bijvoorbeeld twee verschillende nVidia GPUs hebt, zou je dan dus kunnen kiezen welke door Solidworks bijvoorbeeld gebruikt zou moeten worden. Dan hou je dus 1 GPU in Solidworks, maar heb je dus wel de keuze welke de applicatie dan dus gebruikt.

[BruT@LysT]

Ja dat klinkt leuk, maar in de praktijk is dit erg onhandig of werkt gewoon niet. Software is er vaak niet voor geschreven. Ik zie al veel problemen zijn met laptops waar je een geintegreerde GPU gebruikt in combinatie met een dedicated GPU. Ideaal gezien zou je willen kunnen selecteren welke GPU je wilt gebruiken maar dit kan niet altijd. Het is ook nogal een niche markt die gebruik maakt van meerdere GPU's. Beter maak je dus een dedicated render server, een systeem met 4 GPU's bijvoorbeeld die alleen maar rekentaken doet en je workstation gebruikt gewoon 1 GPU, soms hoeft deze ook helemaal niet krachtig te zijn.

[ViPER_DMRT]

Wel wanneer je 500GB datasets wilt crunchen wel.
Of je moet er een paar maanden meer voor schrijven.
NVLINK's clusteren geheugen, thus een DGX kan met 8 a100's al op datasets van 640GB knagen.

Een DGX is een blokje van een super pod.

Datasets van de big boys draaien over meerdere Super Pods.
Super pods hebben Massive, shared-GPU-memory, lees 144 terabytes (TB) aan GPU geheugen beschikbaar. Enig idee hoeveel 3080's je nodig gaat hebben ? En hoe laat je die data onderling praten met elkaar ? Over je 10gb realtec nic's ? Enig idee waarom een InfiniBand 400Gb/s switch zo prijzig is ? =]

[SCS2]

Ik meen me te herinneren dat SLI voor de hoeveelheid geheugen niet werkt,
BEIDE kaarten hadden het geheugen nodig. Dus voor een game met 4gb mem, moesten beide 4gb hebben.
Hier gaat het blijkbaar specifiek over het VRAM. Dus SLI helpt hier niet.

[ViPER_DMRT]

Klopt, daarom is er nu NVLINK, die doet dat namelijk wel.

[freek.george]

(Dit was bedoeld als reactie op LieveGeit)

[Reactie gewijzigd door freek.george op 22 juli 2024 15:25]

[SCiENTiST]

Worden 4090s niet in China geproduceerd?

[Kosh66]

In Taiwan toch?

[watercoolertje]

Hooguit geassembleerd, maar dat hoeft ook niet, genoeg andere lage lonen landen...

Zoals @Kosh66 zegt worden de chips iig in taiwan gemaakt.

[Reactie gewijzigd door watercoolertje op 22 juli 2024 15:25]

[ViPER_DMRT]

Chips in Taiwan, PCB's & packaging zou kunnen.

[mrbullet]

De reden van de crackdown op China volgens de inlichtingen van de Five-eye:

China is involved in an "unprecedented" IP theft effort, Wray remarked, which is challenging to fight both in "scale and breadth." The country's hacking program is bigger than the efforts made by every other nation combined

[Darkasantion]

En hoe houd je nu tegen dat er "toevallig" een limited edition van zo'n chip uitkomt, met zogenaamd slechter/langzamer geheugen welke dus aan de bandbreedte-restrictie van de exportbeperkingen voldoet.
Als je echter dan andere BIOS "flasht", van bijvoorbeeld een reguliere kaart, blijkt dat, wonder o wonder, het geheugen toch iets sneller kan dan gedacht. Toevallig net zo snel als het reguliere model...

Snap goed wat het doel is van de exportrestrictie, zie al echter genoeg mogelijkheden deze te omzeilen. En zoals altijd, waar een wil is, is een weg. En zeker met wat kapitaal, en China heeft voldoende, kun je via alternatieve wegen alsnog de benodigde kaarten bemachtigen. Duurt mogelijk wat langer en kost iets meer, echter komen ze er heus wel.

[Zyphlan]

Als je echter dan andere BIOS "flasht", van bijvoorbeeld een reguliere kaart, blijkt dat, wonder o wonder, het geheugen toch iets sneller kan dan gedacht. Toevallig net zo snel als het reguliere model...

Ik gok dat ze meer zoeits zouden proberen als ze al gedaan hebben ( downgraden van chip maar dan niet dat je hem met een flash weer 100% maakt) , ook omdat ik de kans klein inschat dat een Nvidia het risico wil nemen om de amerikaanse overheid met zoeits als een BIOS flash voor de gek te houden.

https://www.cnbc.com/2023...nvidia-h800-to-china.html

Duurt mogelijk wat langer en kost iets meer, echter komen ze er heus wel.

Oh zeker weten maar je kunt er niet echt een industrie op bouwen omdat je er niet op kunt vertrouwen dat het geleverd word tegen een bepaalde prijs.

[junkchaser]

Ik voel een Businesscase opkomen voor het verkopen van 4090 aan china in bulk tegen monsterprijzen.

Nu die dingen komen toch hoofdzakelijk uit China, om dan de wereld in gestuurd te worden?