'Nvidia Blackwell-chip kampt met oververhitting in bepaalde serverracks'

De Nvidia Blackwell-datacenterchips kampen met oververhitting als ze in bepaalde high-capacity serverracks worden geïmplementeerd. Dat schrijft The Information. Nvidia zou op de hoogte van het probleem zijn en werkt aan een nieuw ontwerp voor de serverracks, met betere koeling.

De problemen doen zich volgens The Information momenteel enkel voor in serverracks waarin 72 Blackwell-datacenterchips tegelijkertijd zijn verwerkt. Deze installaties zouden maximaal 120kW per rack verbruiken. Bepaalde klanten van Nvidia, zoals Google, Meta en Microsoft, zouden hun zorgen over de problemen hebben geuit en zouden zich afvragen of de Blackwell-servers op tijd kunnen worden geïmplementeerd. Reuters schrijft dat Nvidia inmiddels aan enkele leveranciers heeft gevraagd om aanpassingen aan de serverracks te doen met het oog op een betere koeling. Het Amerikaanse techbedrijf zegt in een reactie aan het persagentschap dat aanpassingen aan een bepaald ontwerp een normaal onderdeel zijn van het ontwikkelproces.

Het is niet voor het eerst dat de Nvidia Blackwell-datacenterchip in het nieuws komt vanwege een probleem. Eind oktober kwam aan het licht dat de chip een ontwerpfout bevatte die de productie bij TSMC had beïnvloed. Die fout zou inmiddels zijn opgelost. Nvidia heeft de Blackwell-datacenter-gpu in maart van 2024 aangekondigd. De chip heeft een multichipontwerp en bestaat uit twee losse dies, die elk ongeveer even groot zijn als de voorgaande H100-gpu’s uit 2022. De Blackwell-chip wordt op het N4P-procedé van TSMC gemaakt en bevat in totaal 208 miljard transistors. Op de package zit ook 192GB aan HBM3e-geheugen met een geheugenbandbreedte van 8TB/s. De gpu heeft een tdp van 1000W. Bij de aankondiging zei Nvidia dat de Blackwell-gpu vanaf het tweede kwartaal van dit jaar geleverd zou worden. Die deadline werd niet gehaald. In het najaar zei ceo Jensen Huang dat de gpu’s in het laatste kwartaal van 2024 zullen worden geleverd.

Nvidia Blackwell

Reacties (83)

[Dennism]

Hier werd eerder ook al een beetje naar gehint in het volgende artikel: https://medium.com/@mingc...i-and-nvidia-12b78ae2ca4f

Nvidia zou werken aan 3 versies, 2x een 72GPU oplossing, 1x een 36GPU oplossing. Waarvan 1 van die 72GPU oplossingen een 'dual rack' oplossing zou zijn van eigenlijk 2x een 36GPU rack. Deze laatste zou echter gecancelled zijn omdat grote klanten (Microsoft wordt genoemd) die oplossing niet willen omdat het niet ruimte efficient is en Nvidia ook de 72GPU in een rack variant veel meer gepushed heeft. En dus is er op een gegeven moment volgens deze geruchten vol ingezet op de 72GPU in rack variant met daarnaast nog de 36GPU in een rack variant voor 'kleinere' deployments (zo'n 36GPU in een rack is natuurlijk ook al een flinke jongen).

Echter een 72GPU oplossing in een enkel rack zou voor flinke uitdagingen zorgen qua koeling om niet de efficiëntie qua ruimte gebruik dat je wint met zo'n oplossing weer te verliezen aan extra koeling.

Aantal quotes uit het artikel:

Major customer preference.
Clients like Microsoft prefer NVL72 over NVL36*2.

Fulfilling public commitments. Nvidia has consistently promoted the single-rack NVL72 in public. To honor these commitments under resource constraints, NVL72 development takes priority over NVL36*2

The biggest challenges in NVL72 development mainly stem from the 132kW thermal design point (TDP) requirement, which makes it the highest-power-consuming server in history. Nvidia and its supply chain need more time to solve unprecedented technology issues

[Reactie gewijzigd door Dennism op 18 november 2024 10:11]

[Ijsklont]

NVL36 bestaat inmiddels niet meer en de toekomst voor NVL36x2 is ook niet zeker. NVL72 is op dit moment primaire focus.

De GPU deel van een GB200 Superchip is alleen al 1000W TDP, dit is dus exclusief de CPU deel. Het design van NVL36 was het enige design waarbij het toeliet om dit nog met traditioneel lucht te kunnen koelen. Vanwege densiteit in design van de NVL72, kan de NVL72 alleen gedaan worden met liquidcooling.

[Dennism]

Das wel interessant, wat ik namelijk begreep is dat juist NLV36x2 gecancelled was, en dat de Q4 shipments die in productie gebruikt gaan worden (om nog wat gezichtsverlies te voorkomen om zo toch nog dit jaar te shippen naar productie) dit jaar grotendeels NVL36 zouden zijn, terwijl NVL72 shipments nog niet 'productie klaar zijn en dat de verwachting is dat NVL72 (waar inderdaad de focus op ligt nu) pas in Q2 2025 volledig gevalideerd gaan zijn voor productie bij 'de grote jongens'.

[Reactie gewijzigd door Dennism op 18 november 2024 10:53]

[Ijsklont]

Kwa NVL72 klopt het dat dat Q1/Q2 nu de planning is, echter het nadeel van NVIDIA is dat zij op dit moment soms bijna dagelijks de informatie veranderen

[Dennism]

Misschien dat er woensdag nog weer wat naar buiten komt. Dan hebben ze als het goed is presentatie van de kwartaalcijfers. En als ze dan dit jaar nog wat willen shippen naar productie zal dat daar vast gemeld worden om de aandeelhouder tevreden te houden. Want de volgende presentatie op dat vlak (naar de aandeelhouders toe) is daarna volgens mij pas weer in februari. Dus als ze dit jaar nog ergens goede sier willen maken moet dat m.i. dan woensdag gebeuren.

[Ijsklont]

We zullen het zien, de vraag naar NVL72 is er iig, ook in Nederland.

[Dennism]

Daar twijfel ik ook zeker niet aan, dat zal voor veel partijen, mits ze de huidige problemen die nu opspelen kunnen oplossen zonder concessies te doen aan de ruimte die het inneemt (dus geen extra sidecar's over wat ze initieel hebben geprobeerd te vermarkten) is NVL72 simpelweg de meest efficiëntie oplossing. Dus zal daar inderdaad veel vraag naar moeten zijn.

[19RAW68]

Verbruik wordt volgens mij gemeten in kWh, die120 kW is het opgenomen vermogen van een rack.

Het energieverbruik vind ik overigens wel schokkend, als zo'n rack op vol vermogen draait praat je over 2880 KWh per dag! Dat is wat een klein huishouden in Nederland per jaar gebruikt. En dat dus voor één rack.

En dan hebben we de koeling nog niet eens meegerekend. We kunnen hard ons best doen om de energietransitie voor elkaar te krijgen, maar zo moeten we wel heel hard gaan lopen om het energieverbuik bij te benen.

[Chatslet]

Dat is maatschappelijk ook gewoon niet te verkopen. Jij als consument bovenop je kWh prijs duurzame energieopslag betalen en straks niet meer kunnen salderen met je zonnepanelen maar ondertussen wordt je hele jaarverbruik plus jaarlijkse opwek binnen een dag door slechts een rack in een datacenter verstookt. En als je een laadpaal wilt of als beginnend ondernemer een wat zwaardere aansluiting in je bedrijfspand nodig hebt dan kan dat niet omdat het net vol zit.

[SillieWous]

Het salderen staat hier wat mij betreft los van. Dat is nooit voor de lange termijn bedoelt.

Maar het slaat inderdaad nergens op hoeveel deze dingen verbruiken. Ook omdat deze bedrijven er alles aan doen zoveel mogelijk subsidie binnen te harken en zo min mogelijk belasting bijdragen.

[BadRespawn]

Dat is maatschappelijk ook gewoon niet te verkopen. Jij als consument bovenop je kWh prijs duurzame energieopslag betalen en straks niet meer kunnen salderen met je zonnepanelen maar ondertussen wordt je hele jaarverbruik plus jaarlijkse opwek binnen een dag door slechts een rack in een datacenter verstookt.

Energie verbruik door industrie in het algemeen is al heel lang veel hoger dan bij consumenten - is dat wel te verkopen?

[Chatslet]

Generaliseren en platslaan tot een drogreden vind ik eigenlijk vooral niet te verkopen.

[FreezeXJ]

Heel goed te verkopen zelfs, vooral aan bedrijven. Burgers zijn al lang gewend aan de extra belastingen, dus die piepen niet meer. Het wordt pas leuk als de basisprijs van stroom opeens verdubbelt (zoals bij de gasprijs toen Rusland Ukraine binnenviel), want dan voelen bedrijven de pijn een stuk harder dan Sjon Bierkrat. En aangezien bedrijven reageren op prikkels (meestal met protest, duh) gaan zuinigere chipjes pas dan populair worden.

[gastje01]

Hoewel ik het met de insteek van je reactie eens ben, is dit maar een kant van het verhaal. Als 1 Rack met deze chips even veel werk kan verzetten dan bijvoorbeeld 2 andere met een zelfde energieverbruik per rack is dat een enorme winst.

In de realiteit zullen de getallen veel dichter bij elkaar zitten, maar je snapt waar ik heen wil. Het is de gebruikers van deze spullen natuurlijk ook veel waard om alles zo energie efficiënt mogelijk te krijgen, want dat scheelt uiteindelijk gewoon centjes.

[Horla]

Mja, het is al heel lang geleden dat GPU's of aanverwanten x2 gingen bij een nieuwe generatie dus het is ietwat optimistisch voorgesteld. En die gebruikers kopen tegenwoordig gewoon een kerncentrale (zie Microsoft en Google) voor alle bijkomende energie die AI vraagt

[keejoz]

Ampere was letterlijk een x2.. zo lang geleden is dat dus niet.

[Horla]

Beter lezen:

Als 1 Rack met deze chips even veel werk kan verzetten dan bijvoorbeeld 2 andere met een zelfde energieverbruik per rack is dat een enorme winst.

Dus de stelling was dat de nieuwe chips 2x zo snel zijn met hetzelfde stroomverbruik. Dat is absoluut niet het geval. Het stroomverbruik ging waarschijnlijk wel x2 maar de prestaties bij mijn weten niet.

[Seditiar]

Sommigen laten kerncentrales bouwen, ideaal. Bevolking geen last en als ze ooit de kerncentrale niet meer gebruiken kan een energie provider het relatief goedkoop kopen om de beste en groenste energie te gaan leveren.

[killercow]

Nee. De groenste manier is om zonnepanelen en windmolens te plaatsen, en dan je verbruik er op aan te passen.

[JumpStart]

Dus, jou internetgebruik (lees: jou internetgebruik waarbij voor jou werkzaamheden uitgevoerd worden in een datacenter) ga je aanpassen op wanneer vooral de zon schijnt en de wind waait?

Helaas, er is heel wat industrie die draait op 24/7 constante behoefte aan stroom. Een glasfabriek zet je niet even stil. Een staalfabriek draait constant door. Ditto voor de chemische industrie. Heel veel industrie draait 24 uur per dag in ploegendienst en staat dus altijd aan.

Datacenters zijn daar zelfs nog een stapje erger, die moeten vooral veel werk verrichten als zonnepanelen al gestopt zijn met leveren. Vrijwel niemand beperkt, zeg, Netflixen, Tiktokken of Faceboeken tot de uren dat de zon op is.

Het is een ongemakkelijke waarheid, maar de samenleving kan niet exclusief op renewables draaien. Kijk maar naar onze Duitse buren. Die hebben miljarden gestoken in zon en wind, omdat ze hun kerncentrales hebben uitgezet (terwijl die nog niet end-of-life waren!) en hebben de afgelopen periode een hele berg aardgas moeten verstoken omdat wind en zon véél te weinig opbrachten.

[killercow]

Wat dacht je dat google nu al doet? Juist, workloads rondschuiven naar daar waar de energie voorradig / goedkoop is. Daarbij, de grootste investering in energie voor dit soort chips zit in AI training. Dat hoeft echt niet in de winter als er alleen kolen-stroom is.

[JumpStart]

Sorry, dan denk je verkeerd. Collectief kost de investering in AI miljarden. Die laat je dan ook vol draaien. De kosten van dure stroom zijn minder hoog dan het niet laten stampen van AI chips. AI chips idle laten zijn zet je alleen maar op achterstand ten opzichte van de concurrentie.

In Amerika wil Microsoft zelfs de Three Mile Island kerncentrale weer opstarten om constante stroom voorziening te kunnen garanderen. Waar mogelijk "load balancing" doen is mooi meegenomen, en kan de spreekwoordelijke scherpe randjes eraf halen, maar uiteindelijk is het minder lucratief om het stroomaanbod de dienst te laten dicteren.

[Cheap_Tumble]

Nee, zeker windmolens zijn helemaal niet zo groen als iedereen denkt.

Volgens mij is waterkracht de meeste groene vorm van energieopwekking (en de opbrengst is ook nog eens veel constanter/beter voorspelbaar). Maar helaas is Nederland daar niet super geschikt voor.

[Reactie gewijzigd door Cheap_Tumble op 18 november 2024 13:10]

[Horla]

En het kernafval dat een paar honderd/duizend jaar moet opgeslagen worden? Wie betaalt daar voor? Als bv Microsoft nu binnen 100 jaar failliet gaat, wat dan?

[Speedster]

Zo jaren 1980 deze reactie. Shell en andere olie producenten hebben er alles aan gedaan om kernenergie tegen te houden,

Kijk ook even naar deze link:
https://temeculaca.gov/716/USS-Ronald-Reagan
"Ronald Reagan is the 9th Nimitz class aircraft carrier. Being nuclear powered, it can operate for more than 20 years without refueling"

Dat lijkt me xxx jaar fietsen op je E bike of xx jaar tuffen in je Tesla.

[Horla]

Ik heb op zich geen aversie tegen kerncentrales maar het is een feit dat afval op zijn minst honderden jaren correct moet opgeslagen worden. Bij deze tijdslijn spreken we over vele honderden miljoenen dat dit kost. Het negeren omdat het probleem zich enkel in de toekomst voor doet is in geval gevaarlijk. En @aleksandr spreekt wel over het feit dat dit probleem is opgelost maar als dat het geval was, zou ik toch wel verwachten dat dit breed wordt uitgesmeerd in de media. Dus daar zie ik liever eerst bewijs over.

[SpaghettiCake]

Zoals aleksandr al zegt is er genoeg informatie juist te vinden dat het opslaan van kernafval helemaal niet zo een groot probleem is als de jaren 70 doemdenkers ooit dachten. Het hoogtepunt natuurlijk chernobyl zijnde of fukushima als je wat jonger bent. Als je de natuurlijke achtergrondsstraling meet dan kom je er al snel achter dat straling overal vandaan komt. Die uranium die we mijnen om uberhaupt als brandstof gebruiken komt uit.... de aarde. En nog doorslaggevender: er gaan miljoenen zogenaamde 'cosmic rays' per seconde door je hersenen heen, die zijn ook het voornaamste veroorzaker van kanker. Welke enge instantie moeten we hiervoor aanspreken? De zon en alle sterren en AGN in ons heelal. Je kan dan al heel snel bereken dat zelfs al zouden we gigatonnen aan nucleaire afval op aarde toevoegen dat het een compleet verwaarloosbaar effect heeft op de achtergrondstraling die toch al vanuit geheel het universum komt.

Edit: Bovendien, kwa kosten zeg je het zelf al, opslaan van honderden jaren aan kernbrandstof, al herbruiken we het niet, kost maar enkele honderden miljoenen. Ik zou maar eens de miljoenennota lezen over hoeveel geld er al wordt uitgegeven aan de energietransitie. Dan is honderden miljoenen een koopje. Een keer een bunker uitgraven en onderhouden en je bent er eigenlijk al.

[Reactie gewijzigd door SpaghettiCake op 18 november 2024 12:39]

[ioor]

Splijtstoffen MAKEN we van bronnen uit de natuur..ze worden daar niet uitgehaald. De enorme impact van het delven laten jullie nogal onberoerd....

[SpaghettiCake]

Ja we maken splijtstoffen van gebruikte splijtstoffen, die origineel ooit als uranium uit de grond zijn gehaald. Het zou ook compleet onlogisch zijn om uranium te maken alleen maar om het dan met fissie weer uit elkaar te spatten, dat verliest enkel energie. Plutonium hebben wij mensen de wereld in geholpen, en het is alleen omdat we nu oude kernmaterialen herbruiken dat we MOX 'maken uit de natuur'. En als het westen zich zo zorgen maakt over delven dan kunnen ze beter hun vizier richten op een onzinindustrie als diamanten mijnen. Maar vooral nog een paar jaar onderzoek naar doen, er is uiteraard geen buurland die al heeft aangetoond dat het mogelijk is om je land zelfvoorzienend te houden met kernenergie.

[Llopigat]

Je kan dan al heel snel bereken dat zelfs al zouden we gigatonnen aan nucleaire afval op aarde toevoegen dat het een compleet verwaarloosbaar effect heeft op de achtergrondstraling die toch al vanuit geheel het universum komt.

Dat is niet vergelijkbaar. Ten eerste is nucleair afval heel erg geconcentreerd. En bovendien gaat het om vaste stoffen die die straling uitstralen. Een stofdeeltje plutonium in je longen is al dodelijk omdat die vooral alfa straling uitstralen. Dat soort straling komt niet door de atmosfeer, beta ook niet. Alfa komt zelfs niet door je huid maar in je longen kan het heel veel kwaad doen.

[Reactie gewijzigd door Llopigat op 19 november 2024 18:54]

[SpaghettiCake]

Meh. Dat het geconcentreerd is is toch juist in ons voordeel, maakt het alleen maar makkelijker op te ruimen. Wat liever, allemaal meuk door de hele atmosfeer of een paar miljoen ton (klinkt eng, werkelijk heel weinig) aan relatief heel simpel te filteren radioactief afval. Ja plutonium inademen is dodelijk -al denk ik zelf dat 1 deeltje het verschil niet zal maken- maar is dat niet een beetje zeggen dat we geen bleek moeten gebruiken als schoonmaakmiddel omdat je dood gaat als je het drinkt? Hoe komt plutonium in je longen als we er maar tonnen van produceren over de algehele aarde? Meet het eens af tegen de hoeveelheid meuk die we de atmosfeer in werken door ontbossing en mijnen en dan lijkt mij dat het fissieproces en alles daarna (dus recyclen en opbergen) ineens een relatief heel klein probleem zijn. En alle productiestappen vóór het fissieproces (mijnen van de benodigde materialen voor de reactor, etc) komt ook te kijk bij letterlijk elk andere soort energieopwekking. Of je nou zonnepanelen, windmolens, koolcentrales of kernreactoren wilt bouwen, je zult ergens die materialen vandaan moeten krijgen. Ja er zullen onverwachte dingen te kijk komen, ja ik vergis me vast in een aantal dingen, maar als we vandaag de dag alle risicos afwegen ziet kernenergie er -naar mijn mening (als msc in particle physics..)- gewoon heeeeeel goed uit.

[aleksandr]

Hallo,

Ik heb even voor u het filmpje opgezocht die ik een paar maanden terug bekeek.

YouTube: Nuclear waste is reusable. Why aren’t we doing it?

96% can be recycled" dat is wat ik er nog van onthouden heb.

[Reactie gewijzigd door aleksandr op 18 november 2024 11:02]

[uiltje]

De MOX wordt niet gerecycled, en dat is dus nog steeds waste, en zal wat betreft hoeveelheid niet veel verschillen met wat er in ging. Dus dit is een enkele keer recyclen, en dat is eigenlijk hetzelfde als niet recyclen.

We sturen allang nucleair afval naar Frankrijk en naar Rusland (nu nog steeds overigens) en we houden nog steeds een hoop over. Je doet net alsof dit nog niet wordt toegepast.

Weet je wat, ik ga expliciet voor kernenergie demonstreren zodra we 96% van ons nucleaire afval hergebruiken en als we de het overgebleven afval veilig kunnen opslaan. Eerst oplossen, dan nucleaire centrales bouwen.

[Reactie gewijzigd door uiltje op 18 november 2024 11:56]

[_Pussycat_]

Mwah, de opslag is een probleem, MAAR dat moet je wel met de andere problemen vergelijken. Wat mij betreft kunnen we beter een voetbalveld aan vuilnis voor min of meer eeuwig bewaken, dan miljoenen tonnen extra CO2 in de atmosfeer hebben.
Er is ook veel ander gifafval, kwik, etc wat we voor altijd moeten opslaan.

"zolang het niet perfect opgelost is kijk ik er niet naar" is een recept om nergens aan te beginnen. Kolen is ook niet opgelost, windmolens zijn ook niet perfect, zonnecellen veroorzaken ook troep...

[Llopigat]

We sturen allang nucleair afval naar Frankrijk en naar Rusland

Lekker dan, een van onze geopolitieke vijanden de grondstoffen geven voor dirty bombs.

Niet dat ze die zelf niet hebben maar toch..

Ben het overigens helemaal eens met het probleem van het afval. Dat moet eerst opgelost worden. Maar dat heeft geen prioriteit. Net als het decommisionen van de centrales dat altijd betaald wordt door de maatschappij.

[smiba]

Nu moet ik wel toegeven dat ik nuclear toevoegen op voertuigen die kunnen verongelukken wel wat spannend vind. Een lelijke botsing en je hebt een nuclear incident

Haalt het natuurlijk niet weg hoe indrukwekkend veel energie je uit een beetje nuclear kan halen, en ben daarom ook groot voorstander van nuclear voor onze vaste energiebehoefte.

[Speedster]

Een nucleaire installatie op je fiets of in je auto zal heel klein zijn. De nucleaire installatie op de Amerikaanse vliegdekschepen is gezien de omvang van zo'n schip ook al heel erg klein.

Het komt nog zover dat Shell nuclair gaat promoten. Greenpeace gaat zich dan snel aansluiten....

[_Pussycat_]

Een nucleaire installatie op je fiets of in je auto zal heel klein zijn.

Ik geloof niet dat je een goed beeld hebt van hoe een kerncentrale werkt. Ik vermoed dat de TOPAZ één van de lichtste reactoren was met 300 kg.

[Speedster]

De Topaz is meer dan 30 jaar oud en was ontwikkeld voor de ruimte vaart.

Een fiets of auto is ietwat eenvoudiger dan een ruimtevaartuig.
In de afgelopen 30 jaar heeft de techniek niet stilgestaan.

[_Pussycat_]

Day een auto simpeler is dan een satelliet verandert niet de reactor. En kerncentrales zijn niet veel veranderd de laatste 30 jaar.

[Speedster]

Kerncentrales zijn wel veel kleiner geworden:
https://www.iaea.org/news...all-modular-reactors-smrs

Past net niet op de fiets of in de auto.

Dat komt nog wel.

[aleksandr]

Volgens mij hebben we kern afval al een tijdje opgelost, ik zag daar laatst een goede documentaire over van een Duitse omroep.

Kom maar door met kern energie, 100x beter dan roestige windmolens waar je na 15 jaar niks meer mee kan (en die tevens het onderwater leven aantasten)

[killercow]

Doe eens wat bewijs voor je stelling dat ze na 15 jaar op zin, of dat ze onderwater leven aantasten?

[mbovenka]

Google it: 15 jaar lijkt wat pessimistisch; de getallen die ik tegenkom zitten tussen 20 en 30 jaar. Aantasting leven: https://windopzee.nl/onderwerpen/effect-op/natuur/ En dat is nog van de rijksoverheid ook, dus ik verwacht dat dat een optimistisch verhaal is.

[killercow]

Kortom, je zat er dik naast.
Windmolens zijn inderdaad niet epic voor je zeeleven, al zijn er ook studies die aantonen da er juist rond windmolens meer vissen leven en meer leven ontstaat omdat het een ankerplaats is voor allerlei kleiner leven. (https://tos.org/oceanogra...d-functioning-a-synthesis)
Daarintegen is het koelwater van kerncentrales ook alles behalve tof voor zeedieren en ecosystemen.

[Reactie gewijzigd door killercow op 18 november 2024 11:07]

[Thekilldevilhil]

Ten eerste reageer je nu "je zat er dik naast" tegen iemand die de originele claim niet eens maakte.

Ten tweede bestond de claim die gedaan werd uit 2 delen. Niet alleen het onderwater leven (die discussie is redelijk gaande) maar ook dat je er na 15 jaar niets mee kan. Die laatste is deels waar aangezien we niets veel meer met de wieken kunnen. Er liggen bergen van die dingen weg te kwijnen. Er zijn wat initiatieven om er cement van te maken (loopt nog steeds) of te verwerken tot bijvoorbeeld parkbanken. Die laatste is alleen druppel op een gloeiende plaat als ik de raporten mag geloven.

Overigens is kernafval een beetje een kunstmatig probleem. Nog buiten dat ze opslag redelijk opgelost is, is het ook alleen maar een probleem omdat het zichtbaar is. Je wilt niet weten hoeveel radioactieve troep er uit een kolen centrale komt. Maar daar heeft niemand het over om dat we het vrolijk de lucht in blazen. Natuurlijk proberen we dat af te vangen, maar dat lukt ook niet perfect. Daarbij, wat doe je met de opgevangen bende. Dan zit je ineens met hetzelfde probleem.

Zomaar wat linkjes. Maar hier is echt genoeg over geschreven. De anti-atoom lobby van de fossiele reuzen heeft echt enorme schade gedaan.

https://www.epa.gov/radto...s-coal-fired-power-plants

https://www.sciencefocus....produce-radioactive-waste

[Reactie gewijzigd door Thekilldevilhil op 18 november 2024 12:23]

[FalconerHG]

Het is echt maar heel weinig, dat afval, en we kunnen het nu veel beter opslaan dan vroeger.

Maar misschien belangijker nog, is dat er materialen voor ziekenhuizen worden gemaakt in kerncentrales. Daar zijn nu tekorten aan.

Er zitten absoluut negatieve kanten aan, maar kernenergie is allang niet meer zo eng en evil als het ooit was. En zonder gaan de transitie falen.

[Llopigat]

Die materialen voor ziekenhuizen komen niet uit energiereactoren. Daar zijn speciale voor zoals die in Petten.

[Khrome]

Kernafval is nochtans minder schadelijk per opgeleverde MW dan fossiele energie. Fors minder schadelijk.

Ik zou zelf liever naast een kerncentrale willen wonen dan een kolen, gas of oliecentrale tbh.

Zodra fossiele brandstoffen echt op beginnen te raken kun je er overigens gif op nemen dat veel van die maatschappijen opeens wel heel positief gaan worden over fissie, en fusie (nog) hard(er) gaan tegenwerken

[r_brus]

Een wereldwijde samenwerking op het gebied van kernfusie zou een unieke kans bieden om de energiecrisis aan te pakken. Kernfusie is heilige graal van energie en biedt vrijwel onuitputtelijke, veilige en koolstofvrije energie. Door onderzoeksprojecten als ITER en het werk Max-Planck-Institut für Plasmaphysik zijn we dichterbij dan ooit. Echter, om kernfusie commercieel levensvatbaar te maken is een wereldwijde samenwerking op ongekende schaal nodig, waarbij kennis, middelen en financiering gedeeld worden. Daar zit echt de knel.

[Wim Cossement]

Zoals MS wil doen in Rhode Island?
Waar ze ooit een kernsmelting hadden, niet van Chernobyl niveau maar toch...

- Oei, er zit een bug de AV updates van een 3de partij die onze reactor controleert en dat ding zit nu in een reboot loop, tis wachten op een patch... Gelukkig draait de koeling op Linux!

[Llopigat]

Ja en dan kan de gemeenschap opdraaien voor de miljarden van het veilig afbreken en opslaan van die centrale want dat wordt nooit door de bedrijven zelf betaald.

[slelieveld]

Inderdaad. Maar door AI toepassingen kunnen we de energietransitie versnellen

[Wim Cossement]

Yup, we gebruiken met zijn allen elke dag miljoenen AI-toepassingen die ons energieverbruik in toom houden!

[Eldunari]

Het is inderdaad een enorm stroomverbruik, maar dit toont precies aan waar de energietransitie een probleem gaat krijgen.
Dit soort vermogens staan in het niet bij de energie die zware industrie gebruikt. Zelfs als je een datacenter vol met dit soort racks hebt.
Ik heb bij een klant een technical feasibility study gedaan voor elektrificatie van hun test lijntje als proof of concept voor productie. Dat was maar 5MW, dus klein... Uiteindelijk blijkt dat het kan en zijn ze eeuwigheden bezig met alle subsidies en dergelijke om uit te vinden of het ook economisch haalbaar is.

Stroom voorzien aan datacenters is al een hele uitdaging. Ik ben dus ook zeer benieuwd hoe mensen het voor zich zien dat tata e.d. over gaan naar stroom. Zelfs als je voor waterstof gaat om de energie daar te krijgen zul je die stroom ergens moeten opwekken.

[uiltje]

Het hele idee dat we alles kunnen "terugverdienen" bij de energie-transitie is een probleem op zichzelf. We moeten over om de klimaatdoelstellingen te halen, en als dat efficient kan dan is dat fijn. Maar uiteindelijk kan weinig op tegen het oppompen van olie en gas, da's bijna gratis energie. Of tegen kerncentrales die financiering- en natuurlijk kernafval en veiligheidsproblemen hebben.

[Klaus_1250]

Dat is ook de reden dat men niet meer happig is op data centrums in NL. Alle groene energie die we dan opwekken op zee gaat dan naar data centrums. Overigens, het drinkwatergebruik van zo'n data centrum is misschien nog veel schokkender.

[dez11de]

Overigens, het drinkwatergebruik van zo'n data centrum is misschien nog veel schokkender.

niet

[Bintzak]

Nee, je kan zeewater of rivierwater gebruiken en een door middel van een warmtewisselaar de kou afstaan aan een gesloten systeem met DM water.

Nadeel, je moet chemicaliën gebruiken om de leidingen te beschermen tegen corrosie.

[bantoo]

Algemene verbeteringen in de levenskwaliteit zijn de afgelopen 200 jaar altijd gepaard gegaan met een toename in energieverbruik. Het is een nogal rare gedachte dat we enkel een baseline uit het verleden zouden hoeven vervangen met schone energiebronnen. Waar deze racks op dit moment hoofdzakelijk voor gebruikt worden is niet super productief maar in theorie is er niets mis met de perf/watt die hier geleverd word.

[Stufipower]

Ze noemen specifiek kW omdat dat inzicht geeft in de mogelijk af te voeren warmte voor het rack, wat hier een probleem is. Verbruik in watt is daarnaast prima volgens mij. Dat zegt iets over verbruik per seconde en is goed vergelijkbaar. Als (alle servers in) dit rack bijvoorbeeld nog in aanbouw waren en net 2 uur aan stonden gaf kWh namelijk geen duidelijk beeld. Daarnaast is het niet redelijk om te veronderstellen dat deze servers allemaal altijd op 100% load draaien. Wel gebruiken ze natuurlijk nog steeds “veel”.

[Bob]

Verbruik (in kW) in deze context is logischer in vermogen dan energiehoeveelheid (in kWh). De koeling moet ook gedimensioneerd worden op het feit dat er continu 120 kW aan warmte in dat rack geproduceerd kan worden.
Dat dat op 24u 2880 kWh is, of op 2 dagen 5760 kWh doet er niet toe. Een primaire spec van een koelsysteem in ook hoeveel warmte er per tijdseenheid kan worden afgevoerd, dat is ook een vermogen.

[FalconerHG]

Datacenters, Bitcoin en AI dragen heel negatief bij aan de climate change goals. En als ik dan zou moeten kiezen, dan moeten de laatste 2 per direct uit (en AI dan vooral de LLMs a la ChatGPT - in bvb medisch onderzoek draagt het veel bij).

[Klaus_1250]

Stomme vraag maar waarom heet dit ding nog steeds een GPU?

... de Blackwell-datacenter-gpu ...

[GarBaGe]

Ik vermoed dat dit product de Nvidia DGX GB200 heet.
DGX staat voor "Deep GPU Xceleration"
Het product is wel bedoeld voor AI, maar is wel afgeleid van de GPUs, kennelijk

[Ijsklont]

GB200 staat voor het individuele server design, maar het rack design (de oplossing word ook alleen als volledig rack verkocht), staat onder de noemer van NVL36 (welke eigenlijk nooit het daglicht zal zien), NVL36*2 en NVL72.

NVL36 had nog een luchtkoeling design, maar NVL72 (welk het meest populaire is) word alleen met liquidcooling gedaan.

Sidenote: Als we praten over DGX, dan is het specifiek de server die ook specifiek van NVIDIA zelf is, de hardware configuratie van deze staat ook vast en wordt inclusief software van NVIDIA geleverd. HGX is in principe het zelfde als DGX, maar dan van partner vendoren (Zoals Supermicro, Dell,, etc.....). Voordeel van HGX is wel dat deze kwa hardware configuratie flexibel kan zijn (Zowel Intel als AMD CPU toegestaan bijvoorbeeld) en zonder verplichte software van NVIDIA geleverd komt.

[ro8in]

Er zijn genoeg server toepassingen waar GPU's nodig zijn, game streaming diensten om er maar een te noemen..

[Reactie gewijzigd door ro8in op 18 november 2024 09:44]

[hooibergje]

Omdat het heel veel coretjes heeft met zeer beperkte instructieset, oorspronkelijk bedoeld voor grafisch rekenwerk.

Tegenwoordig is er ook de de term GPGPU: General-Purpose Graphics Processing Unit voor.

[Arny III]

Lijkt dat Nvidia daar zelf ook zo over dacht bij het uitbrengen. Maar de Geforce variant lijkt ook al te komen.

[C.Hariri]

omdat je er nog crysis op kan gamen

[GarBaGe]

Maar... je kan er geen monitor op aansluiten.
Gamen wordt wel moeilijk als je het beeld niet kan zien.,,

[Martin.Air]

Graphics Processing Unit, enkel een eenheid die gespecialiseerd is in het verwerken van grafische data.

Dus niet expliciet om er een monitor op aan te sluiten. Als dit enkel geschikt is voor AI, dan zou ik echter een NPU verwachten. Dit is namelijk een Neural Processing Unit, en dus gericht op het verwerken van data zoals een brein dat doet.

For your reading pleasure:
Wikipedia: AI accelerator
https://www.ibm.com/think...kloads%20in%20real%2Dtime.

[jdh009]

Als dit enkel geschikt is voor AI, dan zou ik echter een NPU verwachten

Dat is veel te kort door de bocht:

Blackwell is an architecture designed for both data-center compute applications and for gaming and workstation applications with dedicated dies for each purpose.

[...]
The Blackwell architecture introduces fifth-generation Tensor Cores for AI compute and performing floating-point calculations. In the data center, Blackwell adds support for FP4 and FP6 data types.[23]

Bron: Wikipedia: Blackwell (microarchitecture)

Dit is een veelvoorkomende misvatting, maar een NPU is voornamelijk geoptimaliseerd voor inference-taken, het uitvoeren van voorspellingen met een getraind model, waarbij het om eenvoudige, voorspelbare berekeningen gaat. En richten zich op energie-efficiëntie en lagere precisie, zoals INT8 of FP16, en zijn meestal niet geschikt voor AI-training of andere zware taken die hoge precisie en flexibiliteit vereisen.

Als je dan toch iets zou nemen naast de standaard GPU dan is dat eerder de TPU. Gezien die specifiek zijn ontworpen voor zowel AI-training als inference en vullen het niche stukje in tussen GPU’s en NPU’s daar die zijn een stuk minder flexibel. Tevens heeft deze Blackwell GPU Tensor Cores aan boord.

Compared to a graphics processing unit, TPUs are designed for a high volume of low precision computation (e.g. as little as 8-bit precision)[3] with more input/output operations per joule, without hardware for rasterisation/texture mapping.[4]

De kern van AI-training ligt in lineaire algebra, met name matrixvermenigvuldiging en convoluties. Deze operaties zijn intensief in het gebruik van FP-berekeningen. Een GPU, deze Blackwell, is specifiek ontworpen om hieraan te voldoen. Met ondersteuning voor zowel FP32, FP16, FP4 en FP6 is het in staat om een breed scala van deze taken efficiënt te verwerken. Iets wat een NPU (nu) niet kan en ook niet voor bedoeld is. Hoewel GPU’s zoals de Nvidia Blackwell prima prestaties leveren, verbruiken ze wel een flinke bak energie, wat duidelijk wordt met een TDP van 700-1000W.

[Reactie gewijzigd door jdh009 op 18 november 2024 16:02]

[Renegade666]

Je zou het nog een General Purpose Unit kunnen nomen tegenwoordig

[Chatslet]

Dat kan zeer zeker wel. Stop zo'n ding maar eens in een systeem met intel/amd onboard graphics. Hybrid graphics mode aanzetten en hij stuurt zijn beeld gewoon door de aansluiting op je mobo.

[Die_ene_gast]

NVidia, the way it was meant to be grilled.

Maar je zou toch verwachten dat ze heel nauw betrokken zijn en werken met hun klanten?

[SuperDre]

Het gaat hier volgensmij nog steeds om een test-/prototype cycle die uitgevoerd wordt met de betreffende klanten, nog niet om kant en klare productie racks. Dus tja, vind dat het nu dan te sensationeel gebracht wordt, want velen die niet zo op de hoogte zijn zullen gewoon denken dat het om volwaardige productie exemplaren gaat.

[uiltje]

Makkelijk op te lossen met twee 19" Noctua fans aan de achterkant van de racks...

[Sandor_Clegane]

More like Blackout.

[Wim Cossement]

Eindelijk een nuttige toepassing van AI: verwarming...

[sebastienbo]

Er gaat nog veel verwarming bijkomen hoor.

Want nvidia heeft met haar blackwell archtectuur en aankomende geforce 5000 reeks helemaal niet geinoveerd, het is nog steed de 5nm productie procedé maar dan met veel meer cores en electriciteit.
Hadden ze naar een kleienre procedé gegaan zoals 3nm dan was die hitte probleem en power hungry er helemaal niet geweesd.

Persoonlijk ga ik ver weg blijven van die Gefore 5000 reeksen, dat kan niet goed zijn zoveel warmte en elektriciteit in je pc steken, het was met de 4000 reeks al randje boortje. Het enige dat ze goed gedana hebben is meer vram. Maar met die warmpteproductie van de cores is zelf dat niet aantrekkelijk.

Ik ben benieuwd waar AMD mee gaat afkomen, nu dat Nvidia niet meer innoveert.

Voor laptop gebruikers komt er ook een grote verandering aan met intel lunarlake dat een sterke gpu en npu aan boort zal hebben en dat aan lage hitte en weinig verbruik. Samen 100Tops AI vermogen (its wat zelf de geforce 4090 momenteel niet aankan)

[Wim Cossement]

Ik ben al lang geen expert op GPU gebied meer, maar sinds 15 jaar zit ik in kamp rood want AMD had telkens de beste prijs kwaliteit voor mijn noden, al is mijn huidige RX 580 ook al op leeftijd.
En nu ga ik voor mijn volgende koop exclusief CPU en GPU bij AMD aanschaffen, omdat Intel er een al jaren boeltje van aan het maken is en 2% extra in ruil voor 20% prijs en energieverbruik mij worst zullen wezen.
Maar NVIDIA is net als Apple al meer dan 5 jaar hun gamers-segment aan het uitmelken en sinds gans de AI-bubble kan dat klein marktsegment ze ook precies gestolen worden.
Zeker nu ze terug quasi waardeloze instapmodellen op de markt gooien met te weinig VRAM en of een te trage bus in functie van de GPU. Ik kan niet wachten tot die op hun bek gaan, net als Intel verdient hun arrogantie en minachting voor hun particuliere klanten een straf.

[sebastienbo]

Ik was ook verschoten te zien dat ze graphishe kaarten introduceren met zo weinig vram, wetende dat de kaarten op de markt komen in 2025, het jaar van ai, waar vram belangrijker is dan de cuda cores of de frequentie daarvan.

Ik verwachtte de eerste kaarten te zien met 64gb vram voor llm modellen te draaien op consumers pc's