'Microsoft bestelt in Q4 tot vier keer zoveel Nvidia GB200-racks bij'

Microsoft zal in het vierde kwartaal van 2024 ongeveer 1500 bestellingen voor Nvidia GB200-racks plaatsen. Het bedrijf heeft volgens Ming-Chi Kuo drie- tot viermaal zoveel geplaatst als voorheen en wordt tijdelijk de grootste afnemer van de Blackwell-gpu.

Het Amerikaanse techbedrijf zal tijdens het vierde kwartaal van dit jaar ongeveer 1500 racks met Nvidia GB200-gpu’s bestellen. De bestelling zou volgens Ming-Chi Kuo voor zeventig procent uit het Nvidia GB200 NVL72-type bestaan. Deze configuratie bevat 72 GB200-gpu’s. Microsoft had voor het vierde kwartaal van 2024 al een bestelling geplaatst. Die bestelling omvatte 300 tot 500 racks met een GB200 NVL36-configuratie. Deze racks werden naar verluidt voor testdoeleinden gebruikt.

Microsoft zou de racks willen installeren in datacenters waar de omgevingstemperaturen relatief laag zijn. Dit moet mogelijke gevolgen beperken wanneer de koelingssystemen niet op tijd geoptimaliseerd raken. Kuo vermeldt steden zoals Washington D.C., Québec en Helsinki.

De analist zegt ook dat de vraag naar GB200-AI-gpu’s van Microsoft momenteel vele malen hoger is dan de vraag van concurrenten naar hetzelfde product. Amazon zou tijdens het vierde kwartaal van 2024 ongeveer 400 racks hebben besteld en Meta zou ook aanzienlijk kleinere bestellingen hebben geplaatst. Dat laatste komt volgens Kuo omdat Meta een andere technologische route volgt. De analist schrijft dat de productie van de Blackwell-gpu tijdens het vierde kwartaal van 2024 zal toenemen tot 150.000 en 200.000 eenheden. Tijdens het eerste kwartaal van 2025 moeten er tussen de 500.000 en 550.000 GB200-gpu’s kunnen worden geleverd.

Nvidia heeft in het voorjaar van 2024 de op AI-gerichte B200 en de gecombineerde GB200 'superchip' aangekondigd. De B200-chip telt 208 miljard transistors en bestaat uit twee gpu-chiplets (B100) die verbonden zijn met wat Nvidia zijn High Bandwidth Interface (NV-HBI) noemt. Op de Grace Blackwell 200 (GB200) combineert Nvidia twee B200’s met een Grace-cpu tot wat de fabrikant zelf een ‘superchip’ noemt. De op Arm gebaseerde Grace-cpu op de GB200 telt 72 cores en het geheel krijgt een maximum tdp van 2700W. De GB200 Superchips kunnen in grotere aantallen gecombineerd worden om de rekenkracht voor AI-gerelateerde toepassingen te vergroten en te versnellen.

Nvidia GB200 NVL72. - Bron: Nvidia

Reacties (94)

[scsirob]

200.000 chips met een TDP van 2700W elk.
Nu snap ik die aankoop van Three Mile Island ook.

[Robbierut4]

En wij allemaal overstappen op energiezuinige apparaten om de planeet te redden.

[wiseger]

De grote data centers kopen vaak groene stroom in. Zo koopt Microsoft in Nederland de stroom van de offshore Eneco windparken Borssele III/IV.

Wat het een beetje wrang maakt is dat die parken met een dikke subsidie van de Nederlandse overheid aangelegd zijn zodat wij zouden vergroenen en dan koopt een Amerikaans bedrijf die stroom op om zo haar nieuwe AI diensten van groene stroom te kunnen voorzien.

[FalconerHG]

Ik hoor dit argument heel vaak, ook in connectie met Bitcoin, en het maakt me altijd een beetje boos.

Er is geen groene stroom 'over'. Alle groene troom zou naar belangrijke dingen moeten gaan. Ze kopen geen groene stroom in, ze kopen groene stroom -weg- van andere toepassingen.

Voor normale toepassingen is dat prima. We willen allemaal internet, streaming etc ect. Maar AI en Crypto moeten gewoon uit tot we groene energie 'over' hebben.

[FaberOne]

Overdag in de zomer is er dusdanig veel stroom over dat we het bijna letterlijk moeten affakkelen.

Dat gezegd hebbende vind ik het bijzonder dat streaming diensten zoals Netflix onder een normale toepassingen valt, terwijl bijv. Medische AI levens kan redden, dan maar even "uit" moet?

Het is allemaal veel genuanceerder dan simpel alles een label geven. Ook crypto vervult in sommige Afrikaanse landen zijn rol als bank. Ik zal de Rabobank ook niet vragen zijn server park uit te zetten als de zon even niet schijnt.

Puntje bij paaltje is er gewoon meer groene elektriciteit nodig, en bij voorkeur maken wij hier efficiënter gebruik van als consumenten en bedrijven. Daar kan een dynamisch tarief aan bijdragen. Ook die Bitcoin miner of data centrum denkt wellicht wel 2x na wanneer de stroomkosten de pan uit rijzen

[Reactie gewijzigd door FaberOne op 21 oktober 2024 14:19]

[FalconerHG]

Ik sta in dagelijks contact met vluchtelingen uit Zuid Amerika. Crypto heeft daar ook absoluut een rol. Maar dan kan met proof-of-stake crypto prima. En dat verbuikt veel minder energie dan Bitcoin.

Het gaat nog tientallen jaren duren voordat we ook maar in de buurt komen van klimaat neutrale energie. In Nederland, waar we het geld hebben om de transitie te bekostingen, hebben we 50% van de electriciteit nu groen. Dat klinkt heel wat, maar dat is ongeveer 15% van het totale energie verbruik. We zijn sinds 1996 bezig. Het versnelt, maar ons energie verbruik groeit ongeveer net zo hard als dat we groene energie bijbouwen.

AI en Bitcoin vragen enorme hoeveelheden energie. In 2022 was het totale stroomverbruik van datacenters 2% in de VS. Door AI is de verwachting dat dat 16% zal zijn in 2026.

Ik weet niet hoe jij naar die data kijkt, maar ik schrok me het lamlazus. VOORAL omdat we als wereld nog geen enkele reductie hebben bereikt, en de planeet wel verder opwarmt.

Dus ja, ik heb hier een nogal harde mening over. Het moet allemaal uit. De groene stroom die Bitcoin en AI gebruiken moet naar reguliere toepassingen. Het kan allemaal weer aan als we de planeet hebben gered. Als dat uberhaupt nog kan.

[Ruuuuuubje]

Zal ik dan even voor FalconerHG nuanceren (ja aanname)?

Maar AI en Crypto (op dit paar procent na die nutteloos is) moeten gewoon uit tot we groene energie 'over' hebben.

[kodak]

Hoeveel van deze extra ingekochte apparatuur voor AI gaat nu werkelijk naar nuttigere toepassingen dan bestaand verbruik? Het punt is niet dat er meer groene stroom nodig is maar dat dit soort toename in verbruik niet zomaar meer of gelijkwaardig nut hebben bij het bestaande verbruik. Eerder juist minder, aangezien Microsoft nergens aantoonbaar maakt dat hun verbruik hoe dan ook maar gebruikt gaat worden. Ze zijn vooral bezig met verbruiken omdat het kan.

[jerisson]

Dat gezegd hebbende vind ik het bijzonder dat streaming diensten zoals Netflix onder een normale toepassingen valt, terwijl bijv. Medische AI levens kan redden, dan maar even "uit" moet?

Het lijkt me dat FalconerHG het vooral over generatieve AI heeft vermits het artikel gaat over Microsoft. Die staan immers bekend voor het op grote schaal aanbieden van generatieve AI aan consumenten en niet zozeer voor hun ontwikkelingen en innovaties binnen AI voor medische toepassingen. Daar zullen wel een paar researchers binnen MS mee bezig zijn, maar in het algemeen valt het geld en de energie (zowel elektriciteit als effort) dat daar in gestoken wordt in het niets ten opzichte van de huidige generatieve hype.

Ik zou persoonlijk veel liever zien dat alle energie, processingpower, en tijd die nu in ChatGPT gaan gestoken werden in medische AI: daar zou tenminste iets nuttigs uitkomen dat zowel mij, mijn familie en mensen over de hele wereld zou kunnen verderhelpen.

Nee, nu steken we energie in een chatbot waarbij de meeste vragen iets zijn als "hoe doe ik X/Y?" Vervolgens geneert dat ding een heel antwoord, dat je gewoon als eerste hit op Google had kunnen vinden.

Tegenwoordig is het nog dwazer: een researcher die vraagt "ik heb hier een afbeelding. Kan je operatie XYZ erop toepassen?" De bot vreet energie om code te bedenken en gaat deze vervolgens uitvoeren. "En kan je dat ook met deze afbeelding?" Bot voert hopelijk opnieuw dezelfde code na eerst energie te verslinden om die query af te handelen. Of hij genereert weer nieuwe, afwijkende, code.

Diezelfde "researcher" had zijn eenvoudig kunnen herschrijven en in Google ingeven, en de eerste hit was een tutorial geweest inclusief volledige Python code die hij had kunnen gebruiken, uitvoeren, en waarbij het resultaat gegarandeerd op dezelfde manier berekend werd.

Ja, dat is energieverspilling en die energie was beter op een andere manier gebruikt.

[-Colossalman-]

wij willen als ziekenhuis ook AI gaan gebruiken waarbij personeel(pilot) een vraag kan stellen die onze helpdesk niet hoeft te beantwoorden of zelfs een ticket voor hoeft aan te maken. Zelfde geldt eigenlijk voor onze standby dienst. We hebben veel instructies die lastig te vinden zijn maar als een AI dit kan oplossen dan scheelt dat toch weer. dit is ook nog maar een pilot. wat er allemaal mogelijk is met AI(LLM) moeten we nog ontdekken.

[Coolstart]

Ik hoor dit argument heel vaak, ook in connectie met Bitcoin, en het maakt me altijd een beetje boos.
AI en Crypto moeten gewoon uit tot we groene energie 'over' hebben.

Uw argument makt me ook boos. Is dat niet gewoon wishfull thinking om de onwikkelingen rond AI en Bitcoin te kunnen stoppen? I dat niet iets dat in uw hoofd zit? In iemand anders zijn hoofd zit dat we vliegtuigreizen moeten stoppen of remmen tot het absolute noodzakelijke. Het is maar waar je in geloofd en normaal acht.

Voor normale toepassingen is dat prima. We willen allemaal internet, streaming etc ect.

Wat is 'normaal' ? Mss moet pornowebsites uit het aanbod van het internet want daar gaat enorm veel groene energie naartoe. Wat dat is niet 'normaal'.

Ik hoop dat je inziet dat je dingen heel persoonlijk zijn op basis van uw geloof hoe we energie moeten inzetten voor vertier of werk.

Ik las laatst een stuk dat AI er net ging voor zorgen dat we net VOL gaan inzetten op groene energie omdat bedrijven voor hun omzet niet afhankelijk willen zijn gas & olielanden. Ook dat is een perfect plausibele denkpiste en dan heb je AI en bitcoin tegengehouden met meesterlijke krachten om dat decenia later met meer CO2 uitstoot te zitten.

Er is geen groene stroom 'over'. Alle groene troom zou naar belangrijke dingen moeten gaan.

Again, wat jij uw context belangrijk vindt.

[FalconerHG]

Je werkt bij Shell? BP? Bij de bank? Een andere organisatie die niet gelooft in klimaat verandering?

Ja, inderdaad, vliegen zou direct moeten stoppen. Alle onnodige 'hobbies' moeten direct stoppen. Rood vlees ook.

Mijn reactie op een andere commenter ook even aan jou:

"Het gaat nog tientallen jaren duren voordat we ook maar in de buurt komen van klimaat neutrale energie. In Nederland, waar we het geld hebben om de transitie te bekostingen, hebben we 50% van de electriciteit nu groen. Dat klinkt heel wat, maar dat is ongeveer 15% van het totale energie verbruik. We zijn sinds 1996 bezig. Het versnelt, maar ons energie verbruik groeit ongeveer net zo hard als dat we groene energie bijbouwen.

AI en Bitcoin vragen enorme hoeveelheden energie. In 2022 was het totale stroomverbruik van datacenters 2% in de VS. Door AI is de verwachting dat dat 16% zal zijn in 2026.

Ik weet niet hoe jij naar die data kijkt, maar ik schrok me het lamlazus. VOORAL omdat we als wereld nog geen enkele reductie hebben bereikt, en de planeet wel verder opwarmt.

Dus ja, ik heb hier een nogal harde mening over. Het moet allemaal uit. De groene stroom die Bitcoin en AI gebruiken moet naar reguliere toepassingen. Het kan allemaal weer aan als we de planeet hebben gered. Als dat uberhaupt nog kan."

[Coolstart]

Ja, inderdaad, vliegen zou direct moeten stoppen. Alle onnodige 'hobbies' moeten direct stoppen. Rood vlees ook.

Dat is idd wat ik bedoel, dan ga je ook die dingen moeten afschaffen en dat zal niet gebeuren want daar is geen democratisch draagvlak voor. Want ja, wat is een onnodige hobby? Gamen? En wat bereik je ermee?

Je kan beter beetje bij beetje de economie groener maken, daar zijn zeer grote investeringen voor nodig. Als de economie struikelt gebeurt er op dat vlak juist niets. Ondertussen wil je natuurlijk nog de gezondheidszorg betalen en pensioenen.

Men wil ook nog co2 arme kerncentrales afschakelen. Zelfs overschakelen op gas in de tussentijd.

Ik geloof zoals veel mensen in de impact van ons leven op het klimaat. Ja het is bang afwachten hoe de aarde zal reageren. Maar ik besef wel dat alles radicaal op 1 dag veranderen met alle aardbewoners niet kan.

Je wil wel op een punt komen dat duurzame energie goedkoper wordt dan fossiele brandstoffen zodat opkomende economieën zich duurzaam kunnen ontwikkelen. Met nieuwe batterijtechnologie, goedkope zonnepanelen, grote windmolens, veilige kernenergie. Daar moet de focus op liggen.

Door nu bijv. alle vliegverkeer lam te leggen organiseer je bespaar je 2% co2 uitstoot. Dat klopt. Maar door radicaal te zijn introduceer je weer nieuwe problemen die de 2050 doelstellingen in de weg staan. Dan gaan weer andere radicale krachten spelen.

Door radicaal te zijn los je niets op. Je moet pragmatisch en realistisch zijn.

[Highlands]

Hoewel ik ook graag denk in oplossingen is jouw toon en woordgebruik PRECIES de reden waarom een gemiddelde Nederlander afhaakt. Gelijk een prediker hel en verdoemenis prediken. Niet inspireren maar verbieden. Framen.

Kortom dankzij dit soort polariserende betogen hoe bedoeld dan ook, lukt het niet. Jammer.

[FalconerHG]

Dat begrijp ik. Ik was ook niet altijd zo. Maar je ziet dat we geen tijd meer hebben voor de zachte aanpak. Een grote groep wetenschappers zegt dat er nog tot 2030 hebben om een significante stap te maken die een collapse voorkomt. Doen we dat niet, dan is die hel en verdoemenis een zekerheid.

Die stap gaan we duidelijk -niet- maken. Men stopt de kop in het zand en vliegt net zo vaak als voorheen, eet net zo veel vlees, verbruikt nog meer energie etc etc.

De wetenschap heeft het sinds 1996 netjes gevraagd, en het resultaat is letterlijk 0 reductie in uitstoot en gedrag.

Dus het maakt blijkbaar geen moer uit hoe we ons uiten. En in dat geval uit ik liever mijn frustratie dan mensen heel lief te vragen of ze alsjeblieft willen helpen de planeet te redden.

[Highlands]

Mja ik geloof in techniek dus ik zie het niet zo dramatisch als jij.

Maar los daarvan, jouw manier/ frustratie helpt niet. Kijk maar naar XR, mensen gaan alleen maar meer op de rem.

Kortom dwang werkt nooit

[FalconerHG]

Quote uit een recente documentaire "Climate change optimism is a form of climate change denialism". En zo is het helaas precies.

We weten sinds de 60er jaren dat het fout gaat. Sinds 1996 ondernemen we actie. Het is nu bijna 30 jaar later, we zijn technologisch verder dan ooit en we hebben niets bereikt, er is geen draagvlak voor echte veranderingen, en er is geen enkele technologie die op korte termijn effectieve en schaalbare oplossingen biedt. Zolang we nog carbon capture plants bouwen van 4 miljard, die de uitstoot van 400.000 autos teniet doet, in een staat (Texas) met 22 miljoen autos (en autos slechts een beperkt deel van het probleem zijn), is volledig duidelijk dat we niet op het goede pad zitten.

Dwang is nog de enige methode, maar daar is geen draagvlak voor. Dus een andere recente quote van een D66 senator: "We rennen, high speed, met open ogen op de muur af en doen niets".

Er is vergaand mandaat nodig in de wereld, maar die gaat er niet komen. Ik ben het met heel veel van de XR methoden niet eens, maar ik begrijp de pure paniek van die (voornamelijk) kids die zien dat de wereld waar zij in zullen moeten leven er echt heel veel slechter uit zal zien dan de wereld van nu.

Als iedereen stil zou staan bij DIE paniek, en bij de frustratie van mensen zoals ik, misschien dat ze dan zouden begrijpen dat het menens is.

[Highlands]

Zelfs al zou ik jouw zorg delen, en je kunt met allerlei bronnen aankomen waarvan ik niet echt onder de indruk raak en D66 al helemaal niet, dan nog gaat dwang niet werken. Jij wil een soort dictatuur of facistische aanpak voorstellen, zo werkt de mensheid niet.

Als je werkelijk iets wil veranderen, dan zul je mensen moeten meenemen en niet de mes op de keel zetten.

Het aantal doden per jaar aan roken en obesitas is 10 keer meer dan er dood zullen gaan aan klimaatverandering. En mensen hebben dat nota bene zelf in de hand. En toch doet het overgrote deel er niets aan. Denk daar maar eens over na.

[Ast1on]

Willen we dan ook meteen alle huisdieren verbieden? Dat zou een impact hebben op het klimaat...

Zo zijn er ontelbare voorbeelden waar er geen draagvlak voor is.
Gewoon innovatief en efficiëntie nastreven.

[Yordi-]

Je hebt natuurlijk een punt, maar de crux zit in "normale toepassing". Wat is eigenlijk een normale toepassing? Zijn EV's een normale toepassing? Of dan verder, is het "normaal" dat een werkgever een werknemer 5 dagen per week op kantoor eist? Is een hybride warmtepomp, een soort pleister op een open wond, een normale toepassing?

Enfin... een neverending loop van gebruik, verbruik en misbruik van beschikbare energie dat meer behelst dan enkel de toepassing AI.

[geishin]

Wat het een beetje wrang maakt is dat die parken met een dikke subsidie van de Nederlandse overheid aangelegd zijn zodat wij zouden vergroenen en dan koopt een Amerikaans bedrijf die stroom op om zo haar nieuwe AI diensten van groene stroom te kunnen voorzien.

Wat is hier wrang aan? Klimaat is mondiaal probleem dus als MS bij ons uitkomt om groen opgewekte stroom te gebruiken ipv op kolengestookte stroom uit Duitsland of China is dat toch goed?

Ja de energievraag neemt door dit soort datacenters toe, maar dat is simpelweg een gegeven. Totdat ook deze AI golf (eventueel) stagneert.

[Reactie gewijzigd door geishin op 21 oktober 2024 11:03]

[Baserk]

Het wrange is dat de Nederlandse burger wordt geacht hard te vergroenen.
Wat echter vnl. is/wordt vergroend is het data-gebruik in Afrika en het Midden-Oosten.
Met NL subsidies voor buitenlandse energiemaatschappijen en tech bedrijven, binnen extreem gunstige belastingparadijs tarieven.

Daarmee blijft het bordje 'vergroening' voor de burger leeg/deze stoot nog steeds onverantwoordelijke hoeveelheden CO2 uit, en meent diezelfde overheid de burger te kunnen verwijten, echt niet genoeg te doen aan vergroening en deze dus wel elk jaar ietsje meer zal moeten bijdragen.

Want we hebben allereerst even, als willekeurige prio het data-verbruik voor Afrika en het Midden-Oosten vergroend.

[Reactie gewijzigd door Baserk op 21 oktober 2024 12:01]

[Lothlórien]

Het vergroenen van de burger gebeurd dus ook. Sterker nog..... groene stroom gaat via certificaten die niet persé aangeven waarvandaan "Jouw" groene stroom komt. Als jij groene stroom afneemt bij buurman C ben je net zo goed bezig als wanneer je in de veronderstelling bent dat jouw stroom bij windpark A in de Noordzee vandaan komt omdat jij daar aan bijgedragen hebt. Mocht Microsoft het windpark voor een appel en een ei hebben gekregen omdat deze al door het Nederlandse Volk was betaald, dan zou je inderdaad een punt hebben..

[dasiro]

Wat is hier wrang aan?

burger betaalt belasting/subsidie, buitenlands bedrijf gaat met de winst/groene energie lopen, burger heeft nog altijd geen groene energie.

[Gh0s7y]

Ik vind het wel erg makkelijk gezegd dat het simpelweg een gegeven is. Dat hoef dus helemaal niet zo te zijn! Waarom zouden we dit willen? Om voor een "golf" zo veel infrastructuur te bouwen en stroom te gebruiken. Ik weet dat het weinig effect heeft maar we kunnen ook proberen om "nee" te zeggen.

[CH4OS]

Oh ja, dat is deze: YouTube: Nederland als harde schijf | Zondag met Lubach (S12)

Groene stroom die voor huizen bedoelt was, wordt weggekaapt, omdat Microsoft in Nederland een datacenter wilt gebruiken voor data van haar... Afrikaanse klanten.

[bush]

Is dat nog wel zo? Want ondertussen zijn er ook datacenters geopend in Afrika en in Saudi Arabia https://datacenters.microsoft.com/globe/explore

[Qws]

Zolang er gebruikt gemaakt wordt van (onze) groenestroom, daar draait het toch om?

Wie het gebruikt maakt verder weinig uit toch?

De primaire bedoeling van groenestroom is om de wereld leefbaar te houden, en niet enkel Nederland.

[CH4OS]

Wel als je eerst een nieuwbouwproject groots aankondigt dat die volledig gebruik zouden maken van de groene stroom en uiteindelijk de uitbater van de beloofde stroom de stroom doorverkoopt aan een bedrijf om een datacenter van stroom te voorzien.

[Yzord]

Sorry? Wat het uitmaakt? Nou, dat wij zonnepaneeleigenaren er ook nog eens voor moeten betalen voor onze groene stroom die wij ook leveren. En wat het uitmaakt? Nou, tig huizen en bedrijven staan op de wachtlijst voor een stroomaansluiting omdat het netwerk overbelast is. Wat het uitmaakt? Dat stroom veel duurder gaat worden in de toekomst omdat er nog meer verbruikt gaat worden terwijl het netwerk het niet aankan.

En dan komt zo'n Microsoft even langs om wat datacenters te plaatsen die juist stroom gebruikt die eigenlijk voor de mensen rondom deze centre bedoelt was zodat ze geen last zouden hebben van een stroomtekort. En dan ook nog apparatuur gebruiken met een TDP waar je bang van wordt.

Maar ik zie XR daar niet vastgeplakt aan de grond demonstreren. Die zie ik alleen op plaatsen waar mensen komen die best wat aan het millieu willen doen, maar het gewoonweg niet meer kunnen betalen. Waarom gaan ze die multinationals niet lastig vallen? Die massaal stroom verbruiken met hun brievenbusbedrijf waardoor ze ook nog eens veel minder belasting hoeven te betalen.

Dus wat het uitmaakt? Enorm veel als ze weg zouden gaan voor onze economie en leefbaarheid.

[checkboxone]

Hilarisch

[TomPé]

En de gemeente waar in dit gebeurd voldoet vervolgens aan percentage groene stroom... op papier...
Kijk ons eens veel vergroenen...

[Dazzyreil]

Groene stroom is nog steeds vele malen vervuilender dan geen stroom.
Zelf klaag ik overigens niet omdat ik zelf vaak AI gebruikt en daarmee meedraag aan dit probleem.

[Hurtebise]

En krijgen ze dan ook nog fiscaal voordeeltarief omdat ze zich hier vestigen?

[Dennism]

Een TDP zegt niet zoveel over het werkelijke verbruik in een bepaalde workload en al helemaal niet over de efficiëntie ten opzichte van andere apparaten in dezelfde workload. Iets kan best veel verbruiken, en toch flink efficiënter zijn dan de generatie die het vervangt. Terwijl je ook zaken hebt die misschien weinig verbruiken, maar juist heel inefficient zijn vergeleken met andere oplossingen.

Ik heb hier bijvoorbeeld op de locatie waar ik nu ben ook meerdere servers staan met CPU TDP's van 500W per socket en dus ruim 1000W+ watt voor alle componenten in die servers, maar met de workload die ze nu draaien zitten ze qua verbruik op +-- de helft van het TDP van de server. Nu zal dat voor AI applicaties mogelijk anders zijn en vermoed ik dat de machines ingericht zijn op een hoger percentage gebruik, dat in het vSphere cluster waar ik nu op werk. Maar zelfs dan dan zou ik geen 100% occupancy verwachten en dus ook geen 100% maximaal verbruik 24/7.

[Reactie gewijzigd door Dennism op 21 oktober 2024 11:07]

[geert1]

Het gaat zeker om de verhouding van energiegebruik en gedaan werk, niet het energiegebruik op zich.

Toch is het de vraag of Microsoft en OpenAI genoeg nuttig werk gedaan krijgen uit deze enorme inzet van energie, grond, water en hardware. Als dat puur gebruikt wordt voor LLM's die teksten en afbeeldingen genereren met de nodige fouten en problemen, dan is de uiteindelijke "echte wereld efficiëntie" misschien veel lager dan wanneer hetzelfde grondstofgebruik zou worden ingezet voor meer traditionele zaken. Zoals zoekopdrachten, verwerking van banktransacties, het draaien van webwinkels enzovoort. Bij die zaken is de hoeveelheid rekenwerk en energie per "nuttige uitkomst" enorm veel beter, over het algemeen. En daarvoor zouden veel minder nieuwe datacentra nodig zijn, en minder gespecialiseerde hardware. Waarschijnlijk kunnen er duizenden banktransacties verwerkt worden voor elk antwoord uit een LLM, als het niet nog veel meer is.

Als die andere inzet veel meer nut heeft in de echte wereld voor dezelfde energie en hardware, dan kan er alsnog een probleem zijn met investeringen zoals deze richting AI. Maar hoe meer we echt sterke AI-tools gaan zien, die meer echte waarde creëren, hoe meer deze mega-uitbreidingen te rechtvaardigen zijn.

Het hangt af van hoe het verder zal gaan de komende jaren met AI: worden het vooral mooie gimmicks voor meer durfkapitaal, en mensen die chatten met nepkarakters en deepfakes maken, of gaan we robuuste oplossingen zien voor echte problemen?

[Reactie gewijzigd door geert1 op 21 oktober 2024 11:45]

[Magnum1982]

'Wij' zijn ook de consumers van die AI toepassingen.

[Llopigat]

Nouja ja maar het wordt ook wel erg opgedrongen. Elk software produkt is momenteel bezig met het invoeren van allerlei AI functies waar de gebruikers vaak niet eens om vragen. Maar het is meer FOMO van de bedrijven erachter. Bang dat ze de boot missen. Ik vind niet dat we de consument de schuld moeten geven voor de AI hype. Die komt puur vanuit de hijgerige investeerders.

Ik heb bijvoorbeeld copilot in ms office maar ik vind het helemaal niet zo nuttig. Ik gebruik het best weinig. Voor het samenvatten van wat emails is het wel handig maar in bijvoorbeeld Excel bakt het er niks van.

[Reactie gewijzigd door Llopigat op 21 oktober 2024 11:29]

[Timmmeeehhh]

Het is inderdaad een beetje vreemd dat er gedaan wordt alsof wij allemaal zuinig met elektriciteit om moeten gaan.

Gebruik van energie is in principe niks mis mee, zolang het uit schone bronnen komt en het grid het aan kan.

[Lothlórien]

Dat is dus het probleem de meeste schone energie wordt (nog) niet zo stabiel geproduceerd als fossiele energie. Daardoor blijf je voorlopig nog wel vervuiling houden, in ieder geval op de momenten waarop er minder groene stroom aanwezig is.

Voor de nabije toekomst voorzie ik dat het nog wel even belangrijk zal zijn om niet onnodig veel energie te verbruiken.

[Timmmeeehhh]

Helemaal gelijk. Maar het valt me gewoon op dat energieverbruik an sich vaak wordt geschilderd als iets slechts, wat niet zo is. Als het betekent dat er dan meer kolen gestookt gaan worden dan is het inderdaad wel problematisch.
In nederland hebben we regelmatig juist het probleem dat er op bepaalde momenten teveel opgewekt wordt (we hebben per inwoner de meeste zonnepanelen van de wereld geloof ik) en juist de druk op het grid momenteel een probleem is.
Dus het idee dat verbruik an sich slecht is zou wel iets minder kunnen i.m.o

[Lothlórien]

Kan ik mee leven. Maar extra verbruik leidt niet zelden tot een toename in sluipverbruik, en dat is dan weer ongewenst. Tenzij je dat sluipverbruik naar de productie momenten verplaatst d.m.v. een buffer.

Eigenlijk zou het verbruik dus beter afgestemd moeten worden op productie? Was dat ook niet het idee achter productie en gebruik van waterstof?

[Dazzyreil]

Het maken van die schone bronnen is ook gewoon zeer vervuilend.

[Timmmeeehhh]

Alles is vervuilend.
Als we door willen ontwikkelen als maatschappij zullen we nou eenmaal steeds meer energie verbruiken. De infrastructuur voor sustainable energy moet toch worden gebouwd, en hoe meer afname er daarvan is hoe goedkoper het wordt uiteindelijk.

[JeroenNietDoen]

Maar wij als consument zijn het probleem in de klimaatcrisis.

EDIT: veel reacties gekregen natuurlijk. Mijn post was wel sarcastisch. Ik ben mij er goed van bewust dat wij consumeren en daarmee bijdragen aan klimaat. Mijn punt is echter dat het krom voelt dat overheden verlangen van ons dat we verduurzamen op allerlei manieren maar dat je vervolgens dit soort nieuwsartikelen voorbij ziet komen. Dan vraag ik me af, waarom zou ik dan aanzienlijke kosten maken voor een EV, warmtepomp etc.

[Reactie gewijzigd door JeroenNietDoen op 21 oktober 2024 12:52]

[Robbaman]

Hoewel ik ook heus wel het hypocriete hierin zie is het natuurlijk wel zo dat er maar 1 Microsoft is en in totaal misschien 10 bedrijven die "AI-fabrieken" van dit formaat neerzetten, tegenover wereldwijd zo'n 8 miljard consumenten.

Om nog maar niet te spreken dat "het probleem" dat wij als consument zijn is dat wij ... consumeren. Als wij de AI-toepassingen niet zouden consumeren (of de bedrijfsactiviteiten die daar gebruik van maken), dan was het natuurlijk snel afgelopen met die grappenmakerij.

[MoQh]

Die 8 miljard is wel genomen met de idee dat iedereen leeft zoals in het Westen (!?).
Bij deze link zie je hoeveel Aarde's er nodig zouden zijn als we zouden leven zoals het land in voorbeeld.
https://overshoot.footpri...0lived%20like%20Americans.
Mochten we allemaal zoals de Indiërs leven hebben we aan kwart Aarde zelf genoeg.
Best benieuwd welk stadaard van leven dit zou zijn.

Je kan niet de gehele bevolking van de Aarde over één kam trekken en bij mijn inziens zijn het voornamelijk Westerse landen die pleiten dat de consument "het probleem" is in de klimaatcrisis.

Fijne dag

[iew]

Ach overal waar dit soort grote bedrijven in Nederland gebouwd worden kost dat ook bouwgrond waar geen huizen gebouwd worden.
Dit maakt ook dat er minder huizen gebouwd kunnen worden ivm CO2 regels.
Er hangt naar mijn idee wel meer aan vast dan alleen de energie kosten en belastingvoordelen, energie netwerk problemen etc etc voor en door die bedrijven.

[Robbaman]

Ik weet niet of dat nou echt een ding is. In de regel worden dit soort datacentra niet in een woonwijk gebouwd, maar op een terrein die een industrieel bestemmingsplan heeft. Voordat je daar een woonwijk neer had kunnen zetten ben je een heel stuk verder.

[Blokker_1999]

Stroom kost geld, veel geld. Voor bedrijven dus ook zeer belangrijk om net zeer efficient om te springen met het stroomverbruik.

En ja, wij zijn het probleem, want wij zijn de eindgebruiker waarvoor die dingen worden aangekocht.

Maar daarnaast investeren deze bedrijven ook enorm veel in het beperken van hun klimaatimpact. Daar zit ook de energieafname op TMI bij bijvoorbeeld. MS heeft een relatief constante belasting op het elektriciteitsnet, en dat is net ideaal voor iets als een kerncentrale die net gebouwd is voor een stabiele energieafgifte.

[Lothlórien]

Tja.... Bedrijven, grafisch ontwerpers, security analisten etc zullen natuurlijk veel gebruiken. Maar vlak de verantwoordelijkheid van de consument op dit vlak niet uit. Copilot en chatgpt zijn ook consumenten producten toch?

Edit... Was lichte sarcasme. Natuurlijk is de consument ook verantwoordelijk voor de grafische ontwerpen en gelikt deepfake animaties die je straks in een presentatie zult zien. Helaas kun je niet zeggen dat jij er als individu verantwoordelijk voor bent dus je kunt er ook niet veel tegen doen, vrees ik.

[Reactie gewijzigd door Lothlórien op 21 oktober 2024 11:30]

[Llopigat]

Copilot en chatgpt zijn ook consumenten producten toch?

Niet alleen. Er zijn sowieso al 30 produkten onder de copilot vlag. Heel veel daarvan zijn zakelijk gericht.

[PinusRigida]

Neen, maar consumenten zijn wel de grootste bevolkingsgroep...
...en lees dit nu ajb niet als "PinusRigida vindt dus dat bedrijven helemààl geen verantwoordelijkheid hebben en alléén consumenten met de vinger aangewezen moeten worden in context van zuiniger doen"...

...bovendien zou MS zulke investeringen niet doen ware het niet dat er blijkbaar genoeg vraag is naar hun diensten, door... consumenten...

[Reactie gewijzigd door PinusRigida op 21 oktober 2024 11:25]

[Exqua]

Laatste stukje ben ik het niet helemaal mee eens.

...bovendien zou MS zulke investeringen niet doen ware het niet dat er blijkbaar genoeg vraag is naar hun diensten, door... consumenten...

Mijn vermoeden is dat MS het Windows OS zo willen inrichten dat alle data “inhouse” geanalyseerd kan worden. Denk aan gerichte reclames omdat je precies weet waar de gebruiker naar kijkt. MS heeft in dit geval dan screenshots die weer gekoppeld zijn aan je unieke advertentie-id.

Dus op het moment dat MS je data verkoopt aan een reclame partij heeft het meer waarde als je gericht advertenties kunt weergeven voor die gebruiker. Overigens is MS hier natuurlijk niet uniek in.

Handige bijkomstigheid is dat MS ook AI kan trainen op die manier, dus 2 vliegen in 1 klap.

Ik herhaal het nog maar even voor de - drukkers… Het is mijn vermoeden en heb daarom ook geen bronnen.

[PinusRigida]

Oh je hebt wellicht gelijk: geld verdienen aan advertenties is wellicht één van de top priorities en als meer/betere persoonlijke data door AI = gerichte advertenties = meer geld opbrengen, zal je hoogst waarschijnlijk niet ver van de waarheid af zitten!

[User87231]

Wij als consument willen onze mobieltjes gebruiken en op Tweakers surfen. En veel van ons willen het laatste van het laatste proberen zoals Gen AI. Kortom de vraag is er dan heb je ook de technologie nodig.

[fuzzyIon]

Zonder consument geen bedrijven.

[Ablaze]

Dat is inderdaad zo. Consumenten brengen het geld binnen voor de bedrijven.
Het woord consument betekent letterlijk "afnemer".

[nestview]

200.000 chips met een TDP van 2700W elk.
Nu snap ik die aankoop van Three Mile Island ook.

Microsoft heeft Three Mile Island niet gekocht. De powerplant die daar staat is en blijft van Constellation Energy. Microsoft heeft een deal gesloten met Constellation Energy om de energie af te nemen die opgewekt gaat worden na het opstarten van reactor 1. Als dat veilig kan dan lijkt me dat een prima oplossing.

[Letters]

Vraag naar power is ongeveer 10x voor AI alleen komende jaren

[z1rconium]

Moet je nagaan wat er nu al staat te draaien:

Compared to NVIDIA H100 air-cooled infrastructure, GB200 delivers 25X more performance at the same power while reducing water consumption.

Bizarre specs;

GPU 576 TB/s geheugen bandbreedte.
CPU Up to 18.4 TB/s bandbreedte.

[bigkillerstorm]

Wat een kracht. Vraag mij af wat ze hier nou mee gaan doen. Sinds ik mij met machine learning en animatie herstellen upscalen bezig hou op een miezerige Intel arc 380 en 5600G processor zelfs dat gaat nog redelijk. Kun je met zoveel kracht letterlijk elke tekenfilm/animatie ooit gemaakt in een week tijd verbeteren van 480-720P naar 1080p-4k tillen en weer lekker efficiënt encoderen😝
Ik haal trouwens 500MB per uur nauwelijks kwaliteit verlies op 4k. Leuke na een ai upscale is dat je 100% zuivere vers van de pers afbeeldingen heb. Nog beter als Remux geen spikkeltje ruis of onzuiverheden. Deze afbeeldingen zijn gezamenlijk 200GB groot voor uur film in 4k. Die je voor het eerst gaat compressen dus helemaal wordt verkleind tot 500mb. VMAF rond 91%.

[Llopigat]

Er zijn ook veel geruchten dat het 'huwelijk' tussen OpenAI en Microsoft op losse schroeven staat: https://www.nytimes.com/2...nai-partnership-deal.html (of zonder paywall: https://archive.ph/Bas23 )

Dus wellicht is dit een manier om hun eigen AI opties (zoals phi3) als mogelijke vervanging in te zetten voor hun "copilot" diensten?

[Reactie gewijzigd door Llopigat op 21 oktober 2024 10:42]

[SeenD]

https://www.reuters.com/m...ound-wsj-says-2024-09-28/ Apple drops out of talks to join OpenAI investment round, WSJ reports

Apple wilde uiteindelijk niet investeren.
Ik denk dat de LLM bubble wel gaat barsten, de kosten zijn te veeeeeeel te hoog voor de gelimiteerde baten. Of de abo moet flink omhoog per maand. Dan wordt het zinniger om het thuis te draaien in de vorm van een opensource model ofzo.

[W32.il0veyou]

Er valt straks geen geld meer te verdienen aan de foundation models, maar wel aan cloud compute. Daarom investeert Microsoft veel in Azure Cloud.

[Sandor_Clegane]

Nog meer stroom en water..... net de gekkigheid van crypto gehad, nu dit weer.

We zijn ook helemaal gek geworden lijkt het wel.

[Ladiesman777]

Heeft dit nou effect op de aankomende 5090 launch ? Kwa beschikbaarheid.

[Llopigat]

Direct nee want het zijn andere chips.

Indirect wel want de fabrieken die die chips maken kunnen dan geen 5090 maken. Maar in hoeverre dit een probleem gaat zijn moeten we nog bezien. Dat hangt af van de keuzes van Nvidia en de prioriteiten die ze maken.

[keejoz]

Bizar dat de bestellingen zo laag liggen. Microsoft Meta en Amazon samen bestellen nog geen 1000 stuks terwijl Nvida er 2 miljoen per jaar wil maken? Wie koopt dit dan?

[Blokker_1999]

In 1 rack zitten 72 GPUs. MS koopt met 1500 racks dus 108 000 GPUs. En dat is enkel en alleen Microsoft, in 1 enkel kwartaal.

[erwinb]

even op het internet gezocht naar de prijs: Linkje
3M USD per stuk

[FalconerHG]

Gezien de enorme problemen met de kwaliteit van de outpot en de naar verwachting zeer kleine verbeteringen van wat 'AI' kan lijkt me dat dit een bizar slechte investering zal blijken.

[bantoo]

De reden waarom ze er meer rekenkracht tegenaan gooien is juist omdat LLMs vrij makkelijk schalen met meer rekenkracht. Zolang als investeerders denken dat dit ooit waardevolle producten op gaat leveren is er financiering. Het duurt nog wel een tijdje voor de rek van "gooi er meer datacenters tegenaan" er uit is.

[FalconerHG]

De reden waarom ze er meer rekenkracht tegenaan gooien is juist omdat LLMs vrij makkelijk schalen met meer rekenkracht. Zolang als investeerders denken dat dit ooit waardevolle producten op gaat leveren is er financiering. Het duurt nog wel een tijdje voor de rek van "gooi er meer datacenters tegenaan" er uit is.

Het schaalt echt veel minder goed dan je zou denken.
YouTube: Has Generative AI Already Peaked? - Computerphile

We stoppen er steeds meer data in, maar die data raakt vertroebelt met AI gegenereerde data. De huidige AI gegenereerde data heeft het heel erg vaak fout. Recent nog voor programmeren bleek dat meer dan 50% van de antwoorden fout was (zou redelijk makkelijk moeten zijn met AI want is exact).

AI kan niet zelf nadenken. De poel met goede kwaliteit data slinkt. We injecteren steeds meer rotzooi in de data (Reddit posts, Twitter etc)...

Je kan er meer data in stoppen, maar dat gaat het niet beter maken. Maar de effort (hardware, energie) die nodig is explodeert.

[Verwijderd]

De taalmodellen worden ook verkeerd gebruikt. Het spul moet zo getrained worden dat het voldoende materiaal heeft gezien om goede samenhangende zinnen te kunnen formuleren, ook per domein. Maar de daadwerkelijke kennis moet uit databases komen om zo het taalmodel te kunnen voeden zodat deze er een antwoord van kan maken.

Nu is het zo dat ze alles kennis van de wereld in een taalmodel proberen te proppen, en dit ook nog up-to-date proberen te houden.

[DdeM]

Recent nog voor programmeren bleek dat meer dan 50% van de antwoorden fout was (zou redelijk makkelijk moeten zijn met AI want is exact).

Code is juist niet exact, dat is het hele probleem. Zo op het oog lijkt het wellicht exact, maar aangezien er voor elk probleem snel 100 manieren van oplossen zijn, waarvan maar een aantal voor de huidige context correct zijn, zal AI er nog een lange tijd problemen mee hebben. Juist door de reden die je geeft, AI kan niet zelf nadenken, en begrijpt context niet.

Je ziet dat ook in elke video waarin iemand toont hoe goed AI wel niet is in programmeren. Zolang ze met iets super generieks bezig zijn gaat het redelijk, maar zodra ze proberen iets contextueels te doen gaat de AI snoeihard op z'n bek.

[BramVroy]

Als iemand die zelf in de AI-wereld werkt was ik lang overtuigd dat we in een bubble zitten. Zeker de martjeaarde van Nvidia leek me altijd enorm overgewaardeerd.

Maar dit dacht ik twee jaar geleden al en de bubbel is nog steeds niet gebarsten. BigTech blijft maar hardware kopen. Dus misschien was ik fout?

Ben benieuwd wat echte financiële analisten hiervan maken.

[MPIU8686]

Voor de affname van alle bestelde GPU's in het laatste kwartaal van 2024 en het eerste kwartaal van 2025 is dat bijna gelijk aan een verbruik van 2000Terawatt enkel en alleen voor die B200 en GB200 ..

Hoeveel kerncentrales heb je daar dan wel niet voor nodig ? ..

[Alfa1970]

Ik denk eerder dat ze één bestelling doen van 1500 stuks, in plaats van 1500 aparte bestellingen van 1 stuks, maar goed, zal wel aan mij liggen. Logica en zo..

[storchaveli]

Maar nu de hamvraag; kan dit Grand Theft Auto 6 draaien op 4K HDR met minimaal 120fps 😏

[storchaveli]

🤣👍