Mja dat artikel is wel een beetje met een korreltje zout te nemen hoor. Ja er is daadwerkelijk een crisis aan de gang op dat vlak, maar inhoudelijk is er best wel wat aan te merken over wat ze zeggen. Het is een vrij normatief stuk waar bepaalde retoriek wordt gebruikt om het zo te framen dat het lijkt om een hoardings acties, terwijl het eigenlijk gewoon gaat om
capacity reservation &
wafer supply commitment. Dergelijke reserveringen worden vaak ook gewoon bij de SEC ingediend en er zijn dan dus ook publieke voorbeelden van te vinden, zoals deze:
For calendar year 2022, GF will reserve for Customer the quantity of wafers of manufacturing capacity for [***] 55 BCDLite (“55BCDL”) 300mm wafers for Customer; as provided in subsection 2.8 below. For calendar year 2023, GF will reserve for Customer the quantity of wafers of manufacturing capacity set forth on the row labeled 2023 Reservation in Table 1 below; as provided in subsection 2.8 below, the Parties will engage in good faith discussions to determine the 2023 quarterly shipment spread of the 2023 reservation. The quarterly quantities of wafers agreed upon or otherwise set to be delivered for 2022 and 2023 will be referred to as “Quarterly Commitments” for calendar year 2022 and 2023. Upon Customer’s request, GF will make commercially reasonable efforts to provide capacity above the 2022 and 2023 Quarterly Commitments, including specifically an additional [***] in calendar year 2022.
Alle harde data is hier wel uitgehaald, maar de inhoud is duidelijk en echt niet uniek voor OpenAI en Samsung/HK.
Ik weet niet of je gezien hebt wat voor gigantische investeringen partijen momenteel doen in Datacenters en of je weet hoe snel de markt ook veranderd? Maar het vraagstuk is wel even groter dan 4TB ECC RAM per server oid. De reden dat OpenAI nog undiced wafers afneemt is vooral omdat het gewoon nog niet weet welke mix het gaat voeren. Ze kopen dus een commitment van een partij die zegt wij kunnen je zoveel ruw materiaal leveren waar je dan met de huidige yields ongeveer zoveel honderd PB aan DDR5 van kunt maken. Uiteindelijk is het de bedoeling dat deze wafers in daadwerkelijke datacenters komen te hangen die gebouwd worden onder het
Stargate project. Maar daar zijn dus serieuze commitments voor nodig.
The Stargate Project is a new company which intends to invest $500 billion over the next four years building new AI infrastructure for OpenAI in the United States. We will begin deploying $100 billion immediately. This infrastructure will secure American leadership in AI, create hundreds of thousands of American jobs, and generate massive economic benefit for the entire world. This project will not only support the re-industrialization of the United States but also provide a strategic capability to protect the national security of America and its allies.
Dat is natuurljik een Capex die ongehoord is. Voorheen heeft Microsoft wel eens 10 miljard gestoken in wat Datacenters en zag je AWS dat soort bedragen ook noemen, maar een dikke 100 miljard + per jaar is gewoon een giga onderneming.
Om dat even in perspectief te zetten tegen de speeltuin wij waar wij in zitten te "spelen":
De investering komt voort uit een krachtige samenwerking tussen het Rijk, de regio Groningen/Noord-Drenthe en Europese partners. Het kabinet draagt € 70 miljoen bij, de regionale bestuurders dragen vanuit de Economische Agenda van ‘Nij Begun’ nog eens € 60 miljoen bij. Het kabinet heeft bovendien samen met een consortium van SURF, AIC4NL, TNO en Samenwerking Noord een Europese cofinancieringsaanvraag van € 70 miljoen ingediend. Daarmee kan de totale investering op € 200 miljoen uitkomen.
Wij vinden dat een groot project, is het ook wel, maar vergelijk het met Stargate en je snapt hopelijk wel dat zoiets daadwerkelijk impact gaat hebben op de markt. 500 miljard is praktisch onze hele begroting en er zijn meerdere partijen die dergelijke bedragen investeren.
Uiteindelijk gaat het om 900.000 wafers/maand:
OpenAI seeks 900,000 wafers in 2029, South Korean official says
[..]
OpenAI will also work with the two South Korean firms on building two data centers, a Korean-style Stargate, leveraging Seoul's ambition to become an AI hub in Asia and the country's large number of paying ChatGPT subscribers - second only to that of the United States.
Dus het is helemaal niet zo dat die wafers nu ineens accuut uit de markt zijn. Nee wat wij hier zien in consumenten RAM is gewoon het feit dat openAI niet de enige is die met dit soort projecten aan de gang is. De race is groot en er zijn veel meer partijen die soortgelijke megaprojecten op de planning hebben staan.
xAI is er daar ook 1 van:
Work on the facility reportedly began this past March. On Sunday, the Wall Street Journal cited a source as saying that xAI will buy 300,000 graphics processing units from Nvidia Corp. to power the data center. The purchase is expected to set back the company at least $18 billion, a sum that doesn’t include related equipment such as servers.
Musk founded xAI two years ago to compete with OpenAI, which he is currently suing for not open-sourcing its large language models. The former company launched its first data center, Colossus, last year, on the site of a former consumer electronics factory in Memphis.
Colossus hosts 200,000 Nvidia processors, most of which are not based on the chipmaker’s latest Blackwell architecture. The Colossus 2 data center will improve upon its namesake both in chip quality and quantity. It will feature 55,000 Blackwell chips at full capacity.
Er zijn al plannen om dit verder uit te breiden naar totaal 1.2 miljoen GPUs over meerdere locaties. Dat is een zelfde ordegrootte als wat openAI aan het doen is en vereist ook zeker soortgelijke wafer commitments.
Verder hebben we dan nog:
Dus dat artikel is wel redelijk te categoriseren als een storm in een glas water, want dit zat er al heel lang aan te komen. Dit wist je in Januari al. zo'n giga investering vraagt natuurlijk om gigantisch veel apparatuur en dat moet ergens vandaan komen.
Als je kijkt naar de CAPEX van Stargate en dat dan vergelijkt met de drie hyperscalers die we allemaal kennen, dan zijn ook die gewoon in de zandbak aan het spelen. alle drie bij elkaar hebben jaarlijks een vergelijkbare CAPEX voor AL hun activiteiten. Ze splitsen dat niet zo specifiek uit, maar als je de SEC filings erbij pakt en dan de laatste 5 jaar bij elkaar raapt krijg je het volgende:
- Amazon (2020–2024, “Purchases of property and equipment, net of proceeds…”): ~$274.6B
- Microsoft (FY2021–FY2025, “Additions to property and equipment”): ~$181.6B
- Alphabet/Google (2020–2024, “capital expenditures”): ~$163.2B
Over (ongeveer) de laatste 5 jaar opgeteld:
~$619.4B aan capex/PE-investeringen. $125B van OpenAI vs. $124B/jaar van de drie grote hyperscalers bij elkaar.