Ze hebben echt geen capaciteit inderdaad. Ik probeerde vorige week toevallig een azure VM te maken in mijn eigen oefen tenant. Het lukte gewoon niet omdat er nergens capaciteit is. Na 4 regio's te proberen wel gelukt in Noorwegen.
Dus er is nog steeds meer dan genoeg vraag naar Cloud.
Dat is inderdaad een conclusie die je kan trekken. Hier is een andere conclusie waarvan ik denk dat deze dichter bij de waarheid ligt.
Elk datacenter heeft een vermogensbudget. hun aansluiting op het grid is begrensd door de (on)mogelijkheden van hun ontwerp en die tijdens hun constructie zijn opgetreden.
Dit budget zorgt ervoor dat er een gelimiteerd aantal datacenter-racks in passen, welke onder elke (SLA) toestand van genoeg stroom en koeling kunnen worden voorzien. Dat limiteert het aantal servers wat er in 1 datacenter-rack past.
AI capaciteit heeft zich flink uit moeten breiden. Ja er zijn nieuwe datacenters bijgbouwd, maar bij lange na niet zoveel als men nodig denkt te hebben. De publieke en daardoor politieke weerstand tegen datacenters is gegroeid.
Hoe het ook zij, er is behoorlijk wat tijd nodig om een datacenter te bouwen. Aan de buitenkant lijken dit soort gebouwen heel simpel zijn qua constructie. Aan de binnenkant is dat een heel ander verhaal, vandaar dat het al gauw een jaar of 2 tot 3 kost om een redelijk groot datacenter online te krijgen. En dan moet alles qua constructie op rolletjes lopen. Als dat niet het het geval is, dan kun je makkelijk een jaar of 4 kwijt zijn aan constructietijd.
Alles liep en loopt dus niet op rolletjes en de hyperscalers (Microsoft Azure, Amazon AWS, Google en Oracle) moeten roeien met de riemen die ze hebben, terwijl zij werken aan meer van de spreekwoordelijke riemen. AI wordt dus uitgebreid in hun modernere datacenters omdat hun andere datacenters niet genoeg vermogensbudget hebben.
1 Datacenter-rack gevuld met 4 tot 5 AI servers vraagt namelijk nogal wat van de interne electrische distributie. 1 Datacenter rack, gevuld met AI servers van de Blackwell-generatie, heeft 200 KW aan energie nodig om te functioneren. Als je datacenter is ontworpen om maximaal 50 KW per datacenter-rack te leveren (en te koelen!), dan is het niet moeilijk om je voor te stellen dat je 4 datacenter-racks bijeen moet voegen om 1 datacenter-rack met AI-servers van genoeg stroom en koeling kan voorzien.
De opvolger van Blackwell heet Rubin. AI servers van de Rubin generatie zijn een stuk krachtiger en kunnen flink wat meer gebruikers per server aan. En daardoor lijkt het zo dat de Rubin AI-servers een zeer gunstige 'token per watt'-verhouding hebben. Alleen ligt hun verbruik zo veel hoger dan de Blackwell AI-servers. Dat is bij Rubin gestegen naar 500 KW per datacenter-rack.
Rubin AI-servers moeten dus wel in datacenters worden geplaatst die voor dat vermogensbudget zijn ontworpen, want je geeft veel te veel toe in datacenters met een lager vermogensbudget (per datacenter-rack). Maar men moet wel, want OpenAI en Anthropic hebben contracten afgesloten voor meer AI-capaciteit.
Dus is men gaan snijden in hun vermogensbudgetten voor andere clouddiensten om aan hun AI contracten te voldoen. En wat niet herverdeelt kan worden, dat merk je nu in aanbod van beschikbare cloud-diensten Azure, AWS, Google, Oracle enz.
En omdat het aanbod karig is, is de vraag hoger, wat dus tot hogere prijzen voor alle andere cloud-diensten zal lijden. Want de AI-contracten zijn nu eenmaal vastgelegd. Helaas voor de hyperscalers, er bestaan terechte flinke twijfels over de winstgevendheid van zowel OpenAI en Anthropic op de korte, middellange en lange termijn.
Hyperscalers zijn daarom ook wat terughoudender geworden met de aanbouw van nieuwe datacenters, want een datacenter van formaat kost enkele miljarden, tussen de 2 en 4 jaar aan tijd en 70% tot 80% van al die nieuwe datacenter capaciteit is nodig voor de AI van OpenAI en Anthropic. 2 Klanten dus. 2 Twijfelachtige klanten. Die nieuwe datacenters gaan dus voor flinke afschrijvingen bij de hyperscalers zorgen.
Vooral nu dat de Chinese LLMs grote efficientieslagen aan het maken zijn. Naast een enorme efficientie-slag van Jev. Al de nieuwe en gerealiseerde datacenters zorgen nu al voor alsmaar groter wordende afschrijvingen voor hyperscalers. Wat er ook voor heeft gezorgd dat aandelen van hyperscalers tot bijna 'junk'-status hebben verlaagd.
Hyperscalers moeten wel geld lenen om nieuwe datacenters te bouwen en met bijna-'junk'-status zijn de voorwaarden niet gunstig voor de hyperscalers. Waardoor zij zich opnieuw genoegen gaan doen om maandprijzen van al hun andere cloud-diensten nog een keer omhoog te schroeven. En men kan dat, omdat het zo vervelend is om van cloud-aanbieder te wisselen.
Er is zeker vraag naar meer cloud. Cloud-AI drukt die pret nogal. Lokale AI en/of AI bij een VPS aanbieder, daar zal het op uitdraaien, want je hebt nu eenmaal meer aan kleinere specialistische LLMs dan aan de generalistische LLMs van OpenAI en Anthropic.
Deze "generalisten" zijn flink duurder in gebruik dan wat je er nu voor betaalt en bederven het aanbod en de prijzen van alle andere cloud-diensten bij elke hyperscaler.