Microsoft claimt doorbraak met AI-gestuurde vloeistofkoeling direct op AI-chips

Microsoft stelt een koelmethode voor AI-chips te hebben ontwikkeld die wel drie keer efficiënter koelt dan huidige methodes. Bij een succesvolle test liep er koelvloeistof door microkanalen, geëtst op het oppervlak van AI-chips. Daarbij werd AI gebruikt voor precisiekoeling.

Microsoft claimt met microfluïdica en AI een doorbraak te hebben gemaakt voor het koelen van hete AI-chips. Hardwareontwerpers van het bedrijf hebben een koelsysteem ontwikkeld dat speciale koelvloeistof laat lopen door microkanalen die zijn geëtst op de achterkant van AI-chips. Daarmee maakt de vloeistof direct contact met de chip, waardoor dit systeem tot wel drie keer beter zou koelen dan koelplaten. Koelplaten zijn bevestigd op chips en voeren vloeistof door, maar vormen zelf nog een tussenlaag die de efficiëntie van koeling kan verminderen.

Microsoft vergelijkt het gebruik van koelplaten in zijn eigen datacenters met de resultaten van een succesvolle test met de nieuwe koelmethode. Daaruit komt een flinke verbetering naar voren: de vloeistofkoeling met microkanalen in het oppervlak van AI-chips koelt tot wel drie keer beter. Microsoft gebruikt hierbij AI om de allerheetste zones op een chip te identificeren en dan de koelvloeistof met grotere precisie door te pompen.

De microkanalen die zijn aangebracht in het oppervlak van AI-chips zijn ongeveer ter grootte van een menselijke haar. Voor het nu ontwikkelde en geteste prototype werkte Microsoft samen met de Zwitserse AI-start-up Corintis om AI te gebruiken voor het ontwerp van dit systeem op basis van de natuur. De opzet van microkanalen is vergelijkbaar met nerven in een boomblad of in de vleugel van een vlinder.

Reacties (45)

[Ariejan]

Ik denk dat mensen dit een beetje onderschatten. Zoals @Coolstart al uitlegt, het gaat er hierom dat 'kanalen op 'n chip slijpen om er koelvloeistof doorheen te sturen" een heel complex probleem is. Dat is niet 'n probleem wat je eenvoudig of snel met "gewone" methodes gaat kunnen oplossen. Door het inzetten van AI (of je nu weet waar de chip heet wordt of niet) kun je wel op een slimme manier (dus geen domme brute-force) gaan achterhalen op welke manier die kanalen moeten lopen zodat je vloeistof zo koel mogelijk bij de hotspots aankomt en de warmte zo snel mogelijk weer afvoert. Afgezien van alle Microsoft-haat, is dit best een interessante toepassing van AI.

Ander, maar vergelijkbaar voorbeeld is protein-folding. Dat was ook zo'n brute-force onderzoek. Tot ±2020 werden er zo'n in totaal zo'n 140.000 protiene structuren ontdekt. Maar dat was moeizaam werk. Er is zelfs 'n game gemaakt waarbij speler proteines kunnen 'opvouwen' om er zo meer te ontdekken. Door de inzet van AI is het aantal bekende proteine structuren van 140,000 (dat is het resultaat van meer dan 20 jaar onderzoek) in één klap gestegen naar 200,000,000. (Ja, 200 miljoen). Dat is een enorme stap voor de wetenschap. Dit Veratasiumfilmpje kan het beter uitleggen: YouTube: AlphaFold - The Most Useful Thing AI Has Ever Done

En, ik heb het met je eens dat AI op veel plekken gehyped wordt en vaak maar 'n marketingterm is voor 'n simpel algoritme of wat machine learning. Maar er zijn ook serieus indrukwekkende toepassingen, waarvan proteine folder er in één is. En hoewel minder 'impactvol' vind ik dat deze toepassing door Microsoft daar ook bij horen.

[gebruikernaam__]

Nou ik heb zelf best een andere mening, dit is 'simpelweg' topologisch optimaliseren. Dit had denk ik best een afstudeer opdracht van de gemiddelde TU student kunnen zijn. Als je kijkt naar de paper dan is er juist niks echt nieuws gedaan wat echt AI gerelateerd is maar gewoon bestaande algoritmes iteratief op een nieuw probleem toegepast.

[OuweDorper]

Door het inzetten van AI (of je nu weet waar de chip heet wordt of niet) kun je wel op een slimme manier (dus geen domme brute-force) gaan achterhalen op welke manier die kanalen moeten lopen zodat je vloeistof zo koel mogelijk bij de hotspots aankomt en de warmte zo snel mogelijk weer afvoert

Grappig, ik had precies het tegenovergestelde gevoel.

AI (de toepassing, niet de chips) klinkt hier dan weer als typisch marketing term. Sensors meten de temperaturen op die chip, als de waardes te hoog worden op een bepaalde plek, dan meer koelvloeistof naar die laan sturen.

Klinkt dit nou echt als AI voor jou? Dit klinkt als een simpel scriptje en zeker geen 'domme brute-force'. Het zal ongetwijfeld een stuk complexer zijn, maar om dit nou een AI toepassing te noemen vind ik weer erg overdreven. Of ik begrijp het niet goed, dat zou ook nog kunnen.

[themadone]

nou niet echt, de chinezen pochen met efficientie maar vergeten te melden dat ze amper zelf trainen en voor leunen op de effort en energie van anderen. Een llm draaien vs er eentje maken zit idd een groot stroomverbruiksverschil (leuk scrabble woord) tussen.

[Caelorum]

De Chinezen hebben enorm goede marketing. DeepSeek V3 zou zogenaamd enorm snel zijn getraind, maar uiteindelijk als je dieper in hun eigen vrijgegeven pdfjes ging kijken dan hadden ze alsnog 2.7 miljoen H800 uur nodig om hun model te trainen.

Nog indrukwekkend, maar om het in context te zetten: GPT-4o en O1 hebben naar schatting 15 miljoen dollar gekost en DeepSeek V3 5 miljoen. Ze zijn dus niet 100 tot 1000x sneller of efficienter of goedkoper zoals initieel werd beweerd en gemarket, maar 3x.

En dan hebben we het dus over DeepSeek V3 en niet over hun top of the line DeepSeek R1 die echt een veelvoud daarvan kost.
En dan hebben we het ook nog niet over wat er allemaal naar boven komt als je iets dieper duikt: https://epoch.ai/gradient-updates/what-went-into-training-deepseek-r1 (Dat ze voor het type model eigenlijk helemaal niet zo efficient zijn in trainen bijv.)

[Exodai]

Nog indrukwekkend, maar om het in context te zetten: GPT-4o en O1 hebben naar schatting 15 miljoen dollar gekost en DeepSeek V3 5 miljoen. Ze zijn dus niet 100 tot 1000x sneller of efficienter of goedkoper zoals initieel werd beweerd en gemarket, maar 3x.

Dus 300 procent toch?

[Caelorum]

Zeker, afhankelijk van hoe je er naar kijkt, maar ik zou vooral de lap tekst in mijn laatste link nog eens doorlezen voor het meer genuanceerder beeld.

Uiteindelijk lopen ze redelijk gelijk met bijv. een OpenAI of Anthropic. Iets wat op zichzelf al een enorme prestatie is overigens. Stukken beter dan "onze" Mistral, welke meer specialistischere modellen is gaan trainen, omdat direct de concurrentie aangaan niet te doen was. Zij hadden namelijk geen enorme VC of backing van overheidsinstanties.

[iworx]

Als je echt niet weet wat je moet doen met je compute tijd, dan ga je fractals berekenen… of kijken hoe je via haarvaatjes een chip kan koelen. Heel veel van die projecten zijn oplossingen die naar een probleem zoeken in plaats van omgekeerd.

Staat er naast die CPU nog een bak chips en componenten die hitte te verspreiden hebben, moet die pomp overuren doen omdat de fluid dynamics voor wervelingen zorgen en lang niet optimaal stromen om het maximale koelvermogen van de vloeistof te behalen.

Maar -- we hebben AI gebruikt! Geef ons geld!

[Reactie gewijzigd door iworx op 24 september 2025 08:25]

[Coolstart]

Ik vraag me af wat het ergste is. Een bedrijf die AI heeft gebruikt om een technisch complex probleem op te lossen of een de online reaguurders die in in 0,1sec een mening klaar hebben staan. Een mening die de prefrontale cortex zelf helemaal heeft overgeslagen.

Waar is de tijd dat mensen enthousiast waren over nieuwe waterkoeltechnieken? Gewoon door metaal te etsen in een zeer specifiek patroon kan men meer TDP toelaten voor het zelfde koelvermogen, tientalen percenten efficienter koelen. Dat is belangrijk want ook koelen kost energie.

En dan de wannier waarop is gewoon waanzinnig. Hier is de volledige paper waar ze het nut van 'Hotspot-aware Microfluidic" uitleggen. https://www.researchgate....Topology_Optimization#pf2

Ze gebruike, effectief gewoon CFD (computational fluid dynamics) maar gebruiken AI om patronen te herkennen en de iteraties van CFD bij te sturen op basis van feedback en technische voorkennis in het gedrag van microfluidics en productiebeperkingen ipv alles met trail and error te doen.

Wat knap is, is dat ze bij de hotspots net meer kleine haarkanaaltjes plaatsen omdat een dunner kanaal een grotere warmte convectiecoëfficiënt heeft dan een breder kanaal omdat het water sneller stroomt in een klein kanaal. Ook kunnen op de juiste plaatsen turbulentie genereren dat nog beter koelt.

Maar goed, niet iedereen loopt hier warm van.

[grrfield]

Niet overdrijven hé. Vroeger stonden op sommige wagens op de achterkant "ABS" omdat dit toen een onderscheidende factor was. Tegenwoordig heeft dat geen enkele zin meer omdat iedere wagen standaard en verplicht met een ABS-systeem uitgerust is.

Ook AI wordt gaandeweg een minder onderscheidende factor om een doel te bereiken. Het geraakt gewoon ingeburgerd. We zitten misschien nog niet op een kantelpunt, want overal wordt nog expliciet vermeld als een doel bereikt wordt, dat er AI ingezet is geweest. Neem het van mij aan dat dit langzaam zal wegebben.

[thunder7]

Je zou toch zeggen dat een chip een redelijk deterministisch geheel is, waar je ook zonder AI wel de heetste plekken kunt identificeren. Maar dat bekt natuurlijk minder goed.

[JBVisual]

Ik zie ook best vaak AI ventilatoren op verschillende websites. (Voor pc, laptopstands met AU ventilatoren of opzetstukken voor een PlayStation/xbox met deze AI ventilatoren)

Het enige AI hieraan is volgens mij gewoon een temperatuursensor die bepaald hoe snel de ventilatie moet draaien. Maar echte AI zal er nooit inzitten.

[Richardus27]

Die onzin zag ik ook al op moederborden voorbij komen, AI cooling nogwat:

Met AI wordt gekeken naar de workload en de temperatuur om zo de juiste rotatiesnelheid te bepalen voor optimale airflow - oftewel het is gewoon een f*cking fancurve

[Navi]

Ik had laatst een hardeschijf gekocht, WD geloof ik, waar een AI label op zat 😀

[Basje93]

Sterker nog, je hebt tegenwoordig zelfs Smartphone hoesjes met het AI label erop... Bijvoorbeeld de Spigen Tough Armor AI. Het enige AI is, dat ze de valtesten hebben uitgevoerd met ergens wat behulp van AI :P

[D.nukem]

Mijn Siemens koffiezetter is tegenwoordig hartstikke AI.
Ik heb er een, best dure, dus het moet een topkwaliteit AI zijn, sticker van Syberdyne Systems opgeplakt.

[Recursio]

.

[Reactie gewijzigd door Recursio op 24 september 2025 13:47]

[Nas T]

Het begint langzaam naar Artificial Idiocy te neigen ...

[FrankHe]

En straks doe je niet meer mee zonder een AI broodrooster in huis.

[JBVisual]

Al hoewel hier nog best wat slimmigheid in zou kunnen zitten.
Het broodsoort, de dikte van de sneden analyseren en hierop de gewenste toast bereiken.

Idem voor eierkookers, op basis van de grote van de eieren bepalen hoe lang deze aan moeten staan voor een zacht, medium of hard ei.

Ik zeg niet dat ik het nodig heb, want ik weet best wat ik moet doen, maar ik kan mij voorstellen dat er best een markt voor zou kunnen zijn.

[_Pussycat_]

Het broodsoort, de dikte van de sneden analyseren en hierop de gewenste toast bereiken.

Of gewoon direct een meting uitvoeren van hoe knapperig de buitenkant is, zoals bij de Sunbeam-Toaster uit 1948, en stoppen met toasten als het precies goed is! Een juweeltje van eenvoud.

[FrankHe]

Inderdaad oude technologie die om onbekende reden volledig in onbruik is geraakt.

[Scriptkid]

Kan ook niet anders want AI bestaat nog niet.

Ai betekend dat het zelf denkend en bewust is.

Alleen die term is de laatste jaren zover afgezwakt dat zelf een simple flow AI is nu

[Sharky]

Mwoah. Het betekent dat het kunstmatig is. Zelfdenkend of bewust is wat veel mensen er wel onterecht van maken. Denk dat het een prima term is voor wat het is.

[Guru Evi]

We spreken grotendeels over ML, dus patronen leren en dan hierop reageren. Vb gezichtsherkenning. LLM aan de andere kant voorspellen, dat is gewoon een beter T9 toetsenbord.

Met LLM en ML zijn we al een halve eeuw bezig en hebben een doorbraak gehad elke decennia, op IRC hadden we ook al chatbots. De huidige LLM craze is gewoon het zelf-automatiseren van bepaalde rollen. Als je vandaag op je werk dingen doet dat een simpel programma kan doen (dingen in Excel steken en een draaitafel maken) kan gedaan worden door een code LLM voor een fractie van de kost. De enige reden dat we dit vroeger niet gedaan hadden omdat programmeurs voor simpele programma’s duurder waren. De jobs voor o.a. Business Analyst, Project Manager, HR drone; die gaan binnen de kortste keren verdwijnen.

[Reactie gewijzigd door Guru Evi op 24 september 2025 12:40]

[Piemol]

Afhankelijk van de context wordt "AI" gewoon gebruikt om aan te geven dat de consument er geen omkijken meer naar heeft. "AI" is dan betere marketing dan een "vooraf ingestelde fancurve".

[GrooV]

Wat is "echte AI" volgens jou? Je hebt AI, of gewoon kunstmatige intelligentie in vele vormen en maten en bestaat al voordat ChatGPT met generative AI er was

[Coolstart]

Je hebt het mogelijk wel verkeerd begrepen. Het gaat niet zozeer nagaan waar de hotspots zijn maar hoe je de vloeistof naar de warme delen laat stromen.

Dat kan best complex zijn want als je een verkeerd pad neemt of het debiet te laag maakt komt de koelvloeistof te warm aan en koel je minder efficient op de warme delen en koel je delen die niet gekoeld hoefden te worden.

Je zit met ‘oneindig’ veel mogelijkheden. Net zoals in het Chinees postbodeprobleem moet je de meest efficiente route vinden. Maar dan is efficiëntie omschreven als X koelvermogen zo efficient mogelijk de kritieke hotspots laten koelen.

Op welke manier AI heeft geholpen weet ik niet. Ik vermoed ik het aansturen van algoritmes op basis van een feedbackloop. Zo je zo een Reinforcement Learning model kunnen opzetten met behulp van een simulatiemodel.

[ultimasnake]

Mee eens, maar ik lees nu niet helemaal of de AI is ingezet om dit vooraf te bepalen en daarmee dus beter te kunnen koelen of dat het een continu proces is.

Mijn vermoede gaat uit naar het eerste want als je microkanaaltjes moet aansturen voor meer/minder flow lijkt het me echt een hele andere uitdaging..

[loekf2]

Ik vind het ook onzin. Niets intelligent aan. Het is "machine learning" wat je inzet voor een regel lus.

[Smash1231]

Volgens mij is er machine learning gebruikt voor het patroon dat op de chip is geëtst. Dus de AI heeft berekent welke patroon elke chip het beste koelt. En de individuele chips hebben elk hele kleine verschillen dus elke chip krijgt een andere patroon. Een ML model kan veel sneller elke chip testen en een patroon ontwerpen dan een mens.

Het is net zo als dat er tegenwoordig machine learning bijvoorbeeld in het ontwerpen van auto-onderdelen word gebruikt. Ja een mens kan het ook ontwerpen maar met ML kan je duizenden ontwerpen in een korte tijd creëren en testen in een simulatie. En dan krijg je uiteindelijk een sterker en lichter ontwerp.

[cold_as_ijs]

als ik het filmpje zo zie hebben ze ai gebruikt om de koelplaten te designen waardoor het heetste deel van de chip de beste koeling krijgt. En hierdoor kunnen ze dus relatief snel per chip design een andere koelplaat design creeeren. Dus het is niet zozeer AI aangestuurd.

[Richardus27]

Ik vraag me hier serieus af hoeveel winst er is geboekt met de direct-die koeling en hoeveel met de AI die de flow regelt. Ik vermoed dat de direct-chip koeling het overgrote aandeel heeft en dat de AI er grotendeels voor de marketing/hype bij wordt genoemd

[Pinkys Brain]

Hoe is dit beter dan direct die cooling? Decappen, en met hoop jets (en misschien meerdere afzuiger kanalen) water over de die spoelen met turbulentie. Verbruikt iets meer vermogen in de pomp, maar dat is maar een fractie van het gebruikte vermogen.

Al die slimmigheid lijkt mij teveel moeite als domme kracht ook werkt.

[Reactie gewijzigd door Pinkys Brain op 24 september 2025 12:21]

[themadone]

domme kracht werkt altijd, maar is verre van efficient, op de schaal van een hyperscale datacenter is 1 watt verschil per unit 10kw waard aan het einde van de row.

Dus ja, voor thuis, geen enkel nut, op schaal wel degelijk voordeel te halen. En vergeet ook niet, hoe koeler het blijft hoe harder het kan lopen. Het groeven van de die zorgt sowieso voor meer oppervlak als het over een vlakke die laten lopen van water onder welke snelheid dan ook zal de nieuwe methode een beter resultaat leveren.

[Pinkys Brain]

Maar een verstopping die een GPU uit dienst houd tot het maintenance window kost weer een hoop geld.

In een niet hermetisch systeem is het moeilijk te voorkomen dat het water wat vervuild raakt. Komt een piepklein beetje zuurstof bij en voor je het weet zijn die piepkleine kanaaltjes verstopt.

Met direct die cooling kan je nog steeds structuur aanbrengen bovenop de die, heeft TSMC een paar jaar terug mee gexperimenteerd.

[xxs]

AI is een lekker buzz woord en Microsoft is weer even in het nieuws.

[NoTechSupport]

En deze keer niet met het blokkeren van accounts van het Internationaal Strafhof of het genereren van de grootste berg ewaste in de menselijke geschiedenis ten gevolge van de TPM 2.0-eis van Win11.

[An0traX]

Off-Topicish : AI wordt gebruikt om de chips te koelen van AI, wie/wat koelt dan de AI chip die de chip van de AI koelt?

[tedades]

Ik verwacht dat microkanalen makkelijker verstopt kunnen raken waardoor ze minder goed presteren over tijd. Ben benieuwd hoe ze dat opgelost hebben.

[Morrar]

Dit was ook mijn eerste gedachte; hoe duurzaam is deze oplossing? Daarbij; een dunner kanaaltje kan minder vloeistof (water?) vervoeren dan een breder kanaal. Minder vloeistof verdampt sneller, dus hoeveel hitte kun je precies afvoeren voordat de vloeistof een gas wordt? En tot slot; kleine dunne kanaaltjes lijken mij ook minder stevig. Dus als er druk op komt doordat de vloeistof gaat uitzetten, is de kans op schade dan ook niet groter?

In een korte testsetting zal dit allemaal niet zo snel naar boven komen, maar in de praktijk bij langdurig gebruik wordt het een ander verhaal. Maar goed, ik neem aan de de engineers / AI (hype!) van Microsoft hier ook wel over nagedacht heeft....

[japie06]

Met meerdere dunnere kanalen heb je veel meer oppervlakte dan een breed kanaal. De ruimte tussen koelvinnen is ook altijd erg dun. Meer oppervlakte is meer koelvermogen.

[fuzzyIon]

Lijkt wel op zon spaar douchekop. Less water the same cooling.

[markg85]

Jony Ive geïnspireerde voice-over? Dat is in ieder geval het eerste wat ik dacht.