Google: onze nieuwe AI-chips zijn bijna twee keer zo efficiënt als voorgangers

Google heeft zijn zevende generatie tensor processing unit aangekondigd. Het bedrijf gaat deze chips, genaamd Ironwood, gebruiken voor het draaien van AI-modellen. Ze worden gebruikt in 'pods' met maximaal 9216 chips, die samen 42,5 exaflops aan fp8-rekenkracht moeten leveren.

De Google Ironwood-tpu wordt de opvolger van Googles Trillium-chips, die vorig jaar werden aangekondigd door de fabrikant. De nieuwe Ironwood-chips leveren ieder 4614Tflops aan fp8-piekrekenkracht, maar Google zegt niet hoeveel stroom ze precies gebruiken. De techgigant claimt wel dat de prestaties per watt bijna twee keer hoger liggen dan bij de voorgaande Trillium-tpu's, die vorig jaar werden aangekondigd.

De nieuwe chips krijgen ieder 192GB aan HBM, zes keer meer dan bij hun voorgangers. De bandbreedte van dat geheugen wordt ook opgehoogd naar 7,4TB/s per chip. Tot slot krijgen Ironwood-tpu's een snellere interconnect, waarmee maximaal 9216 Ironwood-tpu's onderling met elkaar verbonden kunnen worden. Dat gaat nu met een bidirectionele bandbreedte van rond de 900GB/s. Google zegt niet welke fabrikant de Ironwood-tpu's produceert of op welk procedé dat gebeurt.

Een cluster met het maximale aantal van 9216 Ironwood-tpu's biedt volgens Google 42,5 exaflops aan fp8-rekenkracht. De techgigant claimt dat dit ruim 24 keer sneller is dan El Capitan, de supercomputer die momenteel bovenaan de TOP500-lijst staat met een score van 1,74 exaflops. Dat is echter een misleidende vergelijking. De benchmark die TOP500 gebruikt, is namelijk gebaseerd op complexere fp64-berekeningen in plaats van fp8. Google lijkt bovendien de piekprestaties van Ironwood te vergelijken met de praktijkprestaties van El Capitan.

Google gaat de Ironwood-tpu's gebruiken voor het runnen van AI-modellen. Volgens de fabrikant zijn de nieuwe chips specifiek ontworpen voor inferentierekenwerk. De tpu's gaan gebruikt worden voor Googles eigen Gemini-AI-modellen, maar ook voor ontwikkelaars die AI-projecten willen draaien in Google Cloud. Ontwikkelaars krijgen toegang tot clusters met 256 of 9216 Ironwood-chips. De Ironwood-tpu's komen later dit jaar beschikbaar voor ontwikkelaars, benadrukt Google in zijn blogpost. Een preciezere datum wordt vooralsnog niet genoemd.

Afbeelding: Google

Reacties (26)

[badnews.nl]

De Google Tensor chips worden door TSMC in Taiwan gemaakt. Ben benieuwd of ze dan nog rendabel zijn voor supercomputers in de VS.

[JustRob]

Chips zijn uitgesloten van de heffingen, dus ik zou niet inzien waarom niet.

[FranzFerdiNaN]

Binnenkort misschien niet meer: https://www.reuters.com/w...esnt-build-us-2025-04-09/

[Coolstart]

Als dat klopt is dat idd wel een heel groot probleem. Taiwan nu op 32%. Als het over zoveel miljoenen gaat dan denk ik dat Google wel enorm veel druk gaat zetten om een uitzondering te krijgen. 32% betalen en via een ‘AI fonds’ dat terug vorderen.

Een nieuw potje importaxen dat Trump graag zou beheren en uitdelen aan bedrijven die voor hem zinvol zijn.

Je mag die theorie absurd of ver gezocht vinden maar zover ik de Trump-logica kan interpreteren wil hij meer macht. Dus dit past alvast in zijn kraam. En wiens brood men eet, wiens woord men spreekt. Tijd zal duidelijk maken hoe dit zal verlopen.

Een andere optie is dat Taiwan een uitzondering krijgt voor bepaalde chips. Maar dan is de zelfde machtstoename van toepassing. Trump oordeelt dan wie welk voordeel krijgt en vraagt een ‘deal’ in return.

[Damic]

Moest het zelf even opzoeken maar een TPU is Tensor Processing Unit

[AverageNL]

Die term had ik eigenlijk wel een keer mogen uitschrijven in de tekst, want dit is inderdaad zeker geen ingeburgerde afkorting. Ik pas het aan

[Damic]

Of zo'n alt tekst kan ook

[Verwijderd]

Zet dan ook de afkorting de eerste keer tussen haakjes achter de uitgeschreven term, zoals het heurt.

[GewoonWatSpulle]

Ter beeldvorming een RTX 5090 doet nog geen 500 Tflops fp8, exa is een miljoen keer groter.

[Damic]

de Exa is ook met 9216 chips en niet 1, 1 doet maar 4614Tflops wat nog veel is

[Enai]

Tof, maar in de VS en dus niet langer relevant voor ons. Hoe staat het met de Europese aanbieders van AI?

[Bas-w]

Nederland staat niet te springen om nieuwe datacenters, dus…

[watercoolertje]

De EU is groter dan Nederland gelukkig

[djwice]

Kan ik ook een kastje met een zo'n GPU met 192GB geheugen er bij kopen voor op m'n desktop? Iets als een ASUS Ascent GX10 maar dan beter. Liefst ook dat als ik er twee of meer heb ze gewoon tot 1 grotere local cloud GPU kan koppelen.

note
De AI-TOPS bij NVIDIA is fl4, bij Google is het fl8, dus 2x zo krachtig per eenheid.

[Reactie gewijzigd door djwice op 9 april 2025 19:45]

[Gwaihir]

Zijn of komen er dan ook al krachtiger versies te koop dan de Coral USB sticks? Met 4TOPS lopen die onderhand een dikke factor 1000 achter.

(Eigenlijk stelt 4 TOPS al niet veel meer voor onderhand.)

[HolaGanz]

En hoe zit het met het stroomgebruik? Ik ben wel benieuwd of er met deze TPU's efficiënter getraind dan wel antwoorden gegenereerd kunnen worden.

[Techman]

2.5 pro is nu ook beschikbaar in de iOS app. Gemini begint steeds sneller te worden. Ik gebruik het nu evenveel als GPT

[Reactie gewijzigd door Techman op 10 april 2025 13:48]

[jwal]

doe es een videokaart met 1 zo'n chippie, google.

[David77]

Je zegt daar zoiets, maar dat is waar ik stiekem op hoop.
Dat één van de AI-chips producerende giganten plots de branche van gaming-gpu's inslaat.
het omgekeerde van wat nVidia deed dus.

Dat zou wel eens wat verbetering brengen in de gpu monopolie (toch in het topsegment).

[SG]

Daar zit niet zoveel profits in als AI. De AI bubbel moet daar 1st voor barsten.
Maar dit zijn TPU waar nv gpu T-cores heeft maar hoop meer om het volledige gpu te zijn. Dat is ook de reden dat gpu niet energie efficient zijn. De hoge prijs komt doordat wafers met tijd grof factor 10x duurder zijn. Dus yield bin van big chips hebben grote in vloed op prijs. Dat maakt gpu en alle 3 tiers top node produceerde chips duurder dan inflatie

[Damic]

Kun je niets mee, video is fp32 en fp64.

[Minimise]

Fout! Je kunt prachtige AI gegenereerde video’s in ComfyUI maken met fp8!

[the_shadow]

Dat is niet waar op gereageerd werd. Video genereren: prima, maar je kan geen games spelen op FP8, dan zit je echt op FP32.

[watercoolertje]

Of hij een kaart (met deze chip) voor AI of voor Gamen wil hebben weten we helemaal niet, want die context ontbreekt in de initiële vraag...

Misschien wil die wel bitcoins minen (als dat kan, geen idee), weten we ook niet

Hier vraagt iemand hetzelfde en dat is specifiek voor AI:
djwice in 'Google: onze nieuwe AI-chips zijn bijna twee keer zo efficiënt als voorgangers'

[Reactie gewijzigd door watercoolertje op 10 april 2025 12:49]

[Minimise]

Je kunt prima games spelen op FP8: kwestie van AI rendering aanzetten.

[kabelmannetje]

Leuk, maar grootste deel van consumenten-AI is nog altijd volstrekt nutteloos.