Google bouwt machine-learningsupercomputers van 11,5 petaflops

Google ontwikkelt supercomputers die zijn geoptimaliseerd voor machine learning en die 11,5 petaflops aan rekenkracht bieden. Deze TPU Pods zijn opgebouwd uit tensor processing units van de tweede generatie.

Een TPU Pod bestaat uit 64 van de nieuwe tpu's. Een enkele tpu biedt een rekenkracht van 180 teraflops en is voorzien van snelle interconnects voor de samenwerking met de overige chips. Het systeem doet dienst als accelerator voor machine-learningtoepassingen en dan met name het trainen van een enkel omvangrijk model voor machine learning.

Volgens Google duurt de training van een nieuw model voor vertalingen op 32 van 'de beste, commercieel verkrijgbare gpu's' een volledige dag. Ditzelfde model kan op een achtste deel van een TPU Pod in een middag verwerkt worden. Google geeft weinig details over de tpu's, maar omdat ze ingezet worden voor het trainen van modellen, acht Top500 het waarschijnlijk dat de chips voor parallelle matrixvermenigvuldigingen 16bit- en 32bit-floatingpointoperaties ondersteunen.

De eerste generatie tpu's, die Google vorig jaar introduceerde, waren nog 8bit-integerchips, die met name voor het draaien van al getrainde modellen ingezet worden. Met de nieuwe chip lijkt Google al een alternatief te hebben voor Nvidia's Volta-gpu, die Tensor Cores aan boord heeft voor het trainen van modellen voor machine learning. Die gpu levert voor mixed precision 16bit- en 32bit-floatingpointoperaties een rekenkracht van 120 teraflops. Mogelijk is Google met zijn geoptimaliseerde accelerator Nvidia dus al voorbijgestreefd wat rauwe rekenkracht betreft, al hangt de werkelijke verhouding tevens van overige specificaties af.

Google gebruikt zijn nieuwe tpu's niet alleen in de TPU Pods voor eigen berekeningen, maar integreert deze ook in de Google Compute Engine als Cloud TPUs. Klanten krijgen daarmee de beschikking over de capaciteiten en kunnen ze koppelen aan virtuele machines en andere hardware als Intel Skylake-cpu's en Nvidia-gpu's. Gebruikers kunnen de tpu's programmeren met Googles TensorFlow-software.

Reacties (55)

[SHiNeye]

En dan te zien dat een gaming videokaart rond de 10 teraflops meekrijgt, ongekend om dan te bedenken dat dit halve serverpark een kracht van 11.5 Petaflops heeft.

[Reactie gewijzigd door SHiNeye op 28 juli 2024 08:25]

[svenk91]

die 10 tera is voor de gehele 'pod' hè. 1 enkele Google tpu is al een stuk groter dan een gpu van wat ik van de plaatjes af zie. dat 3de plaatje is 1 pod. Dus die hele pod vergelijken met 1 GPU is niet helemaal eerlijk

Neemt niet weg dat één tpu alsnog wel wat efficienter lijkt dan een gpu en het niettemin een knappe prestatie is.

[supersnathan94]

De vergelijking in het artikel is dan ook een beetje vaag. Zelfs een 8ste van deze unit is nog dusdanig groot dat je 32 graka's waarschijnlijk makkelijker kwijt kunt.

[kidde]

De TPU's nemen veel hoogte in omdat ze zo te zien passief gekoeld zijn, voor GPU's voor ML is dat vziw nooit het geval (of wel?):

https://storage.googleapi...e16d0ba.fill-1592x896.jpg

[supersnathan94]

De benodigde airflow wordt in servers geregeld door chassis fans. Meestal is er net achter de driveslots (1/3e van de ruimte gezien van de voorkant) een hele rij fans die altijd lekker aan staan zodat er voldoende airflow is. Hierdoor hoeven de koelblokke niet nog zelf een fan te hebben. Deze chassis fans zijn altijd erg krachtig en makkelijk te verwisselen als er 1 kapot gaat.

Daarom lijkt het alsof ze passief gekoeld zijn, maar dat is niet het geval. Die koelblokken zijn relatief standaard 2he hoog.

[kidde]

(Ook @awosome ): Bedankt, wist ik nog niet. Nagezocht, en idd, de nvidia GPU server kaarten hebben ook geen fan op de heatsink; en nemen zo te zien minder ruimte in beslag dan de TPU-kaarten.

[supersnathan94]

Veel minder. 32 GPU's kan in principe (zelfs met desktop kaarten met fans) gewoon in 2x 4HE chassis. Als je die unit gebruikt waar Linus er eentje van heeft getest.

[awosome]

De fans zitten niet op de heatsinks maar in de case. Dit is normaal in servers

[watercoolertje]

Het is geen PC het is een half serverpark

[SHiNeye]

Aangepast!

[solozakdoekje]

in terminator 3 heeft de zelflerende computer skynet, ongeveer 60 teraflops.

google 11.5 teraflops.

microsoft bouwt ook aan een zelf lerende achtiche skynet dan gaan we allemaal kapot !

als onze defensie een skynet aan het bouwen is en in de toekomst gaan we gaan robotten ons dienen in de militaire gebieden in het land, dan zijn we er geweest haha virussen van russland en klaar, boem skynet en de wereld gaat kapot

[Reactie gewijzigd door solozakdoekje op 28 juli 2024 08:25]

[Slinke]

... but can it run Crysis?

[Enchantress]

Er zijn heel wat andere games ondertussen die een heel stuk zwaarder zijn. Dus can it run Crysis is een beetje oud niet?

[goarilla]

Wow toch fantastisch hoe snel hier nieuwe hardware ontstaat dat aangeboden zal worden in de "cloud". (https://trends.google.be/trends/explore?q=tensorflow)

[Verwijderd]

Von Neumann architectuur is toch helemaal niet goed voor Machine Learning?

Ik vind dit soort dingen interessanter: https://www.youtube.com/watch?v=2e06C-yUwlc
De SpiNNaker SoC's zijn veel interessanter dan een super computer.

[Reactie gewijzigd door Verwijderd op 28 juli 2024 08:25]

[MeMoRy]

Ik vind het een beetje misleidend dat ze de performance uitdrukken in FLOPS. Daardoor krijg je van die appel-peer vergelijkingen met GPUs en CPUs. Tensor processing units zijn alleen goed in heel specifieke berekeningen. Je kan ze niet inzetten voor generieke processen.

[gamezfreak]

Betekent dit, dat als er bijv. een probleem is met de primaire server, dat de machine automatisch de backup server aanzet en alles overzet?

Of is dit meer bedoeld om complexe problemen te begrijpen?

[thomas1907]

dit is meer onderzoek qua machines die rontgenbeelden analyseren zoals @jip_86 zei in zijn comment

[jip_86]

Verkeerde

[Reactie gewijzigd door jip_86 op 28 juli 2024 08:25]

[sugarlee89]

Werken er serieus hardloopsters in deze datacenters?

Tenminste zie een zwarte spandex broek en hardloop schoenen.

[YopY]

Weet je hoe groot die dingen zijn? Minder sportieve mensen pakken de fiets

[DigitalExorcist]

Ze zouden die dingen eigenlijk gewoon "WOPR" moeten noemen, uit nostalgische overwegingen.

[aadje93]

google is geen advertentiebedrijf maar een webdiensten bedrijf, met onder andere analyse software, een advertentieplatform, een zoekmachine, een video platform etc...

[David Mulder]

Naja, de helft van Google is ongeveer een advertentiebedrijf, en de andere helft (ongeveer) is een webdiensten bedrijf wat via de advertentie helft z'n producten monetized. Op zich dus met je eens ja, maar om het advertentie deel geen advertentie bedrijf te noemen gaat misschien wel iets te ver .

Hoe dan ook, kan er persoonlijk ook niet tegen als mensen doen alsof heel google enkel een advertentie bedrijf is. Dat is ongeveer hetzelfde als Tweakers.net een advertentie bedrijf te noemen. Als advertenties plots globaal illegaal zouden worden (of als plots 100% van de populatie en adblocker zou gebruiken) dan zou zowel Google als Tweakers (waarschijnlijk) overleven, omdat hun producten nog steeds ook op andere manieren kunnen monetizen.

[aadje93]

haha tweakers is geen advertentiebedrijf, die bieden alleen ruimte aan voor advertenties die door datzeflde google grotendeels geserveert worden

[Verwijderd]

Tuurlijk joh, aanbieden van advertentieruimte doet Google natuurlijk niet. Met de 2 grootste sites ter wereld volgens Alexa: google.com en youtube.com.

[aadje93]

die door datzeflde google grotendeels geserveert worden

Lees ik nu verkeerd?

[kidde]

SMARTer: In Q1 2017 was Alphabet voor 86.5% van de omzet een advertentieverhandelsbedrijf.

https://abc.xyz/investor/...017/Q1_alphabet_earnings/

Ed: De andere takken maken 855 miljoen verlies in 3 maanden, dus zonder advertenties is Alphabet morgen zo bankroet als er roet komt uit een VW met sjoemelsoftware.

[Reactie gewijzigd door kidde op 28 juli 2024 08:25]

[David Mulder]

Geen flauw idee hoe je die link leest, maar:

- Google properties revenues: $17,403 million
- Google Network Members' properties revenues: $4,008 million
- Google other revenues + Other Bets revenues - Other Bets loss: $3,339 million - $855 miljoen

Dat tweede bedrag is Google het advertentiehandelbedrijf. Het eerste bedrag is Google die z'n eigen producten verkoopt via advertenties. En het derde bedrag is als ik het goed lees de niet-advertentie gerelateerde inkomsten van Google.

Moet zeggen dat ik dacht dat dat eerste bedrag een stuk dichter bij het tweede bedrag lag, maar goed: point in case; Google is nauwelijks een advertentie bedrijf te noemen.

[Reactie gewijzigd door David Mulder op 28 juli 2024 08:25]

[kidde]

Helaas, u heeft het volkomen niet begrepen... Wat is er zo moeilijk aan de regel 'advertizing -> 21 miljard' dat u niet begrijpt?

Google die haar eigen product verkoopt zijn de advertenties natuurlijk, de properties waarop ze de advertenties verkopen zijn (3e alinea) "Maps, Youtube, GMail, Google Play, en daarom zijn de 1e en 2e regel die u noemt opgeteld 17+4=21 allebei advertizing. Maar als u die cijfers verkeerd leest snap ik dat u mogelijk een totaal verkeerd beeld heeft van Alphabet.

Toegeven, ik heb er ook een hekel aan als feiten mijn mening in de weg staan

[Reactie gewijzigd door kidde op 28 juli 2024 08:25]

[David Mulder]

Ja nee, je maakt een erg populistische denkfout. Een makkelijke manier om Google beter te begrijpen is om bijvoorbeeld te kijken naar zo iets als Tweakers.net een aantal jaar geleden (of zelfs nu, maar de vergelijking was sterker een aantal jaar geleden). Tweakers.net product was het nieuws, forum en pricewatch. De manier hoe ze hun product monetizeden (sorry voor het Dunglish) was door middel van zelf verkochte advertenties. Zoals ik al eerder aangaf, dat product blijft waarde hebben zelfs al zou iedereen advertentie blokkeren (je monetized het dan simpelweg op een andere manier, bijv. een paywall + abbo). Dat maakt tweakers.net totaal geen advertentie bedrijf, want advertenties zijn niet hun hoofdproduct. Precies hetzelfde gaat ook op voor Google. Puur omdat 1 van hun producten Adsense is wat hun 4 miljard dollar opleverd, maakt dat nog niet alle andere producten ook een advertentiebedrijf.

[kidde]

Blij dat we het eens zijn dat Google behalve advertenties praktisch geen inkomsten heeft. U bent degene die de denkfout maakt, toen Whatsapp betaald zou worden liep iedereen weg, toen Youtube nog geen advertenties had was het verlies lijdend, toen Altavista's verdien model met klanten laten betalen voor hogere resultaat niet werkte (alternatief voor advertenties) waren ze ook zo failliet; Twitter maakte 2 miljard verlies in 10 jaar. Dus ja, Google is morgen failliet zonder advertenties zoals Hyves en MySpace ze voorgingen. Er is geen ander goed uitmelkmodel voor Google; ze zijn immers geen Tencent. Zeggen dat dit wil zo is, is hetzelfde als beweren dat Shell makkelijk overleeft als niemand meer olie koopt, en dat Shell om die reden geen oliebedrijf is, een gekunsteld potsierlijk ongeloofwaardig argument. Als er voor Google iets anders was had Google het al wel gedaan toch?

[David Mulder]

Wat ik stelde was dat als advertenties geen optie zouden zijn om te monetizen dan zou niemand meer via advertenties het redden om een mail dienst of zoekengine gratis online te zetten. Als dat gebeurd dan wordt het vanzelf normaal dat mensen betalen voor de diensten die ze gebruiken. Een puur advertentiebedrijf (Adsense op zichzelf) sterft compleet als iedereen adblockers installeert, maar dat is nu nou net het punt: Google heeft ook daadwerkelijke producten. En die producten verkopen ze op verschillende manieren. Ze monetizen (net zoals Tweakers) zowel via directe abbo sales (G Suite), als via advertenties. Het is simpelweg dat het gros van de mensen momenteel prefereert om via advertenties te 'betalen'. Zouden mensen een andere manier prefereren die net zoveel inkomsten oplevert dan zou Google daar snel genoeg naar toe switchen.

Je kunt er zo naar kijken:

- De gedachte bij een advertentie bedrijf is 'waar kunnen we verdienen door ads te plaatsen?'
- De gedachte bij de meeste internetbedrijven is 'we hebben een product, hoe kunnen we hier aan verdienen?'

Buiten het adsense deel van Google valt de rest van Google echt wel onder het tweede. Is volgens jouw Stackoverflow ook primair een advertentie bedrijf? Ze verkopen hun ads zelf en zover ik weet is dat hun enige bron van inkomnsten, dus dat zou ze nog meer een advertentiebedrijf maken volgens jouw definitie dan Google.

PropperlorAds Media is een typisch advertentie bedrijf, ze doen alle mogelijk tracking, mogelijk verkopen ze user data (hun ToS staat het toe in theorie), ze maken primair pop unders en het maakt hun geen bal uit hoe slecht de sites worden waarop hun ads staan.

Hoe dan ook: Punt is vooral, als jij Tweakers, Stackoverflow, nu.nl, Metro, etc. allemaal advertentiebedrijf noemt dan vindt ik dat compleet prima , zolang je maar consequent bent en niet enkel Google een advertentiebedrijf noemt (okay, Tweakers en nu.nl verkpoen hun ads niet (meer) zelf, maar goed, inkomstenbron blijft dezelfde).

[kidde]

-Tweakers is net als kranten (De Persgroep is eigenaar van zowel Tweakers als veel kranten), de Persgroep is (volgens hun zelf) een uitgever. Hun primaire rol is produceren en verkopen van geschreven tekst en video's, uitmelken door ads, dus Tweakers is een 'media'-bedrijf net als kranten, ze verkopen ook abonnementen.
-Google's primaire rol is het verhandelen van ads boven/naast geschreven tekst / video's die anderen gemaakt hebben, ze creeren zelf geen geschreven tekst / video's, ze verkopen praktisch geen abonnementen zoals De Persgroep dat wel doet, dus ze zijn een advertentie-vehandelbedrijf.

Waarom in 's hemelnaam zou iemand denken dat die twee groepen gelijk zijn? En waarom is het consequent bedrijven die wel en bedrijven die zelf geen geschreven tekst en video's produceren als 1 en hetzelfde te zien, er is toch gewoon verschil?

Ed - Letterlijke quote uit Aplhabet's 10-Q formulier, bij "Nature of Operations":
"We generate revenues primarily by delivering relevant,cost effective online advertising" --> Dus Alphabet geeft zelfaan dat ze een advertentiebedrijf zijn in hun formulier aan de beurswaakhond!

Stackoverflow lijkt meer op Google, omdat andere mensen voornamelijk de geschreven tekst produceren en niet zijzelf.

[Reactie gewijzigd door kidde op 28 juli 2024 08:25]

[David Mulder]

1) Google maakt geen geschreven teksten, behalve code en dus diensten van een complexiteit die je niet eens met Tweakers kunt vergelijken.
2) Google G Suite is anders percentueel gezien waarschijnlijk groter dan het percentage inkomsten dat Tweakers uit abbo's haalt, maar ik zou me kunnen vergissen. Punt is ieder geval, Google verkoopt wel degelijk abbo's.
3) Ja, knap hoor, je maakt een quote over revenue, wat automatisch gaat om waar het geld (vergelijk met last click) vandaan komt, niet waar de value van het bedrijf vandaan komt. Enkel bij Adsense is dat de gehele value van het bedrijf.
4) En vergeet ook niet dat een significant deel van Tweakers.net ook user submitted is.

[David Mulder]

Oh en trouwens, andere takken moet je niet Google other revenues vergeten. Google verdient ook prima via Business 2 Business sales via Compute Engine en G Suite (Gmail, Drive, etc. voor Bedrijven) . Dus die 'andere takken' maken op zich geen verlies, alhoewel X (moonshots enzo) natuurlijk wel flink verlies maakte, en dat is die 855 miljoen.

[Reactie gewijzigd door David Mulder op 28 juli 2024 08:25]

[_Thanatos_]

Google is wel degelijk een advertentiebedrijf. Alleen de manier waarom ze advertenties naar je toe slingeren, is nogal lucratief: ze proberen je binnen te lokken met allerlei fancy webservices. En dat werkt.

Ze hadden ook billboards kunnen gaan plaatsen. Dat soort bedrijven zijn ook advertentiebedrijven. Of wil je gaan zeggen dat billboard-bouwers slechts bedrijven zijn die het snelweg-landschap gezellig inkleuren?

[moijamie]

1) hier geld voor? We hebben het over google
2) wie zegt dat het voor "stalking" gebruikt gaat worden
3) Waarom zouden ze dat niet mogen, hun geld hun machine hun data

[_Thanatos_]

1) Hoe komt een advertentiebedrijf aan zóveel geld? Waarom vinden we dat niet griezelig?
2) Het is Google, dat is hun core-business. Mensen volgens en advertenties plaatsen. Of dacht je dat hun core-business is om heel lief te zijn en allerlei fancy webservices voor nop aan te bieden?
3) Ze doen maar, maar het is ONZE data waar ze mee aan het jongleren zijn.

[JackBol]

Dit tensor-computing cluster is erg geschikt om statistische analyse op te draaien. Ze gaan deze pods toevoegen aan de Google Cloud. Iedereen met een creditcard kan straks een job submitten naar dit beest.

[iamcj]

Welkom in de wondere wereld die evolutie heet.

[KoningsGap]

1. Omdat Google data verkoopt en daar veel geld voor krijgt.
2. Dat gaan we zien
3. Omdat ze dat nu ook al mogen.

[rachidfinge]

https://privacy.google.nl/how-ads-work.html

[KoningsGap]

Ah dank, ik was oprecht in de veronderstelling dat Google data verkocht.

[_Thanatos_]

Dat doen ze ook. Je verdient geen miljarden door allerlei fancy webservices voor niks aan te bieden. Anders zouden er wel meer zijn die dat doen.

[--jasper--]

Dus omdat Google iets zegt over hun eigen diensten is dat de waarheid?

[rachidfinge]

Als je een koper van die gegevens kent, hoor ik het graag.

[rachidfinge]

Als jij niet gelooft wat anderen zeggen, terwijl je geen bewijs hebt voor het tegendeel, dan weet ik het ook niet meer.

[Verwijderd]

Wat voor data zouden kopers dan van Google kopen? Emailadressen? Telefoonnummers? Zou je dan niet overspoeld worden met advertentiemails of telemarketing calls? Ik merk daar als consument niets van.
Als bedrijven die data zouden hebben (en die hebben ze niet), dan maken ze er wel extreem slecht gebruik van.

[--jasper--]

Wat ik bedoelde was dat ik het vreemd vind dat als ergens geen bewijs voor is de verdachte (in dit geval Google) dan wordt gelooft omdat zij zeggen dat ze het niet doen.

[David Mulder]

Geen bewijs voor, geen reden om aan te nemen dat het wel waar is, en markttechnisch een sterke motivatie voor Google om het niet te verkopen. Als Google die data verkoopt dan heeft dat twee consequenties: 1) Google's concurrentie koopt die data en kan plots super makkelijker concurreren. 2) Google krijgt een achilleshiel, want zodra dat publiek bekend wordt is het bye bye Google. Geen één gezond bedrijf wilt dat, vooral omdat iedere concurrent die zich wel netjes gedraagt het zou kopen en publiceren.

Haalt trouwens niet weg dat er (veel) bedrijven zijn die daadwerkelijk gebruikersdata verkopen. Kan het heeft niet zo snel vinden, maar was een groot en redelijk goed onderzoek gedaan naar dit onderwerp en dan schrik je toch wel hoeveel kleine bedrijfjes data verkopen. Staat dan wel (bijna altijd) 'netjes' in de gebruikersvoorwaarden dat ze gebruikersdata delen met derde partijen, maar blijft vreselijk.

Heb zelf ook een redelijk aantal webdiensten gedraaid, en met één daarvan (een twitter client, oauth) op een bepaald moment korte hype gehad waarbij ik van tienduizenden mensen hun twitter credentials + details had. Nooit misbruik van gemaakt, maar met de compleet algemene ToS die ik had had ik het volgens mij zelfs kunnen verkopen... verbaasd me niks dat mensen met een minder sterke ethiek en/of financiële situatie dan verleid worden.

[jip_86]

Oa röntgenbeelden analyseren op kanker enz.