Het Amerikaanse bedrijf Cerebras heeft zijn Wafer Scale Engine onthuld: een chip met een oppervlakte van 46.225mm² die is opgebouwd uit 1,2 biljoen transistors. De omvangrijke chip is bedoeld voor berekeningen voor kunstmatige intelligentie.
De Wafer Scale Engine, zo genoemd omdat hij praktisch een hele wafer in beslag neemt, meet 21,5x21,5 centimeter. Cerebras Systems zet de chip met zijn oppervlakte en 1,2 biljoen transistors tegenover de Volta V100 van Nvidia, die 21,1 miljard transistors met een oppervlakte van 815mm² combineert. TSMC fabriceert de Cerebras-chip op 16nm.
De vierhonderdduizend cores van de chip zijn geplaatst in een meshnetwerk met gedistribueerd 18GB sram. De chip heeft verder geen cache en volgens de fabrikant is dit een van de voordelen tegenover het gebruik van gpu's voor ai-berekeningen. "Deeplearningberekeningen vereisen rekenkracht met veelvuldige toegang tot data. Hierbij is het noodzakelijk dat rekenkernen en geheugen dicht bij elkaar staan. Dat is niet het geval bij gpu's waar het grootste deel van het geheugen langzaam is en op grote afstand."
De geheugenbandbreedte van de Wafer Scale Engine is dankzij zijn architectuur 9 petabytes per seconde en gecombineerd is de bandbreedte 100 petabits per seconde. Volgens de makers zijn de zogenoemde Sparse Linear Algebra Cores van de chip speciaal ontworpen voor ai-berekeningen en hebben de programmeerbare cores geen overbodige onderdelen om de overhead te minimaliseren.
Op de chip zijn 84 'tegels' in een raster van 7 bij 12 geplaatst. Elke tegel bevat 4800 cores met elk 48 kilobyte sram. De compiler van Cerebras zet TensorFlow- en Pytorch-modellen voor deeplearningberekeningen om in machinetaal, zodat de engine deze kan verwerken, en libraries met microcode verdelen de rekentaken verder over het netwerk, schrijft EETimes.
Volgens Cerebras treden er bij produceren van een chip van deze omvang onherroepelijk defecten op maar het bedrijf trad bij de presentatie op de Hot Chips-conferentie niet in detail over de yields, oftewel de opbrengst. AnandTech was bij de presentatie. Wel zei het bedrijf dat de werking van niet-functionele cores opgevangen kan worden door omliggende rekenkernen. Omdat zoveel cores op een oppervlak geplaatst zijn is traditionele luchtkoeling ontoereikend en is waterkoeling vereist volgens de maker. Veel details over de chip, zoals kloksnelheden en prijs, zijn verder nog onbekend.