Nvidia presenteert Tesla T4-accelerator met Turing-gpu

Nvidia heeft de Tesla T4-accelerator aangekondigd, die voorzien is van een Turing-gpu met Tensor-cores en 16GB gddr6-geheugen. De kaart is bedoeld voor in datacenters waar gewerkt wordt met deep learning.

De Tesla T4 is een pci-e-x16-insteekkaart die voorzien is van een Turing-gpu met 2560 cudacores en 320 Tensor-cores. Van RT-cores maakt Nvidia geen melding, het lijkt dan ook om een aangepaste gpu te gaan waarbij de cores voor raytracing afwezig zijn. De Tesla T4-accelerator heeft een geheugenbandbreedte van 320GB/s en verbruikt 75 watt.

Nvidia geeft verder weinig details over de gpu, maar vanwege het aantal cudacores lijkt het te gaan om een kleine variant van de Turing-gpu, zoals de TU106 die in de RTX 2070-videokaart wordt gebruikt. Die variant van de gpu heeft 2304 cudacores en 288 Tensor-cores, maar ook 36 RT-cores. De Quadro RTX-kaarten hebben minimaal 3072 cudacores en zijn ook voorzien van RT-cores.

Volgens Nvidia is de kaart geschikt voor het trainen van machinelearningmodellen. De gpu-maker komt ook met TensorRT 5, een inference optimizer en runtime engine met ondersteuning voor de Tensor-cores van de Turing-gpu. Nvidia schaart het geheel onder de noemer TensorRT Hyperscale Platform.

In de aankondiging laat het bedrijf weten dat het Google Cloud Platform de Tesla T4 binnenkort gaat ondersteunen, ook fabrikanten van servers, zoals Cisco UCS, Dell EMC, Fujitsu, HPE en IBM Cognitive Systems zeggen het TensorRT Hyperscale Platform te ondersteunen.

Nvidia heeft geen prijs bekendgemaakt van de Tesla T4-accelerator. Het is de opvolger van de Tesla P4, die in 2016 werd aangekondigd en momenteel in de Pricewatch is te vinden voor ongeveer 2500 euro.

Nvidia Tesla T4

Door Julian Huijbregts

Nieuwsredacteur

13-09-2018 • 08:16

17

Lees meer

Reacties (17)

17
17
17
5
0
0
Wijzig sortering
Andere vernieuwing:
Tesla T4 delivers breakthrough performance for AI video applications, with dedicated hardware transcoding engines that bring twice the decoding performance of prior-generation GPUs. T4 can decode up to 38 full-HD video streams.
De timing van introductie is trouwens heel opvallend:
Maxwell
  • GeForce (GTX 970, 980): September 18, 2014
  • Quadro (M6000): March 19, 2015
  • Tesla (M6 & M60): August 30, 2015
Pascal
  • GeForce (GTX 1070, 1080): May 7, 2016
  • Quadro (P5000, P6000): July 25, 2016
  • Tesla (P4 & P40): September 13, 2016
Turing
  • GeForce (RTX 2070, 2080, 2080 Ti): August 20, 2018
  • Quadro (RTX 8000. 6000. 6000): August 13, 2018
  • Tesla (T4): September 12, 2018
Bij de Maxwell-architectuur zat er bijna een jaar tussen de introductie van de GeForce-kaarten en de eerste Tesla-kaart. Bij Pascal was die tijd al teruggedrongen naar een ruime vier maanden, maar nu bij Turing lanceert Nvidia de eerste Tesla-kaart binnen een maand! Dat betekend ook dat ze ofwel veel eerder aan de professionele drivers en het certificeringsproces begonnen zijn, of dit significant hebben weten te versnellen. Met de introductie van de Quadro-kaarten voor GeForce en met nu al een Tesla-kaart is het wel duidelijk waar de prioriteit voor Nvidia begint te liggen.

Tevens hebben ze ook twee nieuwe softwareplatforms geïntroduceerd: TensorRT 5 en TensorRT inference server
Er zijn vanuit diverse bronnen geruchten dat de nieuwe Geforce lineup al maanden eerder klaar was. Tot op het punt dat AIB's al waren gestart met packagen, maar toch weer terug moesten naar Pascal. Dit om bepaalde afnemers de kans te geven van de oude voorraden af te komen. Gezien dat verhaal zouden de 4 maanden van de vorige keer best nog stand kunnen houden.
Off Topic misschien: Ik vind het een grote eer dat nVidia Alan Turing eert door zijn naam te koppelen aan een dergelijk krachtige GPU. De Alan Turing die ondanks zijn baanbrekend werk om de Enigma te kraken tijdens WOII later toch bij het grof vuil is gezet enkel en alleen vanwege zijn geaardheid en hij letterlijk de dood is gepest/gejaagd.
Waarom zit er op dit soort kaarten geen ventilator?
Omdat ze vrijwel altijd in serverkasten gestopt worden die vaak al voorzien zijn flinke ventilatoren om lucht door de kast heen te duwen. Doordat het verbruik van de kaart niet zo extreem is in vergelijking met die van gaming GPUs is deze semi-passieve manier van koelen vrijwel altijd genoeg om het zaakje koud genoeg te houden.
Daar aan toevoegend, zoals je kan zien is de behuizing van de kaart open aan het uiteinde, dit is beide kanten zo. Binnenin zit enkel een heatspreader om het oppervlak dat warmte kan afgeven flink te vergroten.
Omdat de airflow door de kast en niet de kaart zelf geregeld wordt kunnen er zo heel veel van deze kaarten naast en achter elkaar geplaatst worden.

Overigens is de koelcapaciteit van zo'n serverkast niet mis hoor! En de hitte die 12 van deze kaarten naast elkaar afgeven ook niet. Passief kan je het niet echt noemen ;P
Het verbruik is vaak niet zo zeer minder. Maar ventilatoren werken gewoon niet goed in serverkasten voor dit soort dingen: lucht wordt van voor in de kast naar achteren geduwd, vaak door een groot aantal krachtige ventilatoren, en je wil graag niet te veel turbulentie in de luchtstroom.

Als je er dus een ventilator opzet zoals de founders editions hebben, dan wordt lucht van de voorkant geblokkeerd, en moet het via de zijkant komen, wat niet gunstig is. Zet je er een blower op zoals die de meeste kaarten hebben, dan wordt lucht alle kanten opgeblazen in een kleine ruimte, dus ook tegen de stroom in. Dat wil je ook niet.

Veelal wordt alles op het moederbord en alle insteekkaarten in de serverkast gewoon door de kast gekoeld, en dat is juist om koeling te optimaliseren, niet omdat het minder koeling nodig heeft.
Vaak zitten deze accelerators in server cases. Die blazen ontiechelijk veel lucht van de voorkant naar de achterkant. Dat is meestal genoeg voor dit soort kaarten en andere server componenten.
Ik vind de koeling in serverkasten juist erg slecht. Een hoop herrie en weinig airflow...tenzij het rack zelf nog actieve koeling heeft om de airflow te verbeteren.

[Reactie gewijzigd door OriginalFlyingdutchman op 26 juli 2024 06:35]

dat is omdat herrie geen issue is, maar compactheid wel. server koeling is prima toegespitst op wat het moet doen.
Een goede kast heeft daar geen problemen mee. Persoonlijk vind ik externe koeling het beste.
Dan heb jij geen oem servers gehad maar van die zelfbouw kastjes als chenbro, Inter tech etc. Een goede supernicro kast met juist moederbord en bijpassende heatsinks doet in 1u en 2u genoeg airflow voor fanloze koeling op cpu en gpu
Ik had ook gelezen wat ze met deep learning bedoelen , hier een linkje van Wikipedia voor de mensen die niet weten wat dat is:er zit zelfs spraak herkenning bij.
ik wis ook niet dat die kaarten zo duur zijn.

https://en.wikipedia.org/wiki/Deep_learning

veel leesplezier.

[Reactie gewijzigd door rjmno1 op 26 juli 2024 06:35]

De server-behuizingen worden zo ontworpen dat het net "wind-tunnels" zijn.
Als je aan de achterkant van zo'n kast staat, heb je even windkracht 8 om je oren.
Meer dan genoeg koeling!

EDIT: Windkracht 8 is natuurlijk overdreven...

[Reactie gewijzigd door NLRP050 op 26 juli 2024 06:35]

Met standaard behuizing valt dat wel mee. Met Blade enclosures daar heb ik wel idd de windkracht 12 idee.
Daarnaast moet je wel een juiste windflow maken in de serverruimte met koele inlaat.
Ook verbruikt deze kaart blijkbaar maar 75W. Veel warmte zal die dus niet genereren.
Jammer van deze nvidia kaarten is het ondoorzichtige prijsmodel. Bovenop de kaarten komen ook nog concurrent user licenties en ze werken niet met alle hypervisors (lees licenties) samen. Dus het is belangrijk om dit van te voren allemaal goed uit te zoeken.

Op dit item kan niet meer gereageerd worden.