Nvidia ontwikkelt software voor versnelling van getrainde neurale netwerken

Nvidia heeft in het kader van zijn GPU Technology Conference software aangekondigd waarmee getrainde neurale netwerken sneller worden op het gebied van inference, bijvoorbeeld het herkennen van objecten.

Bij de software gaat het om TensorRT 3, de opvolger van versie 2. De nieuwe versie is bedoeld voor gebruik met Nvidia's Volta-gpu's en moet volgens de fabrikant veertig keer sneller zijn dan een systeem dat alleen op cpu's draait. De Volta-gpu wordt toegepast in de Tesla V100-accelerator, die Nvidia in mei aankondigde. Met de nieuwe software moet de accelerator 3,7 keer sneller zijn dan de P100-accelerator met Pascal-gpu.

Nvidia zelf omschrijft de software als een 'high performance deep learning inference optimizer'. Neurale netwerken moeten eerst getraind worden om een bepaalde taak uit te voeren, bijvoorbeeld het herkennen van objecten. Dat gebeurt aan de hand van grote datasets. Als het neurale netwerk eenmaal getraind is, kan het voor die specifieke taak ingezet worden. Volgens Nvidia is inference het toepassen van het 'geleerde' op nieuwe data.

TensorRT moet deze activiteit versnellen, wat bijvoorbeeld tot lagere latency leidt bij taken die in real-time gebeuren, zoals het analyseren van videostreams. Daarvoor introduceerde het bedrijf de zogenaamde Deepstream-sdk. Ook op het gebied van zelfrijdende auto's en robots zijn toepassingen denkbaar, aldus de fabrikant. Concurrent AMD presenteerde in de zomer zijn eigen Radeon Instinct-accelerators op basis van Vega-gpu's.

Afbeelding via Nvidia

Reacties (20)

[DeArmeStudent]

Het valt mij op dat alles op het gebied van artificial intelligence door deep learning in een stroomversnelling gekomen is. Wat Nvidea hiermee eigenlijk doet, lijkt op het aanleggen van een bepaalde pathway voor het geleerde...iets wat in de hersenen op jonge leeftijd op grote schaal ook gebeurd door de witte massa...

Erg interessant

[Reactie gewijzigd door DeArmeStudent op 22 juli 2024 13:53]

[RobLemmens]

Het is meer dat we eindelijk de rekenkracht hebben om grote netwerken te trainen dat ai zo aanwezig begint te zijn voor iedereen. Neurale netwerken worden al lange tijd toegepast maar tot voor kort vooral in simpele vorm op plekken waar niet iedereen ze zou verwachten, zo rond 2000 begon deep learning vele toepassingen te vinden maar waren de netwerken te simpel om echt noemenswaardig beter te zijn dan een klassieke aanpak. Nu met enorme rekenkracht zie je dat het mogelijk is complexe netwerken te trainen en zie je meer en meer toepassingen ontstaan die eerder wel bedacht waren maar niet mogelijk geacht werden om door te rekenen op de toenmalige hardware

[BramVroy]

Het is inderdaad ongelooflijk hoe wij mensen al rond de Tweede Wereldoorlog begonnen na te denken hoe we het brein kunnen nabootsen op een mathematische manier. Dat is, zoals je je kan voorstellen, niet evident als je dit niet in de praktijk kan testen. Hoewel ik zelf geen wiskundige ben maar eerder een NLP/AI'er, heb ik enorm veel respect voor mathematici die eeuwen lang theorieën uitwerkten die pas veel later in de praktijk getoetst konden worden. Bij AI is het niet anders.

[bbob]

Het is in dit geval denk ik combinatie hardware en software waarbij de software de hardware die steeds sneller aan het worden is ook optimaal kan gebruiken.

Neem de standaard software benchmarks en je ziet dat onder windows de software vaak niet optimaal gebruik kan maken van de vele cores. In dit geval gaat het om software die een specifieke taak heeft en neem ik aan ook samenwerkt met hardware om daar het maximale uit te halen.

[Verwijderd]

Dat heet inspelen op de markt.

[DeArmeStudent]

Over markt gesproken, het is wel jammer dat AMD door het gesloten karakter van Nvidia's beleid iedere keer dezelfde techniek ook ontwikkelen moet, terwijl ze voor de vooruitgang beter samen kunnen werken. Physx was er 1 voorbeeld van. Door de R&D niet te mogen combineren, wordt er dubbel werk gedaan en is het resultaat dat de hardware van de ander minder goed uit de voeten kan met de door anderen (derde partij) ontwikkelde software. (Waar AMD meestal de dupe van is, omdat die eerder bereid is open standaarden te gebruiken waar nvidia van profiteert) Verder staat dit de ontwikkeling van artificiële intelligentie in de weg...

[Reactie gewijzigd door DeArmeStudent op 22 juli 2024 13:53]

[Kun]

Hier ben ik het niet mee eens. Wat we juist nodig hebben is concurrentie, maar AMD lijkt zich helemaal niet meer bezig te houden op dit moment met GPGPU's voor dergelijke toepassingen. Pas als iemand NVIDIA het vuur aan de schenen legt dan gaan we pas echt snelle vooruitgang zien.

[MsG]

Zou het ook werken als de simulaties zelf versneld worden? Zo las ik hier al eens dat bepaalde autonome autosoftware wordt getraind met GTA V, maar zou het dan ook handiger zijn om de auto's bij wijze van 1000km per uur laten rijden om zo veel meer input per tijdseenheid aan dit soort zelflerende systemen te kunnen geven? Of is dit een compleet onzinnige gedachte?

[Themperror]

Dat levert een compleet andere context, het maakt het process niet sneller.. Denk maar na, Wat zijn de potentieele gevolgen met een crash op 20-30km/h en bepaalde uitwijk manoeuvres die je kan hanteren op zoiets vergeleken met een crash op 1000km/h, daarnaast veranderd het hele gedachte process op hoe je bepaalde keuzes maakt, op 1000km/h ga je geen 2-baanse wegen op met tegeliggers, de windgolf die achter vandaan komt alleen al is genoeg om de andere eruit te laten vliegen. terwijl je met 80 km/h dit nog goed kan doen.

edit-

Daarnaast is het natuurlijk ook verschillend wat je het aan wilt leren.
Real-life situaties zoals verkeer kan je alleen sneller simuleren met fixed timesteps (waarbij 1 stap dan bijvoorbeeld 0.002 seconden is), en dan proberen zoveel mogelijk stappen te calculeren als je maar kan (Hardware snelheid limited)

Dingen zoals image recognition is in zichzelf al hardware limited, je kan maar zo snel calculaties uitvoeren, hierbij maakt de context van snelheid zelf weinig uit dus, je kan em wel proberen 5000 plaatjes te voeren per seconden, maar als zijn limiet al bij 2000 ligt gaat het er echt niet sneller op (zelfde idee als 9 vrouwen zwanger te maken om 1 baby in 1 maand te krijgen, uiteindelijk is de average 1 per maand ja, maar het kost wel minimum 9 maanden tijd).
Het enigste dat hier bij kan helpen is de algorithmes die gebruikt worden efficienter maken of natuurlijk nog meer computerkracht tegenaan gooien.

Natuurlijk een beetje basaal uitgelegd, maar het idee staat.

[Reactie gewijzigd door Themperror op 22 juli 2024 13:53]

[Cowamundo]

Ik denk wat @MsG bedoeld is dat je real life niet kan versnellen maar een PC game als GTA V bijvoorbeeld wel.
De auto's in het spel rijden nog steeds 50Km/h alleen wordt het allemaal 2x of sneller "vooruit gespoeld".
Zo krijg je dus in een kortere tijd meer data dan het spel laten spelen op normale snelheid.

Uiteraard moet je wel de computing power hebben om 2 of meer keer de hoeveelheid data te kunnen verwerken.
Correct me if i'm wrong.

[MsG]

Ja dat is inderdaad meer wat ik bedoelde, dat je de simulatie gewoon versneld draait, terwijl in-game nog de reguliere snelheden gelden, gewoon om zo meer data te krijgen in minder tijd. Je hoorde namelijk wel dat algoritmes nu soms best lang virtueel moesten rijden om echt goed te kunnen werken.

[deorder]

Dat kan uiteraard. Langzamer leren kan ook als hiervoor zware berekeningen nodig zijn die niet sneller dan real-time uitgevoerd kunnen worden. Het leerproces is hoe dan ook trager dan het uitvoeren van het netwerk. Het uitvoeren kan dan, nadat het netwerk getraind is, mogelijk wel real-time gebeuren.

[Reactie gewijzigd door deorder op 22 juli 2024 13:53]

[Themperror]

Jup, dat is dan ook waar het stukje na de edit over gaat.

[wimjongil]

Volgens Nvidia is inference het toepassen van het 'geleerde' op nieuwe data.

Niet alleen volgens Nvidia hoor, iedereen die ooit een statistiek vakje heeft gevolgd weet dit...

[marino_centrino]

Het artikel getuigt sowieso niet van een erg kritische journalistieke houding:

Nvidia heeft in het kader van...

...en moet volgens de fabrikant...

Nvidia zelf omschrijft de software als...

Volgens Nvidia is inference...

...zijn toepassingen denkbaar, aldus de fabrikant...

Gelukkig voegt de redacteur aan het eind nog een klein beetje journalistieke context toe aan het eind:

Concurrent AMD presenteerde ...

[Reactie gewijzigd door marino_centrino op 22 juli 2024 13:53]

[ZeroDarkThirty]

Al koppensnellend las ik in eerste instantie 'genderneutrale netwerken'.

[Zayl]

Je wordt misschien wel gedownmod, maar ik had dit dus ook.

[kaghy2]

Ik moet hier toch even op reageren, Als je inderdaad alleen de titel in vluggigheid leest kun je dat inderdaad lezen....

[Timfonie]

Zo zie je maar hoe neurale netwerken in je hoofd werken.

Vanaf nu is de combinatie "getrainde netwerken" in je hersenen enigzins getraind, zodat de kans kleiner is geworden dat "genderneutrale netwerken" trigger-prioriteit krijgt.

[Reactie gewijzigd door Timfonie op 22 juli 2024 13:53]

[Iva Wonderbush]

Cannot unsee: https://i.imgur.com/87gHSg7.jpg

Edit: Dit is gewoon off-topic jongens, niet zo snel minnen he

[Reactie gewijzigd door Iva Wonderbush op 22 juli 2024 13:53]