Intel neemt deep-learningbedrijf Nervana Systems over

Intel neemt Nervana Systems over, een Amerikaanse start-up die zich specialiseert in kunstmatige intelligentie en deep learning. Intel wil met kennis die het door de overname verkrijgt zijn algoritmes en hardware voor kunstmatige intelligentie verbeteren.

Het overnamebedrag is niet bekendgemaakt, maar een investeerder zegt tegen ReCode dat het gaat om 408 miljoen dollar. Omgerekend is dat 367 miljoen euro. Volgens Intel zijn machine learning en deep learning de belangrijkste methoden om kunstmatige intelligentie te verbeteren. De chipfabrikant maakt al chips voor dergelijke toepassingen, zoals de Xeon Phi-processors.

Het Amerikanse Nervana Systems werd in 2014 opgericht en is volgens Intel een voorloper als het gaat om deep learning. De intellectuele eigendommen en de expertise van Nervana moeten Intel verder helpen om algoritmes te verbeteren. Intel zegt de softwarekennis van Nervana in te gaan zetten om de Intel Math Kernel Library te optimaliseren en te integreren in frameworks die in de industrie gebruikt worden. Tijdens het Intel Developers Forum-evenement dat volgende week van start gaat, zal Intel meer aandacht besteden aan de ontwikkelingen rondom kunstmatige intelligentie.

Intel kondigde in april een grote reorganisatie aan. De pc-markt krimpt en om winstgevend te blijven wil Intel zich omvormen. De processorfabrikant schrapt twaalfduizend banen en gaat zich meer richten op groeimarkten, waaronder deep learning.

Reacties (26)

[BeheGOD]

Ik kan best snappen waarom er zo veel geld wordt neergeteld voor dit bedrijf.
Nervana is meer dan gewoon wat mensen met kennis van zake. Dit is het bedrijf achter het deep learning framework Neon, een tegenhanger van Theano en van Google's Tensorflow.
Daarenboven is Nervana ook bezig met het ontwikkelen van hardware speciaal gericht op deep learning, dat de functionaliteiten van hun Neon-framework ten volle benut (net zoals Google dat ook voor hun deep learning doeleinden -lees: TensorFlow- heeft gedaan). Deze hardware, de Nervana Engine, zou beschikbaar moeten zijn tegen 2017.

Het enige wat voor mij nog een beetje vaag blijft is waarom ze met Intel in zee gaan. In de machine learning / deep learning wereld hoor je vooral Nvidia vallen als het gaat over hardware. Dit omdat er doorgaans gebruik gemaakt wordt van de GPU om de algoritmes te draaien, wegens de grote parallellisatie die mogelijk is met deze kaarten.

Voor de geïnteresseerden, dit artikel is best interessant en schetst kort de plaats van Intel in de deep learning wereld en hoe ook Nervana hierin past. https://www.technologyrev...e=twitter&utm_medium=post.


--edit: linkje toegevoegd, typo's, etc.--

[Reactie gewijzigd door BeheGOD op 24 juli 2024 08:45]

[Verwijderd]

Dit is het bedrijf achter het deep learning framework Neon, een tegenhanger van Theano en van Google's Tensorflow.

Ik ken eigenlijk niemand die Neon gebruikt. Tensorflow is nogsteeds in versie 0 en de adoptie is nog niet zo hoog. De meeste gebruikte frameworks in de valley zijn met zekerheid Caffe en Torch.
Ik kan deze overname goed duiden. Nvidia heeft losse CUDA libraries gemaakt (cudnn, dnn voor deep neural network) om specifiek DNN taken te versnellen - met dezelfde hardware gaan de dnn's gewoon nog sneller. En dit is ze goed gelukt, de performance boost die ik krijg is ongeveer x2.
Moet je nagaan, de GPU's zijn al een order of magnitude beter, en dan heeft NVIDIA een dozijn teams die het allemaal nog sneller maken, en daar zijn ze jaren geleden al mee begonnen.
Intel probeert dit nu in te halen en neemt daarom Nervana over. Deep learning scientists zijn niet aan te slepen in de valley, dus het makkelijkste is, als je een team wilt hebben, om gewoon een bedrijf over te nemen. Dat is wat Intel doet.

Nervana heeft inderdaad met NEON genoeg kennis van zaken om Intel te helpen hun CPU's sneller te maken, en dus misschien zelfs dedicated intel libraries te maken hier voor.
De reden dat NVIDIA ze niet overneemt is denk ik simpel weg omdat NVIDIA ze niet nodig heeft en al een top team heeft zitten, ben er paar weken terug nog geweest in santa clara.

Deze overname zat er al een beetje aan te komen; Nervana was ongeveer de enige grote deep learning specialist die nog niet was overgenomen, na dingen als DeepMind (google), MetaMind (Salesforce), en kleiner, maar onze trots Euvision (UvA, Qualcomm).

Een ander interessant punt (off-topic) is dat NVIDIA's top gaming GPU's een hoog volume hebben. Daardoor worden ze goedkoper. De Phi van Intel word niet gebruikt voor gaming, evenals Google's TPU chip, evenals de Nirvana Engine chip, deze hebben een veel lager volume en zijn dus relatief een stuk duurder. Mede daardoor blijft ook wat de hardware betreft (dus door ons gamers) een voorloper in de prijs van top-range chips.

[Reactie gewijzigd door Verwijderd op 24 juli 2024 08:45]

[BeheGOD]

Zeer mooie duiding, ook het laatste "off-topic" puntje dat je aanhaalt (kan geen score toekennen aan reacties op mijn posts blijkbaar...).

Ik weet persoonlijk ook niet wie of wat gebruik maakt van het Neon framework. Wel hoor ik dat Theano, vaak beschouwd al de "oerlibrary" nog steed veel gebruikt wordt, rechtstreeks of via de verschillende abstractie layers die er gebruik van maken (lasagne, keras,etc.).

Ik ben benieuwd wat de toekomst brengt, en vooral of Intel binnenkort echt de concurrentie aan kan gaan met Nvidia! Ik hoop in ieder geval va wel, want een beetje concurrentie stimuleert de innovatie!

[Rudie_V]

Waarom ze met intel in zee gaan? Het blijft gissen natuurlijk.. maar Intel is de beste hardwarebakker ter wereld en beschikt over wereldwijde distributiekanalen. Gezien nervana ook hardware ontwerpt is intel een goede koper die hun hardware flink kan versnellen in de ontwikkeling, maar ook de produktiemogelijkheden.
Intel ziet in dat gespecialiseerde chips naast normale CPU's de toekomst gaan worden. Zo hebben ze hun xeon Phi ontwikkeld, hebben ze dankzij de overname van altera de beschikking om fpga's te maken en te leveren naast hun xeon's en straks kunnen ze ook met deze overname weer andere chips voor naast de xeon cpu te gaan leveren voor deep learning.
En misschien is de intel neuromorphic chip ook een interessante technologie voor een bedrijf als nervana.
https://www.technologyrev...neuromorphic-chip-design/

[J_Gonggrijp]

Dank dat je ook de neuromorfe chips aanhaalt, dat is namelijk een interessante vergelijking wat betreft de hardware. Leuk dat ik hier op Tweakers ook eens iets over de harde technische kant kan schrijven.

(Mocht de volgende alinea niet helemaal bezinken, onthoud dan in ieder geval dat het doorrekenen van een standaard diep learning netwerk iets met vectoren en matrices te maken heeft.)

De overdracht van activaties tussen twee lagen in klassieke neurale netwerken laat zich beschrijven als een vermenigvulding tussen een vector en een matrix, die (dus) weer een vector oplevert. Daarbij bestaat de inputvector uit de outputs van de neuronen uit de eerste laag, de matrix uit de wegingen van alle verbindingen tussen de twee lagen, en de outputvector uit de inputs voor de neuronen van de tweede laag. Die inputs van de tweede laag worden vervolgens door een niet-lineaire activatiefunctie geleid om tot de outputs van de tweede laag te komen, die dan weer als invoer voor de volgende vector-matrix-vermenigvuldiging kunnen dienen. Zonder die niet-lineaire activatiefunctie zou een meerlaags neuraal netwerk altijd samengevat kunnen worden in één matrixvermenigvuldiging.

GPU's zijn goed in rekenen met vectoren en matrices, daarom zijn ze zo geschikt voor het versnellen van neurale netwerken. De Nervana Engine en de Google TPU (met dank aan Verwijderd die hier al veel meer over gezegd heeft) zijn specifiek gespecialiseerd in het versnellen van neurale netwerken, maar ze doen dat net als GPU's door goed te zijn met vectoren en matrices. ("Tensor" in de merknamen van Google is daar zelfs een zinspeling op.) Daardoor hebben ze een voordeel boven GPU's, maar niet een heel groot voordeel (iets vergelijkbaars is aan de hand met VPU's, zoals Iblies beschreef). Dat kan dus mede verklaren waarom Nervana voor Intel interessanter is dan voor Nvidia.

Neuromorfe chips zijn van een heel andere orde. Die werken niet met floating point getallen, zoals klassieke neurale netwerken, maar met pulse frequency modulation (pfm), net als natuurlijke hersencellen ("vuren", "spiking"). De manier waarop ze leren lijkt ook veel meer op de manier waarop natuurlijk zenuwweefsel dat doet. Nu is bekend dat natuurlijk zenuwweefsel veel efficiënter is dan een klassiek neuraal netwerk, en neuromorfe chips profiteren hiervan mee (zie link onderaan). Op de lange termijn kunnen we dus meer winst verwachten van neuromorfe chips dan van klassieke versnellers zoals de Nervana Engine en Google TPU. Dat maakt Intel weer interessant voor Nervana, zoals jij al aangaf.

Aanvullende info:
Engelstalige Wikipedia over Artificial neuron
MIT Technology Review over neuromorfe chips (iets ouder maar daarom niet minder boeiend)

[Updog]

Ik denk dat we in de komende jaren wel coprocessoren kunnen verwachten van Intel met nieuwe architectuur voor deep learning, ik vermoed dat ze hier gewoon zodanig veel geboden hebben dat ze niet kunnen weigeren om zelf een flinke stap vooruit te zetten in het ontwikkelen van de hardware.

Zelf tracht ik ook bij te leren over deep learning, met name via CudNN, enige tips voor lectuur of tutorials waar ik kan beginnen?

[BeheGOD]

Op aanvulling van de door tzaman aangehaalde Stanford ML cursus op coursera is ook deze online cursus aan te raden:
https://www.udacity.com/course/deep-learning--ud730
Ongeacht het framework dat je gebruikt zijn hier zeker wat praktische tips te rapen.

Verder vind je hier wel wat nuttige tutorials waar ook wat theorie op een meer "hands-on" manier aan de man wordt gebracht:
http://deeplearning.net/tutorial/contents.html

Als je eerder op zoek bent naar literatuur over NN en CNN, is deze blog zeker interessant:
http://colah.github.io/

Als je liever een klepper van formaat leest dan is volgende link ook wel fijn om lezen, maar er bestaan zeker ook andere bronnen en die kom je vanzelf wel tegen.
http://www.deeplearningbook.org/

En verder zoals tzaman al zei:

....
Ga vooral niet in cuDNN graven, da's veel te diep en alle duidelijkheid is weggeoptimaliseerd. Cudnn is vaak een vlaggetje wat je aanzet als soort van plugin.

En nog een kleine aanvulling: ook Nervana zelf heeft een deep learning lessenreeks online gezet: https://www.nervanasys.com/deep-learning-tutorials/

--edit: nervana cursus toegevoegd --

[Reactie gewijzigd door BeheGOD op 24 juli 2024 08:45]

[Verwijderd]

Stanford Machine Learning course op coursera.com.
Ga vooral niet in cuDNN graven, da's veel te diep en alle duidelijkheid is weggeoptimaliseerd. Cudnn is vaak een vlaggetje wat je aanzet als soort van plugin.

[bbob]

Ze gaan niet in zee met intel, ze worden gewoon gekocht. zo werkt het altijd. Bedrijf doet iets leuks. Reus komt voorbij met een dikke zak geld.
eigenaren denken leuk cashen of het zijn investeerders dus nu kunnen cashen en weer op naar een volgend product.

Daarnaast sta je als bedrijf op dit gebied ook sterker met een partner als intel die als hardware doet.

[DonJunior]

"Het Amerikanse Nervana Systems werd in 2014 opgericht .."

"Omgerekend is dat 367 miljoen euro"

Dat doe je niet verkeerd dan. Binnen 2 jaar je bedrijf een waarde geven van 367 miljoen euro!!

[Superkanjo]

En volgens Intel ook voorloper in Deep Learning, niet slecht inderdaad met 2 jaar. Nu weet je natuurlijk niet hoe Nervana Systems is ontstaan. Wellicht begonnen vanuit een ander bedrijf, zodat er al bij de start kennis aanwezig was.

[BeheGOD]

De CEO van Nervana heeft eerst bij Qualcomm gewerkt in de research afdeling. Ook zij waren toen al bezig met chips voor deep learning. Ze hebben uiteindelijk beslist om het onderzoek niet om te zetten in de praktijk, waarop de CEO van Nervana vertrokken is en Nervana daadwerkelijk opgericht heeft. (zie linkje in mijn reactie een beetje lager)

[blorf]

En dat voor een organisatie die eigenlijk alleen maar uit personen en kennis bestaat.

Maar ik krijg telkens sterker het idee dat we moeten gaan oppassen voor deze kunstmatige intelligentie. We zijn al heel sterk de controle over onze computers en dus onze informatie aan het verliezen aan systemen die duidelijk heel graag de baas willen zijn en verre van transparant zijn in hun doen en laten online.

[Reactie gewijzigd door blorf op 24 juli 2024 08:45]

[J_Gonggrijp]

Ik weet niet of dit je geruststelt, maar hedendaagse computersystemen hebben geen wil. Dat moet nog uitgevonden worden. Dat neemt overigens niet weg dat er gevaren kleven aan AI; dat volgt eigenlijk al uit het feit dat de techniek zoveel potentie heeft.

Als je wilt, mag je me hier wel wat vragen over stellen; ik ben afgestudeerd in AI.

[blorf]

Ik doelde niet zozeer op het gevaar van autonome 'intelligente' software maar op het nog meer vertroebelen en minder controleerbaar worden van zogenaamd 'onfeilbare' computersystemen waar we allemaal van afhankelijk zijn. Het gevaar zit hem niet in de AI technologie op zich maar in hoe erachter verscholen kan worden en het misbruikt kan worden om schijnbaar geautomatiseerd genomen beslissingen door te voeren.

Een heel ander punt dat hier naar mijn idee toch een sterk raakvlak mee heeft: de afgelopen +/- 10 jaar zijn we op de gemiddelde (mobiele) computer geen admin oftewel baas meer...

[Reactie gewijzigd door blorf op 24 juli 2024 08:45]

[geekeep]

Heb sowieso het idee dat we al een aantal jaren in een nieuwe bubbel zitten. Dit keer geen internet, maar bedrijven waarvan gedacht wordt de heilige graal in handen te hebben, enerzijds qua gebruikersdata en anderzijds qua smart/intelligent/[insert term voor nieuw] wat-dan-ook

[Reactie gewijzigd door geekeep op 24 juli 2024 08:45]

[djexplo]

Voor een bedrijf met 50 werknemers is dat geen klein bedrag, 7 miljoen per werknemer.

Zelf heb ik het idee dat kunstmatige intelligentie de nieuwe buble is, veel opgekochte bedrijven gaan nooit meer hun waarde opleveren.

[cariolive23]

En hoeveel geld is er sinds de oprichting in geïnvesteerd? Dat vertelt het verhaal niet.

Nou verwacht ik niet dat ze er slechter van zijn geworden, maar die 408 miljoen dollar is geen netto rendement.

[Bamieater]

Interessant, na Apple nu ook Intel. Het lijkt erop dat de grotere spelers een knowledge buy-in doen op het gebied van AI en machine learning. Wie is de volgende? :-)

Update: Nog wat onderzoek gedaan naar de achtergrond en inderdaad: Google, Twitter, Intel, Apple lijken in een race om AI startups op te kopen. Het gelinkte artikel is niet helemaal up-to-date, maar laat een mooie timeline zien van alle AI-acquisities.

[Reactie gewijzigd door Bamieater op 24 juli 2024 08:45]

[Relief2009]

Tja ze moeten wel, want beide partijen hebben geen kaas gegeten van AI en doen er ook nauwelijks research naar.

Google en Microsoft hebben eigen Research afdelingen + partnerships met universiteiten.

[Iblies]

Ze moeten niets. Google heeft ook meerdere projecten ingekocht die de ijskast zijn ingegaan of waarbij ze links en rechts zijn ingehaald door de realiteit. Daarbij moet je denken aan de bril maar ook het autootje lijkt stil te staan.

Microsoft heeft onlangs zelf aangetoond dat input cruciaal is. Bij gebrek aan (goede) input sta je er voor niets en heb je iets belachelijks.

Daarnaast is er ook nog eens het hardware-gedeelte. X86 zal het waarschijnlijk niet worden, Nvidia met gpgpu moet blijven schalen maar dat lijkt voor vele ook geen oplossing,
en er wordt al gekeken naar de volgende stap;
https://en.wikipedia.org/wiki/Vision_processing_unit
Lijkt op een gpu, alleen moet er weer zo veel mogelijk uit wat je niet wilt gebruiken. Met datgene wat je overhebt zou voor bepaalde doeleinden even snel moeten zijn en dan begint het riedeltje van schalen opnieuw.


De aankopen lijken me een teken van onmacht waarbij een ieder hoopt de heilige graal te hebben. In zulke gevallen staat er vaak een andere partij op die het wel voor mekaar gaat krijgen. Bij VR zag je dat de oculus een ongelooflijk budget had, maar er zijn er maar weinig die geloven dat het de standaard wordt.

[Verwijderd]

Niet zomaar een bedrijf. Een webshop of een autogarage is geen 400 miljoeb waard na 2 jaar. Niet eens na 100 jaar.

[cariolive23]

Niet zomaar een bedrijf. Een webshop of een autogarage is geen 400 miljoeb waard na 2 jaar. Niet eens na 100 jaar.

Amazon of Bol zijn wel meer waard dan 408 miljoen dollar. En dat waren ze volgens mij ook al na 2 jaar.

[PT-Scribble]

oftewel... livin' the dream.

start bedrijf...werk jezelf 2 jaar naar de kl*ten... rentenieren

[bits]

Het bijzondere aan Nervana Systems is niet alleen dat zij zich bezighouden met deep learning technieken, maar ook dat zij kijken naar de hardware. Hun product is dus gemaakt om rekening te houden met optimale aansturing van de hardware in gedachten. Intel zal met name geïnteresseerd zijn in de Nervana Engine, een eigen integrated circuit die gemaakt wordt waarmee de deep learning algoritmes sneller kunnen draaien.

De ontwikkeling van machine learning-software is al geruime tijd gaande, maar de ontwikkeling van machine learning-hardware staat nog in de kinderschoenen.

[Dannydekr]

Als je een Deep Learning startup opricht kun je er eigenlijk vanuit gaan dat je op relatief korte termijn overgenomen wordt door een grote speler zo lijkt het. Big business dus! Als je met een aantal knappe koppen bij elkaar komt en een goed idee hebt is dit echt het moment om er daadwerkelijk iets mee te gaan doen.