Microsoft en Facebook maken ai-frameworks interoperabel

Microsoft en Facebook kondigen het Open Neural Network Exchange-formaat aan. Het opensourceproject van beide partijen zorgt voor interoperabiliteit bij hun frameworks voor kunstmatige intelligentie, wat tot brede optimalisatie moet leiden.

Specifiek gaat het bij Open Neural Network Exchange om de representatie van neurale netwerken. Ontwikkelaars maken hiervoor computation graphs, maar elke framework heeft hiervoor zijn eigen formaat. Als ontwikkelaars tijdens de onderzoeksfase voor de eigenschappen van het ene framework kiezen, maar bij de productiefase eigenschappen van een ander framework verkiezen, kost de conversie van de representatie kostbare tijd.

Frameworks die het onnx-formaat gebruiken versimpelen die conversie. Daarnaast kunnen organisaties die de prestaties van neurale netwerken willen verhogen, zich makkelijker op meerdere frameworks richten door de onnx-representatie te gebruiken. Microsofts Cognitive Toolkit en het oorspronkelijk door Facebook ontwikkelde Caffe2 en PyTorch ondersteunen het Open Neural Network Exchange-formaat, meldt Microsoft. De code en documentatie voor het project is op GitHub gezet.

Reacties (14)

[Verwijderd]

Caffe2 en PyTorch worden beiden beheerd door Facebook; ze gebruiken Caffe2 voor deployment en inferencing, terwijl de onderzoekers PyTorch gebruiken. Veel van de backend code (computations), en de beschrijving (topologie) van het netwerk willen ze natuurlijk samenvoegen (om niet 2x hetzelfde te doen) dus dit is daarvan een natuurlijke ontwikkeling. Blijkbaar werkt dit formaat ook al samen met Microsoft's CNTK.

De reden dat dit er nog niet was, niet triviaal is, en er niet zomaar zal komen, is dat sommige frameworks verschillend in elkaar zitten en verschillende aannamen maken, voor dezelfde reden dat Keras in de huidige staat niet zomaar zal werken met non-static graphs (zoals PyTorch): de frameworks werken anders.

Voorbeeld is een convolution laag (bouwsteen van de meeste netwerken die met images werken); binnen de werking daarvan maakt (Google's) Tensorflow bijvoorbeeld verschillende aannamen dan de andere frameworks die niet zomaar zijn op te lossen. Daarom bestaan er ook geen correct werkende "TF<->Caffe" converters. Zo is er bijvoorbeeld de asymmetric padding/anchoring discrepancy (source).

Het is dus een gaaf initiatief, maar het onderhoud en compabiliteit word erg lastig. Voorlopig is het vooral handig voor Facebook intern, om tussen hun Caffe2 en PyTorch te switchen.

[Reactie gewijzigd door Verwijderd op 30 juli 2024 03:53]

[Fred-Erik]

Weet jij misschien hoe dit onnx-formaat zich verhoudt tot het recent aangekondigde TVM en TensorFlows XLA? Ik vind vooral TVM erg interessant omdat het op twee niveau's optimalisaties mogelijk maakt van neurale netwerken, en dat dit blijkbaar zo goed werkt dat ze in het voorbeelden al meteen Nvidia's CUDNN implementaties van de bouwstenen van neurale netwerken voorbij streven.

[dasiro]

nu die andere 2 grote nog meekrijgen: Intel en IBM

[Verwijderd]

Juist ja: https://xkcd.com/927/

MS en FB AI's: gezien de geschiedenis kan de AI van het Ministerie van Waarheid va FB dan de MS AI gaan overtuigen dat Mexicanen geen verkrachters en dieven zijn die het beste opgeruimd kunnen worden.

[vinx77]

Khronos (bekend van Vulkan, OpenCL en OpenGL) heeft sinds oktober 2016 een open standaard hiervoor: Neural Network Exchange Format (NNEF).

The Khronos Neural Network Exchange Format (NNEF) is designed to simplify the process of using a tool to create a network and running that trained network on other toolkits or inference engines. This can reduce deployment friction and encourage a richer mix of cross-platform deep learning tools, engines and applications.

Dus ik begrijp niet helemaal waarom Khronos-lid Microsoft niet gewoon NNEF gebruikt, want er is veel enthousiasme voor NNEF bij de andere AI-frameworks. Facebook is geen lid van Khronos, dus dat kan een reden zijn. Ik lees dat bij Bits&Chips ze wel op NNEF zijn ingegaan en dezelfde vraag hebben: https://www.bits-chips.nl...-uitwisselbaar-50224.html

[jmerle]

Niet alles wat met Microsoft of Facebook te maken heeft is direct privacy-schending.

Alle genoemde libraries zijn open-source, en ze willen simpelweg krachten bundelen om zo nog meer te kunnen optimaliseren. Dit heeft niks met privacy te maken.

[Manke]

Momenteel niet. Maar ze kunnen de ai loslaten op alle opgeslagen data en in tijden van verdrukking tegen mensen gebruiken.
Nu gaat het ws gebruikt worden om gericht reclame te tonen wat bij de persoon past, er wordt dus al geprofileerd.

[Reactie gewijzigd door Manke op 30 juli 2024 03:53]

[jmerle]

Dat zou inderdaad mogelijk zijn (al is het een beetje ver gezocht), maar dat zouden ze ook kunnen zonder deze publieke samenwerking. Het zou wellicht zelfs strategischer zijn om het niet publiek te maken als het doel het ontwerpen van een onderdrukkings-middel is. Doordat ze het ook zouden kunnen zonder deze samenwerking kan je stellen dat het juist positief is om het publiek te maken, omdat het nu tenminste mogelijk is voor andere bedrijven/particulieren/studenten om gebruik te maken van de gebundelde krachten van twee grote bedrijven, ongeacht of deze twee bedrijven er kwade bedoelingen naast hebben.

[Reactie gewijzigd door jmerle op 30 juli 2024 03:53]

[mikesmit]

Wanneer heeft Microsoft jouw privacy geschonden? Juist net zo vaak als Google. Punt is dat bedrijven als Microsoft, Google en Apple moeilijk uit ons leven zijn te houden.

En onderbouw je voorspelling aub ook een beetje. Wat je nu doet lijkt meer op dom schreeuwen om verandering maar niet zelf beginnen

[Verwijderd]

Ze doen het in ieder geval niet met hun mail service. Ze scannen je mail zodat je kan zoeken, maar je krijgt geen targeted ads zoals bij Gmail.

[KorneelB]

gewoon niet waar. diensten die privacygevoelige informatie bevatten worden regionaal gehost en volledig in lijn met de wet en regelgeving van het betreffende land. zo heeft Duitsland zelfs haar eigen O365 cloud om te voldoen aan de regelgeving.
Verder is Microsoft ook een van de weinigen die actief in gaat tegen verzoeken van de amerikaanse justitie ten opzichte van data in het buitenland.

volledig uit de lucht gegrepen je opmerking.