IBM en MIT beginnen onderzoeksprogramma voor 'machine vision'

IBM en het Massachusetts Institute of Technology hebben een samenwerking aangekondigd op het gebied van machine vision. Het onderzoek richt zich op het ontwikkelen van kunstmatige intelligentie die net als een mens geluiden en beelden kan interpreteren.

De samenwerking moet meerdere jaren voortduren en staat bekend onder de naam Laboratory for Brain-inspired Multimedia Machine Comprehension, oftewel BM3C. IBM legt uit dat het voor mensen bijvoorbeeld eenvoudig is om een beschrijving te geven van de gebeurtenissen in een korte video. Ook kunnen zij aan de hand daarvan voorspellingen over toekomstige gebeurtenissen doen. Voor een computer zou dit momenteel echter onmogelijk zijn. De twee organisaties willen kunstmatige intelligentie ontwikkelen die in staat is tot het herkennen van patronen en het doen van voorspellingen aan de hand van beeld en geluid.

Deze techniek moet toe te passen zijn in verschillende sectoren, waaronder onderwijs, vermaak en de zorg. MIT levert een team aan onderzoekers van de afdeling hersen- en cognitieve wetenschappen en het laboratorium voor computerwetenschappen en kunstmatige intelligentie. IBM draagt daar kennis aan bij die is opgedaan aan de hand van het Watson-platform. Dit wordt momenteel voor veel verschillende doeleinden ingezet, bijvoorbeeld voor het stellen van diagnoses bij ziektes of het beveiligen van netwerken. IBM en MIT zijn niet de enigen die aan dit soort toepassingen werken, zo lieten Google en Stanford in 2014 bijvoorbeeld een neuraal netwerk situaties op foto's en video's herkennen. Facebook maakte onlangs zijn kunstmatige intelligentie voor beeldherkenning open source.

De samenwerking met MIT is volgens IBM onderdeel van een groter programma, waarin het bedrijf op het gebied van kunstmatige intelligentie samenwerkt met verschillende wetenschappelijke instellingen. Zo is er ook een programma opgestart met het Rensselaer Polytechnic Institute om onderzoek te doen naar de manier waarop mensen en machines beter samen kunnen werken. Samen met de universiteit van Maryland werkt IBM daarnaast aan een manier om via machine learning beveiligingsprofessionals bij te staan in hun werk. Andere coöperaties richten zich op het natuurlijk communiceren met computers en het begrijpen van taal, spraak en zicht aan de hand van deep learning-algoritmes.

Reacties (17)

[bbob]

Mooi verhaal en wat ik mis is wat doet europa op dit gebied ?
Lopen we hierin achter op de USA en andere landen.

[unclero]

Dat is absoluut niet zo. Machine vision, en computer vision, zijn zaken waar wel degelijk veel aandacht voor is, door zowel universiteiten als bedrijven.
Zo even uit mijn hoofd weet ik dat zowel Bosch als Siemens hier hordes programmeurs op hebben zitten. Ook in Nederland zijn er een paar veelbelovende startups mee bezig (namen niet genoemd wegens veiligheidsredenen) die ik zeer indrukwekkende dingen heb zien doen.

Er wordt alleen niet zo heel erg veel ruchtbaarheid aan gegeven. Voornamelijk omdat het voor het grote publiek toch maar een heel lastig te bevatten onderwerp is. Ten tweede omdat we deze technologie voornamelijk inzetten in de industrie (zijn die pizza's op de lopende band wel gelijkmatig belegd?), beveiliging (loopt die man nu met die rol koper van de werkplaats weg of naar de werkplaats toe?) en een klein beetje de zorg (is Mevrouw Janssen van 93 nou gevallen, of is ze haar lens kwijt?). En dat zijn meestal niet onderwerpen waar veel mensen snel warm voor te krijgen zijn.

Misschien moeten we dat maar eens wel doen. Dat Amerikanen erg wild worden van "oh, nu is er een optie dat je automagisch je vrienden kan laten taggen in je foto's van die fissa van gister" verbaasd ons misschien. Maar die zien dan wel dat er met zoiets banaals miljoenen mee verdiend kan worden. Wij komen in dat op zicht niet verder dan "hey, ik heb een systeem die kipfilets op de lopende band kan tellen.. oh, en een optionele module waarmee je terroristen mee kan detecteren, maar die laten we achterwege, want dat kunnen de meeste overheden toch niet betalen (hoi Antwerpen, Brussel)".

[Verwijderd]

Er is maar 1 verschil tussen VS en hier. Daar krijgt een kleine groep mensen miljoenen terwijl miljoenen mensen daar echt sociaal achtergesteld zijn armoede worst doorgegeven aan volgende generaties zoals in 3e wereldlanden. Die prijs wil ik zeker niet betalen om vrienden te kunnen taggen op sociale media.

Minder geld hier betekent dat geld moet komen van echte voordelen waar klanten voor willen betalen en niet aandelenkoersen die voornamelijk gebaseerd zijn op hete lucht die voor een volgende bubble.

[Outerspace]

Europa heeft ook diverse trajecten ingezet, misschien alleen niet met zo'n grote speler als IBM.
Houd http://www.imveurope.com/ maar eens in de gaten, leuke zaken komen daar in naar voren.

[naitsoezn]

Gebeurt genoeg op dit gebied in Nederland hoor. Qualcomm heeft nog niet zo heel lang geleden een Nederlandse startup overgenomen, zie bv nieuws: Qualcomm neemt Nederlands bedrijf voor beeldherkenningstechnologie over. Zo zijn er nog wel meer kleine bedrijfjes en grotere universiteitsgroepen die op dit gebied onderzoek doen.

[rjmno1]

ja misschien wel.
Volgens mij is dit de eerste stap voor een serieuze robot te maken.
Of althans programmeerbare software voor kunstmatige intelligentie.

Het zal lang duren voordat we een goede t 800 hebben maar dan natuurlijk niet voor oorlog te voeren.
eindelijk beginnen ze daaraan ik ben best enthousiast .
Maar ik een beetje huiverig daarover, alleen al als ze het voor elkaar krijgen zal het lang duren voordat ze kunstmatige intelligentie echt toepasbaar kunnen maken in de praktijk.
Het elektronische brijn zal van alles moeten leren voor aan oplossingen te komen die wij als mens vanzelfsprekend vinden.

Kan niet wachten dat ik een zelfdenkende pc heb die mijn bijvoorbeeld mail nakijkt en automatisch deze tweakers website in de achtergrond al laadt.
Zodoende op deze manier zou kunstmatige intelligentie sneller zijn dan dat ze nu al zijn.
de toekomst zal het leren.

[Reactie gewijzigd door rjmno1 op 30 juli 2024 18:44]

[Verwijderd]

Hoezo mooi verhaal? Is het niet beter met mensen samen te werken dan met machines? Dit gaat banen kosten.

Ik vind dit getuigen van een knap staaltje gebrek aan technorealisme, wat deze lui onderzoeken. Het wordt voorgesteld als nuttig voor o.a. zorg.

Wel, als pedofilie het argument is om allerlei terreur maatregelen en wetten in te voeren, dan is de 'zorg' het excuus voor universiteiten om dingen te onderzoeken die bedenkelijk zijn. Want deze technologie blijft niet natuurlijk niet bij zorg en onderwijs. Dit gaat ook door overheden gebruikt worden en raad maar waarvoor.

Wetenschap kan lekker doen wat ze willen. En sommige van die lui zijn rücksichtslos. Wetenschappers malen er niet om wat hun vindsels doen met de samenleving, want hun persoonlijkheid zit zo in elkaar dat ze nieuwsgierigheid tot boven alle andere consideraties verheffen. En ze vinden het leuk en wel, de huur moet ook gedokt worden.

[Verwijderd]

Is het niet handiger voor iedereen als ze zich aanmelden bij itseez om mee te werken aan OpenCV 3.x? om nou weer een eigen ding te maken is ook zo elitair ('wij zijn MIT dus we weten het beter') terwijl OpenCV al jaren de standaard is in de industrie, en nog steeds actief ontwikkeld word.

[unclero]

Omdat wat je ermee wil, wat je ervoor nodig hebt, waar je het op wil draaien, en dat soort vraagstukken bij de verschillende libraries vaak mijlenver uit elkaar liggen. Dat is zoiets als zeggen "Linux is al jaren de industriele standaard, dus iedereen moet het gebruiken."

OpenCV is een zeer goed, toch redelijk compact pakket. Dat moet je niet willen gaan uitbreiden met een heel neuraal netwerk, en wat daar nog meer aan hangt.

Tegelijkertijd is OpenCV fantastisch als je een overdekte statische opstelling hebt, waar stroomverbruik en formaat hardware van ondergeschikt belang zijn (lees: de industrie). Op het moment dat het naar buiten moet, mobiel moet zijn of gevoed moet worden door de aanstekeraansluiting op een voertuig of onder een paar zonnepanelen, dan is het al gelijk een ander verhaal. En ja, ik weet dat je best OpenCV op een Raspberry kan draaien, maar real-time VCA over een HD videostream binnen een marge van 50 milliseconden is echt andere koek.
Ik mag in Israel regelmatig aardig wat fantastische VCA-oplossingen bekijken, en ik vraag ook graag "waarom niet OpenCV?". Dan is het antwoord meestal: mag niet te groot zijn, niet teveel stroom verbruiken, niet te warm worden, niet te veel kosten. De vraag die ze stellen is meestal: meer hardware erop solderen of meer programmeurs inhuren? En dan valt de keuze altijd op die laatste.

[hgaiser]

Ik snap wat je bedoelt, maar ik ben het er niet mee eens

Als je lang met OpenCV werkt kom je er achter dat OpenCV lang niet altijd geweldig is en veel fundamentele mankementen heeft, die op te lossen zijn als je de basis aanpast (bijvoorbeeld het kunnen checken van operaties in compile tijd, iets wat Eigen wel doet, het kunnen aangeven van de colorspace in een cv::Mat, betere integratie met andere libraries zoals Eigen, Caffe, etc.).

Het zodanig aanpassen dat dit opgelost is, is zodanig veel werk dat je net zo goed van scratch kan beginnen, dan hopelijk een goede basis opzetten en dan eventueel gewenste algoritmes porten van OpenCV. Bovendien als je de basis aanpast of opnieuw begint geeft beide hetzelfde resultaat, je bent niet compatible met de oorspronkelijke OpenCV.

tl dr;
Ben het met je eens, maar OpenCV is een slechte keuze voor een basis en een beter alternatief bestaat er naar mijn weten niet.

[Reactie gewijzigd door hgaiser op 30 juli 2024 18:44]

[Verwijderd]

Hoewel je helemaal gelijk hebt dat OpenCV soms een beetje rommelig/raar is, is dat juist wat ze met V3 aan willen pakken, ze zijn de code aan het herschrijven/herstructureren.

[hgaiser]

Helemaal mee eens en ze zijn goed bezig, maar er is naar mijn mening meer nodig dan wat ze tot nu toe hebben gedaan. En wat er nodig is zullen ze waarschijnlijk niet doen omdat dat de basis drastisch verandert, kan ik ze ook niet kwalijk nemen.

[J_Gonggrijp]

Het onderzoek richt zich op het ontwikkelen van kunstmatige intelligentie die net als een mens geluiden en beelden kan interpreteren.

Tsja, het klinkt allemaal erg deftig, maar zo'n vaart gaat het niet lopen. Een paar quotes uit de press release van IBM, met ondertiteling van mijzelf:

The BM3C will address technical challenges around both pattern recognition and prediction methods in the field of machine vision that are currently impossible for machines alone to accomplish.

"We kijken nog eens goed naar bepaalde moeilijke problemen met betrekking tot patroonherkenning en voorspelling."

“In a world where humans and machines are working together in increasingly collaborative relationships, breakthroughs in the field of machine vision will potentially help us live healthier more productive lives,” said Guru Banavar, Chief Scientist, Cognitive Computing and VP at IBM Research. “By bringing together brain researchers and computer scientists to solve this complex technical challenge, we will advance the state-of-the-art in AI with our collaborators at MIT.”

"Als dit probleem zou worden opgelost, zou dat vast en zeker allerlei voordelen hebben. Door mensen bij elkaar te brengen in een poging om het probleem op te lossen, zullen we het vakgebied een stukje vooruithelpen."

The BM3C will be led by Professor James DiCarlo, head of the Department of Brain & Cognitive Sciences (BCS) at MIT, [...]

“Our brain and cognitive scientists are excited to team up with cognitive computing scientists and engineers from IBM to achieve next-generation cognitive computing advances as exposed by next-generation models of the mind,” said Jim DiCarlo. "We believe that our fields are poised to make key advances in the very challenging domain of unassisted real-world audio-visual understanding and we are looking forward to this new collaboration."

"Jottum we gaan samenwerken. We geloven dat we belangrijke vooruitgang gaan boeken in dit moeilijke probleem."

Concreet: onderzoekers van MIT en van IBM die eigenlijk al een hele tijd onderzoek doen op dit vlak, gaan daar nu mee verder in een samenwerkingsverband. En ja, dat zal het vakgebied ongetwijfeld weer een beetje verder helpen. Voor de wetenschappers bij MIT betekent dat waarschijnlijk meerdere publicaties over specialistische deelaspecten van patroonherkenning in audio en video, die ze dankzij de expertise en het materieel van IBM makkelijker kunnen onderzoeken. Voor de ontwikkelaars bij IBM betekent dat hopelijk verkoopbare spin-offs die ze zonder de onderzoekers van MIT misschien niet zo snel hadden gevonden, bijvoorbeeld in de vorm van een nieuwe module voor Watson. Misschien classificatie van hartslaggeluiden. Plus publiciteit.

Beide partijen gaan dus voor de kortetermijnwinst. Zo gaat het altijd in dit vakgebied. De nieuwe inzichten zullen iets waard zijn, maar ze gaan gewoon op de enorme berg van inzichten die er al zijn. Dat gaat al zo sinds de geboorte van het vakgebied in 1956 en we zijn sindsdien geen stap dichterbij een sterke/algemene AI gekomen. Het is alsof we een zandkasteel proberen te bouwen door losse zandkorrels op een hoop te gooien. Ook al doen we dat soms met tientallen korrels tegelijk, en ook al zitten er inmiddels vele kilo's zand in de hoop, hij blijft er altijd uitzien als een duin.

Op dit moment kan de software van grote bedrijven als Apple en Google veelvoorkomende zaken herkennen op foto's, zoals bomen en een strand. Als BM3C erg vruchtbaar blijkt, kunnen we daar over een paar jaar misschien wel omslaande golven in een video en geritsel van blaadjes in een geluidsopname aan toevoegen. Maar geluiden en beelden interpreteren zoals een mens dat kan? Ik (MSc in AI) zie het voorlopig nog niet gebeuren.

[Reynouts]

Dat maakt dit onderzoek toch niet opeens minder relevant?

Zoals je zegt, zal dit bijdragen aan de vooruitgang in het specifieke vakgebied van computer vision. Jij wil blijkbaar een sterke/algemene AI.. dat zal je niet zomaar ergens vandaan kunnen toveren. Daar heb je talloze specialistische vakgebieden voor nodig, die zich allemaal verder moeten ontwikkelen (Er zal iets beters moeten komen dan machine learning, wil je dit echt bereiken).

Ik (MSc in AI) juich dit soort ontwikkelingen toe, ook al is het volgens jou kortetermijnwinst. Het draagt gewoon bij aan het inzicht in wat we wel/niet kunnen en hoever we de huidige technieken kunnen pushen.

[J_Gonggrijp]

Het gaat mij erom dat mensen meteen denken dat hier een grote doorbraak bereikt is (of gegarandeerd bereikt gaat worden). Zie de openingsalinea van het nieuwsbericht hier op Tweakers en het merendeel van de reacties. Dit soort reacties worden aangewakkerd door de wervende manier waarop bedrijven als IBM (uiteraard) hun nieuwe projecten aankondigen.

Ja, het is allemaal heel goed en nuttig dat dit soort samenwerkingsverbanden worden aangelegd, maar ik probeer het kroegpraatgehalte een beetje te verminderen. Daarnaast ben ik het niet met je eens dat we nog meer ontwikkeling binnen specialistische vakgebieden nodig hebben om tot een sterke AI te kunnen komen. Dat is erg reductionistisch gedacht: we hebben het geheel niet omdat we de puzzelstukjes nog niet compleet hebben. Volgens mij is het juist tijd om alle inzichten die we al hebben eindelijk eens te integreren. Niemand doet dat echter, want zo'n project wordt pas op de lange termijn misschien rendabel.

Je schreef ook: "Er zal iets beters moeten komen dan machine learning, wil je dit echt bereiken". Wat bedoel je daarmee? Volgens mij zal machine learning een noodzakelijk ingrediënt zijn van een sterke AI, want anders moet de programmeur alle kennis en vaardigheden voorkauwen. Misschien bedoel je dat de huidige trend om absurd veel brute kracht op een inefficiënt gesimuleerd neuraal netwerk te gooien omdat dat voor grote bedrijven nu eenmaal betaalbaar is, ons er niet gaat brengen? Daar ben ik het namelijk wel mee eens.

[bush]

MS heeft ook zijn cognitieve services die nu reeds beschikbaar zijn.
https://www.microsoft.com/cognitive-services

[Mic2000]

Ik begin hier wel een beetje kriebels van te krijgen. Laatst Deepmind dat de menselijke stem zo goed kan imiteren dat ik niet meer kan zeggen of het een computer of mens is. Nu in dit artikel onderzoek naar herkennen van beeld en geluid.

Hoe meer schakels ze van de keten weten te na te maken en deze uiteindelijk zodanig opzetten dat die met elkaar verbonden worden, voorzie ik dat er straks wel degelijk een ai komt die ons voorbij streeft.