Meta brengt AI-project om tekeningen te animeren opensource uit

Meta heeft Animated Drawings opensource beschikbaar gesteld, een tool die tekeningen die door gebruikers zijn geüpload, kan animeren. Het bedrijf hoopt dat ontwikkelaars zelf apps ontwikkelen op basis van het project.

Animated Drawings is een AI-project dat met object detection-, pose estimation-modellen en image processing-based segmentation-methoden digitale animaties kan maken van geüploade tekeningen. Meta bracht hiervoor eerder een webtool uit, waarmee gebruikers zelf animaties konden maken. Het bedrijf zegt dat die webtool zo populair was en dat er zoveel interesse was in extra functies, dat Meta Animated Drawings opensource beschikbaar stelt, zodat anderen er tools mee kunnen maken.

Met de webtool kunnen gebruikers tekeningen van menselijke personages uploaden, waarna Meta vraagt of het deze beelden mag gebruiken voor het verbeteren van het model. Het delen van de tekening met Meta voor het verbeteren van het model is niet noodzakelijk om de tool te kunnen gebruiken. Meta had naar eigen zeggen gehoopt op deze manier zo'n 10.000 tekeningen te kunnen verzamelen, maar binnen de eerste paar maanden waren het er al 1,6 miljoen.

'Veel' van deze afbeeldingen bleken geen tekeningen van menselijke personages te zijn, waarvoor het model was bedoeld en ontwikkeld, maar bijvoorbeeld van vissen, vogels en andere dieren. Gebruikers uploadden ook bedrijfslogo's, animepersonages, actiefiguren, huisdieren en knuffels. Gebruikers vroegen ook om extra functies, zoals transparante achtergronden, verschillende personages die met elkaar interacties kunnen uitvoeren en betere deelfuncties voor op sociale media. Dergelijke functies zouden ontwikkelaars met de opensourcecode kunnen ontwikkelen, denkt Meta. Het project is onderdeel van Meta's Fundamental AI Research-team en is begonnen in 2021.

Reacties (32)

[tweakerbee]

Meta gaat hard met AI. Ze hebben blijkbaar al een tijd veel onderzoek gedaan. Naast LLaMA (Large Language Model Meta AI) hebben ze ook recentelijk SAM (Segment Anything) uitgebracht. Hoewel LLaMA niet zo indrukwekkend is als GPT-4 is het wel een bruikbaar model.

Ben benieuwd hoe de monetization eruit gaat zien aangezien het nu als open source uitgebracht wordt. Had eerder verwacht dat ze het gesloten zouden houden en in Instagram/Facebook/WhatsApp zouden integreren.

[Blaise]

Meta's LLaMA is interessant omdat je het offline kan runnen en researchers en geïnteresseerden het model verder trainen, met resultaten als Vicuna, wat je ook zelf kan uitproberen.

[Koia]

Ik denk niet dat ze hiermee inzetten op monetization, maar content creation. Als je dit via apps zo kan maken dat je vrijwel alles wat je aan afbeeldingen simpel kan animeren, krijgt facebook meer content.
Nu gebruiken ze drawings, maar foto's zullen vast ook moeten lukken. Hele tiktok dansjes zonder op te staan.

[Anoniem: 532949]

Heel gaaf, weet u toevallig ook of het alleen objects can segmenteren waarop het is getraind ? Om een voorbeeld te geven. Als je een foto hebt met daarin een schildpad, kikker en een slak. Is het model dan bekend met die classes, of kan het ook zijn dat het de slak kan masken zonder dat het ooit een slak heeft gezien in zijn training?
https://segment-anything.com/assets/section-1.1a.mp4

[Anonymoussaurus]

Link naar de repository: https://github.com/facebookresearch/AnimatedDrawings. Er is ook een demovideo beschikbaar op YouTube: https://www.youtube.com/watch?v=WsMUKQLVsOI (staat nu ook in het artikel)

[Reactie gewijzigd door Anonymoussaurus op 24 juli 2024 00:00]

[holoduke51]

Link naar sketch zodat je zelf kan spelen
https://sketch.metademolab.com/canvas

[HollovVpo1nt]

Wat maakt dit een 'AI'? Als ik het goed begrijp scant het programma een tekening en voegt ledematen en gewrichten toe. Wanneer is iets een programma/app en wanneer is het AI? Als dit bestempeld wordt als AI kan mijn inziens heel veel bestempeld worden als AI, wat voorheen 'gewoon' een app was.

[xzaz]

Ik zie ook nergens dat het AI is. Alleen dat het 'van het AI team' afkomstig is. Ik denk dat daar de nuance ligt?

[Ossebol]

Machine-learning is een subset van AI. Zie https://hackernoon.com/ar...-incorrectly-911ac23ab4f5

[ronaldmathies]

Ik heb de repo doorgekeken maar zie neergens een model van pytoch of van keras/tensorflow.

Ah gevonden , twee mar files. Maar de modellen zijn dus niet openbaar?

[Reactie gewijzigd door ronaldmathies op 24 juli 2024 00:00]

[lilmonkey]

https://github.com/facebookresearch/detectron2 en https://github.com/MVIG-SJTU/AlphaPose

[lilmonkey]

Tja, wat is AI precies? Maar, dit project maakt gebruik van machine learning voor het herkennen van de posities van de gewrichten en voor het herkennen van objecten (het poppetje scheiden van de achtergrond dus, in dit geval), dus dat lijkt me wel te passen.

[ako]

Als het benodigde algorithme (in dit geval om objecten te herkennen en ledematen aan te brengen) niet door mensen bedacht is (gecodeerd), maar via trainings data is ontstaan valt het volgens mij onder AI.

[ZpAz]

Zo snel een computer iets kan is het ook al snel geen A.I. meer maar een algoritme. Al is het beter in verbanden leggen dan mensen etc.

[Robinio010]

Sowieso is AI een enorm buzzword. Want taalmodellen waar 1 miljard aan besteed is om in te leren zou ik ook geen AI willen noemen.

[macuz]

Ligt het aan mij, of is dit een goed voorbeeld van de hype 'we noemen nieuwe techniek maar gewoon AI'? Er wordt op basis van een shape (waarvan ik zelf in de meeste gevallen de voorspelling fors moest corrigeren) een raggdoll tekening van zo'n 8 gefixeerde punten (oren,ogen,enkels etc) toegepast die vervolgens de texture over een vast animatiepad plaatst.

[Reactie gewijzigd door macuz op 24 juli 2024 00:00]

[svane]

ik denk dat 't aan jou ligt

Of het goed werkt of niet maakt niet uit voor hoe je het noemt. Meta heeft hier modellen getraind die deze animaties mogelijk maakt. (hier te vinden: 1, 2. >300MB in grootte).

Het feit dat ze deze methode gebruiken in tegenstelling tot 'traditionele' technieken maakt het per definitie machine-learning, en dus AI.

Dat het verder een (blijvende?) hype is kan je gelijk in hebben, maar dat maakt het nog niet 'geen AI'

[Anoniem: 532949]

Het lijkt ook een hype omdat er nu een boel AI apps uit komen, maar dat betekend niet dat die gewoon het AI label krijgen voor marketing doeleinde. Wat er aan de hand is dat we nu AI eindelijk onder de knie krijgen komen er ineens een boel nieuwe applicaties mogelijk worden die voorheen te lastig waren om te maken.

[Maurits van Baerle]

Klopt, het is gewoon de hype train. Als je een beursgenoteerd Silicon Valley bedrijf bent dan moet je wel op de “AI” trein springen, ook al heb je geen kunstmatige intelligentie maar hooguit wat Machine Learning of zelfs alleen maar wat algoritmen.

Ga je niet mee in de hype dan zie je dat terug in je beurskoersen omdat investeerders zeggen “Hé Pietje daar heeft wél AI, waarom hebben jullie dat nog niet?”. Er zijn maar weinig bedrijven die dat kunnen permitteren. Apple misschien?

Over een paar jaar zijn Large Language Models wat de Blockchain nu is, een leuke theorie maar met heel weinig praktische toepassingen en dan springen ze weer op een andere hype train. Quantum Computing misschien?

Dan krijg je in de QC wereld hetzelfde wat er het laatste jaar met AI is gebeurd. Wetenschappers die al decennia in het veld zitten worden aan de kant gezet omdat hun definities en theorieën niet passen in de hype. Een groepje mensen wiens gebrek aan ethisch vermogen wordt gecompenseerd door te veel geld hebben, nemen het terrein over en je mag blij zijn als er nog wat van het veld over is nadat ze verder zijn getrokken naar een nieuw veld waar geld valt te verdienen.

[Reactie gewijzigd door Maurits van Baerle op 24 juli 2024 00:00]

[Superstoned]

Je hebt gelijk wat betreft de druk van de aandeelhouders. Niet wat betreft je opmerking dat dit de nieuwe bitcoin is - het is nu al een enorme boost voor de productiviteit van veel banen (eigenlijk alles waarbij je “content” moet maken - en dat is de baan van miljoenen mensen) maar we staan waarschijnlijk echt aan het begin van de innovatie curve en het is nu al enorm disruptief voor veel werk. De kans dat dit een impact vergelijkbaar met het internet is lijkt me 50%, met 45% kans dat de impact groter wordt en 5% dat het minder wordt. Getallen totaal uit mijn duim gezogen! 🤓

Als je het niet gelooft kijk eens naar de Microsoft aankondiging van een paar weken terug van ai in de MS Office suite - en bedenk dat een enorme kudde aan gebruikers hele dagen niets anders doet dan de zaken die MS daar laat zien… ja, het maakt af en toe foutjes, net als het internet traag was in de jaren 80…

[Maurits van Baerle]

Ik had het niet over Bitcoin maar over Blockchain. Een indrukwekkende technologie maar eentje met een beperkt toepassingsgebied, net als LLM’s.

Voor chatbots en het produceren van generieke tekst is het inderdaad indrukwekkend. Maar dat is natuurlijk een erg specifiek gebied. Ik las een aardige opmerking van iemand die klaagde over de hoeveelheid ChatGPT gegenereerde comments die hij ontving. Hoe hij wist hij dat het ChatGPT gegenereerd was? Omdat ze allemaal lazen als LinkedIn posts. Een soort formule-benadering met correcte maar volstrekt on-creatieve tekst.

Ik verwacht dat als je een LLM een roman laat schrijven het een soort bouquetreeks wordt. Een vaste formule gebaseerd op een gemiddelde van tienduizend romans. Je kunt het lezen maar het zal niet verbazen of tot nieuwe inzichten leiden. Voor het produceren van SEO teksten, persbericht achtige nieuwsstukjes en productbeschrijving (Hi-Fi reviews 😊 ) heeft het zeker een toepassing.

Ik verwacht dat LLMs uiteindelijk ook weer teruggaan naar hun hoekje van Machine Learning waar ze vandaan kwamen. Indrukwekkend en nuttig voor specifieke doeleinden maar zonder de impact die bijvoorbeeld het internet wél had. Het internet kun je op veel meer terreinen toepassen dan je met een taaltoepassing kunt.

Ik ben allesbehalve een expert op dit gebied maar ik zie wel wat in de argumenten van experts dat je met een LLM nooit intelligentie zult kunnen bereiken, alleen combineren en herkauwen.

[Reactie gewijzigd door Maurits van Baerle op 24 juli 2024 00:00]

[Superstoned]

Ok, maar waar blockchain inderdaad in 0,0001% van onze economie relevant is heeft iedereen die op kantoor werkt baat bij chatgpt. Dat is toch moeilijk te vergelijken hè, zeker daar dat is bij de huidige stand van zaken - als er nu 0,0 verdere ontwikkeling komt kan chatgpt al het werk van elke kantoor tijger compleet omgooien, en hen 20-50% efficiënter maken. Dat is een revolutionaire stap, vergelijkbaar met het internet zelf. Denk alleen al aan web development en programmeren - wat makkelijk een factor 2 sneller kan voor veel use cases. Maar ik denk dat ze techniek niet stil zal staan, en dan wordt het nog veel meer impactful…

[pim]

Zou een killer app zijn, als iemand dit omtovert naar een gebruikersvriendelijke app.

[pasz]

dit is al redelijk gebruikersvriendelijk : https://sketch.metademolab.com/

[pim]

Yep, maar niet echt voor een 3 jarig kind om lekker op de bank mee te spelen op een ipad.

[Harm_H]

Vraag me wel wat dit project nu zo uniek maakt in tegenstelling tot bijvoorbeeld deze animatie software.

Ik vermoed het automatisch - met AI - plaatsen van de 'bones'?

[Anoniem: 532949]

Ja precies dit, de AI zit hem in het begrijpen van de tekening, en dus het correct plaatsen van het wire-frame.

[Qws]

Wat is hier bijzonder aan? Game Engines hebben dit al jaren...

[Dingen]

Game engines hebben al jaren de mogelijkheid om automatisch een skelet uit een tekening te herkennen, ja? En om vervolgens die tekening in 2D te animeren?

[DrPoncho]

Ok bedankt @Qws

[Kubrix]

Voor wie ook een hersenkronkel kreeg na het lezen van de titel: "Meta brengt open source AI-project uit om tekeningen te animeren"

[olafmol]

Wanneer kan Ai eens een keer automatisch croppen dan?