LumaLabs brengt tool om met tekstprompts video's te genereren publiekelijk uit

De Amerikaanse start-up LumaLabs heeft Dream Machine uitgebracht, een tool om korte video's te genereren met een tekstprompt. OpenAI had eerder Sora aangekondigd, maar heeft dat nog niet ter beschikking gesteld.

De tool laat gebruikers ook een enkele afbeelding uploaden om die in de video te integreren, blijkt op de site. Dream Machine is getraind op video's, waardoor de gegenereerde video's realistisch moeten ogen en bewegingen fysiek moeten kloppen in de ruimte en met de natuurwetten.

De tool is online, maar vereist momenteel een wachtrij van enkele minuten na het invoeren van een tekstprompt. Die was enkele uren, maar dat lijkt vrijwel opgelost. Niet elke prompt lukt; bij een korte test van Tweakers kwam er bijvoorbeeld bij de eerste twee video's een foutmelding terug. Het bedrijf heeft AWS-servers met Nvidia H100-GPU's gebruikt om het model te trainen. Veel technische details zijn verder niet bekend.

De tool is te gebruiken na het inloggen met een Google-account. Lumalabs wil abonnementen verkopen om geld te verdienen.

Reacties (30)

[Kianeke]

Het verdienmodel is terug te vinden in de accountinstellingen.
Deze zijn gebaseerd op het aantal gegenereerde video's per maand.
Ze hebben vier tiers:

• Free - 30 video's per maand
• Standard ($29,99) - 120 video's per maand
• Pro ($99,99) - 400 video's per maand
• Premier ($499,99) - 2000 video's per maand

[Reactie gewijzigd door Kianeke op 22 juli 2024 23:24]

[plofkip]

Wel geinig, maar het zijn hele korte filmpjes van 5 seconden.
Net even geprobeerd met een standaard omschrijving van hun zelf:
"Grazing cows move slowly across an idyllic meadow, the camera tracking alongside them in a smooth side-angle motion"
https://storage.cdn-luma....b4db68869d8c4ce5b5322.mp4

En deze zelf bedacht, het resultaat is ietwat vreemd te noemen
"Children playing in a playground outside, with the sun shining and everything looks very idyllic. Next to the playground is a busy road with a lot of traffic and factories poluting the sky with black smoke.'
https://storage.cdn-luma....14a24b08c066f38bba42a.mp4

[Reactie gewijzigd door plofkip op 22 juli 2024 23:24]

[DieMitchell]

mooie auto die in een huifkar veranderd in die 2e

[Kianeke]

Ook ik wilde het eens proberen en kwam met de volgende prompt:
power washing machine operated by a man named Damian and a woman named Laura and they are cleaning a house

De input is misschien niet heel erg duidelijk, maar dit resultaat had ik dan ook weer niet helemaal verwacht:
YouTube: Luma Labs - AI generated video based on text

[Tintel]

2e video
geeft het typische effect van totale 'unhinged' vrije interpretatie....bizar.

[DdeM]

"Dream Machine , waardoor de gegenereerde video's realistisch moeten ogen en bewegingen fysiek moeten kloppen in de ruimte en met de natuurwetten."

Dit kan dus meteen naar het rijk der fabelen.

[jerisson]

Of aanvullen:

"Dream Machine , waardoor de gegenereerde video's realistisch moeten ogen en bewegingen fysiek moeten kloppen in de ruimte en met de natuurwetten zoals die in een droomwereld werken."

De samenhang van de resultaten van Dream Machine staat momenteel op hetzelfde niveau als de samenhang van mijn dromen.

[Wivern]

Ik zag een koe met 3 achterpoten

[TomDZ1979]

Fascinerend toch hoe snel dit allemaal gaat. Een paar maanden geleden kon je met moeite consistentie in een video krijgen.
We zijn er zeker niet, maar dit blijft allemaal zeer indrukwekkend. Zoveel dingen gaan binnenkort mogelijk worden.

[Rembert]

Voordat je het gebruikt, lees in de Terms of Service even wat er staat bij INPUT en bij OUTPUT. Niet wereldschokkend maar samenvattend wel een beetje in de lijn van "all your uploaded and generated content belongs to us".

[downtime]

Niet wereldschokkend inderdaad. Impliciet geef je die toestemming eigenlijk al door de dienst uberhaupt te gebruiken. Maar blijkbaar wilde de huisjurist dat er echt geen onduidelijkheid over kon ontstaan.

[Dark Angel 58]

Voordat je het gebruikt, lees in de Terms of Service even wat er staat bij INPUT en bij OUTPUT. Niet wereldschokkend maar samenvattend wel een beetje in de lijn van "all your uploaded and generated content belongs to us".

Geen wonder... ze moeten ook kunnen zien wat we maken en wat er ook fout gingen. Zo krijgt tweede video van @plofkip (zie boven) meer aandacht.

[Bekers]

Mooi promofilmpje, maar het jachtluipaard op 15 sec is verlamd aan z'n linker voorpoot? Dat haal je toch wel uit je promo materiaal?

[Quintiemero]

Waarom? Is inclusief. Zo hoort het.

[AnD]

Had het ook opgemerkt.

[Jorah_Newstone]

https://storage.cdn-luma....0474893a288986e519304.mp4

A teddy bear in mariachi clothes singing to people

Toch wel aardig gelukt,

[Dark Angel 58]

https://storage.cdn-luma....0474893a288986e519304.mp4

A teddy bear in mariachi clothes singing to people

Toch wel aardig gelukt,

Inderdaad... best wel indrukwekkend

[latka]

We zijn er nog niet helemaal

[vj_slof]

Hoeveel LSD hebben ze daar bij LumaLabs in de machine gedropt?

[brama]

Bob ross frolicking in a peaceful nature landscape with mountains in the background and a lake in the foreground

Nou ja, het ziet er leuk uit ook al slaat het nergens op, minus het gebrek aan een ronddartelende Bob Ross dan.

Deze is wel heel goed gelukt:

A gunslinger walks towards a tall, slender dark tower in a field of roses. Dramatic dark sky, film noire style

[Reactie gewijzigd door brama op 22 juli 2024 23:24]

[Timtendo12]

We zijn er nog niet maar ziet er al wel prima uit:

https://storage.cdn-luma....745b7b5a31023e59091b3.mp4

Prompt:
A cute puppy barking at a koala in cowboy outfit who is standing in front of him.

Image:
https://i.imgur.com/bx78Mpw.jpeg

[SanderBos]

Kweenie, een beetje weinig koala. Toevallig (nou ja niet toevallig, ander nieuws topic) was ik net voor het eerst in mijn leven aan het kijken naar Stable Diffusion (XL), daar leverde je prompt dit plaatje (geen filmpje) op:
https://imgur.com/a/K0j1Zpw

Daar zit een in ieder geval een koala in, maar diffusion raakte duidelijk beetje in de war over welk beest wat moest doen.

(Edit: het wordt wat offtopic want dit is Stable Diffusion, maar grappig dat elke keer dat je een image genereert er een totaal ander plaatje uit komt: https://imgur.com/a/G5SpPw9 )

[Reactie gewijzigd door SanderBos op 22 juli 2024 23:24]

[Timtendo12]

Ohja lol. Bij de tijd dat dat filmpje was gegenereerd was ik al vergeten dat er een koala in mijn prompt zat.

[Mattheos]

Arch angel walking on the beach towards the horizon

Group of children having a water fight using super soakers

[Dark Angel 58]

what the fuck happened with last video???
Zie laatste frame!!! Exploderend water soakers???

[Bauknecht]

mickey mouse is horrified in abomination
unsettling goofy feasts on his enemies

Zo kan-ie wel weer...