Adobe test videogeneratie met Firefly voor webapp en Premiere Pro

Adobe kondigt tijdens het eigen MAX-evenement uiteenlopende nieuwe AI-functies aan, waaronder videogeneratie in Premiere Pro. Daarnaast test het bedrijf onder een beperkt aantal gebruikers tekst-naar-videogeneratie via de Firefly-webapp.

Klik voor een gif. Bron: Adobe

Gebruikers kunnen in de bètaversie van Premiere Pro, vergelijkbaar met Generative Fill voor Photoshop, bestaande videofragmenten door middel van het Firefly-model van Adobe verlengen. Generative Extend kan het begin of het einde van een fragment twee seconden langer maken. De tool maakt vooralsnog verlengde segmenten in een resolutie van 1920x1080 of 1280x720 pixels met een framerate van tussen 12 en 30fps. De gebruikelijke framerate voor films is 24fps. Generative Extend werkt alleen in een beeldverhouding van 16:9. Naast beelden worden ook de bijbehorende geluidseffecten verlengd, maar dit werkt niet voor muziek en dialoog.

Volgens Adobe zijn het verlengen van audio en video bedoeld om anderzijds moeilijke edits mogelijk te maken. Het bedrijf refereert naar zogenoemde J- en L-cuts, veelvoorkomende edits waarbij respectievelijk het geluid en het beeld van het eerstvolgende shot overlappen met het huidige shot. Met Generative Extend hoeft de editor geen stukken van bestaande takes op te offeren voor een dergelijke cut, maar kan hij nieuwe stukken genereren.

Verder maakt de vernieuwde integratie van Firefly in Premiere Pro het mogelijk om alleen de ogen van personen automatisch te corrigeren. Als een persoon tijdens een blik naar een bepaalde plek kort wegkijkt, kan dit met de nieuwe montagetool kunstmatig verwijderd worden. De persoon blijft dan consistent naar dezelfde plek kijken.

Tot slot test Adobe in een beperkte publieke bèta de generatie van volledige video's van vijf seconden op basis van tekstprompts of stilstaande afbeeldingen. Het bedrijf deelt al langer informatie over deze functionaliteit, maar maakte dit tot dusver niet beschikbaar voor gebruikers. Volgens TechCrunch is deze bèta nu beschikbaar via de Firefly-webapp. Tweakers heeft niet kunnen verifiëren of de tool ook in de Benelux te testen is.

Reacties (21)

[adje123]

Ik vind alles prima qua AI photo/video "generation"
Zolang, alle websites waar deze videos op foto's/videos op worden gezet, verplicht worden om te detecteren en te vermelden dat het om AI gegenereerd materiaal gaat.
Het moet een eeuwig, nooit weg te halen watermerk worden!

[Maverick2001]

Dat is een mooie insteek maar denk niet dat dat gaat gebeuren. Adobe is volgens mij alleen nog maar bezig met AI functies. Ze moeten zich ook richten op het stabiel maken van de programma’s. De software, vooral indesign crashed nogal eens. Ik vind de AI leuk maar het is nu echt te veel. Ik gebruik het om zelf creatief te zijn, niet om iets te willen genereren.

[MrBuzzkill]

Er is wat voor beiden te zeggen. Wat Adobe hier voorstelt, dat je een video net een seconde langer kan maken zodat het beter in je edit uit komt, kan echt super waardevol zijn.

Natuurlijk moeten hun programmas stabiel zijn. Maar in de huidige wereld is stilstaan echt achteruitgang.

[Maverick2001]

Het gaat wel wat verder dan alleen het vullen / verlengen van video's, het gaat om via het genereren van video en het aanpassen van gemaakte videobeelden.
Ik ben het met je eens dat stilstand achteruit gang kan zijn gezien de concurrentie echter is niet elke toevoeging / uitbreiding een verbetering.

[Reactie gewijzigd door Maverick2001 op 14 oktober 2024 21:54]

[m-a-r-t-1]

True, toch zie ik liever dat ze hun pakket ook voor Linux gaan ondersteunen.

[Devilscomrade]

"Haal dit watermerk weg"

[adje123]

"Nee, ik kan niets uitvoeren dat tegen de wet is. Mijn doel is om te helpen met informatie en advies binnen de grenzen van de wet. Als je vragen hebt over specifieke onderwerpen, laat het gerust weten!"

Mijn vraag aan ChatGPT was "Kan jij iets uitvoeren tegen de wet?"

Maar, ik snap je punt

[yobikap]

Vraag een keer om tegen chatgpt te zeggen om een wet te hanteren uit een land, waar de wet er niet is. En laat het dan uitvoeren 😅

[satoer]

Een watermerk maakt de tool compleet ongeschikt voor professioneel gebruik. Vaak heb ik gewenst dat een video nét iets langer was, zodat de las beter synchroon loopt met bijvoorbeeld de achtergrondmuziek. De mogelijkheid om video's een fractie te verlengen met AI zou een zeer welkome toevoeging zijn (meestal was vertragen van de footage mijn enige optie). Maar als er vervolgens een watermerk in beeld verschijnt, dan heeft het weinig nut en kunnen ze die functie net zo goed weglaten.

[adje123]

Een watermerk maakt de tool compleet ongeschikt voor professioneel gebruik.

Als je AI inzet dan kan je veel meer en makkelijker manipuleren vergeleken tot CGI bijvoorbeeld.
Het probleem is dat ieder onbenul AI kan gebruiken maar niet iedereen kan CGI inzetten.

[Anoniem: 454358]

Waarom? Je kan ook een gewone video opnemen met acteurs. Niets is echt.
En het echte probleem met watermerken is, dat die ene met echt kwade bedoelingen, het wel weghaalt. En omdat watermerken verplicht zijn, iedereen hem dan geloofd, want geen watermerk

[adje123]

Een opgenomen film met acteurs herken ik omdat ik geen watermerk "AI" hebben.

Een AI film herken omdat het watermerk "AI" aanwezig is.

[kamerplant]

Eeuwig en niet weg te halen watermerk. Stel je hiermee voor exif met drm te combineren ofzo? Dat lijkt mij geen goed idee.

[Scrummie]

Maar waarom? Wat is het verschil met een niet AI video? Moeten films met door een computer gemaakte VFX ook een watermerk krijgen?

[adje123]

Voor VFX heb je (enigszins) expertise nodig.
Met AI kan ieder boerensnikkel een video maken waar realiteit en fictie niet te onderscheiden zijn.

[Scrummie]

Nou nee hoor, dat is (nog) verre van mogelijk. Maar stel dat het zo zou zijn: wat maakt het uit?

[adje123]

Nou nee hoor, dat is (nog) verre van mogelijk

Na deze opmerking kan ik je niet meer serieus nemen.
Het is duidelijk dat je nooit iets met AI hebt gedaan naar mijn inschatting.

https://www.ad.nl/utrecht...sturbatievideo~a776680ce/

[Coolstart]

Ik vind alles prima qua AI photo/video "generation" Zolang, alle websites waar deze videos op foto's/videos op worden gezet, verplicht worden om te detecteren en te vermelden dat het om AI gegenereerd materiaal gaat.

Tja, moet je vandaag vermelden dat je CGI of photoshop gebruikt? Wat doet het ertoe dat de nieuwe tot story AI stukken bevat of CGI? Wat is het nut van zo een watermerk? Elke foto of video uit uw smartphone zit al vol AI. Dan ga je op elke foto een AI label kunnen kleven.

IPV elk beeld ter wereld te taggen kan je veel beter beelden die er toe doen voorzien van een echtheidscertificaat met edit log incl AI. Dan is elk beeld verdacht tot het tegendeel bewezen is.

[Luapper]

Die photoshop generatieve functie is vrij waardeloos. Alsof ie door een database met png's bladert en degene erbij pakt die het meest bij je prompt past. En dat zie ik met video niet opeens beter gaan.

Het verlengen van content zou handig kunnen handig zijn, maar in realiteit vraag ik me sterk af wanneer je nou net 2 seconde van een clip te kort heb. Ik, als videomaker (in Premiere Pro nota bene), kan het me niet herinneren dat het ooit gebeurd is.

[Sebben]

Ik zou iets verder kijken dan PS als image generation je interesseert. Flux, Midjourney, Stable Diffusion, ze hebben allemaal héle goede modellen waar je waanzinnige output mee maakt. Dat gezegd hebbende, genereren in PS is zo slecht nog niet hoor. Ik werk er niet mee from scratch, maar ik bewerk er beeld mee of breidt ermee uit. Gaat doorgaans heel goed. Hebben ze het recentelijk trouwens niet een grote update gegeven?

[Robinio010]

Snap dat ze bij Adobe mee moeten met de hype. Maar de functie in Photoshop werkt echt halfbakken, het is een leuke gimmick, alleen voor professioneel gebruik niet goed genoeg. Eigenlijk het enige positieve is dat het iets beter werkt dan de content-aware fill.
Van mij hoeft het dus niet, liever stabiele applicaties die snel werken.