Stability AI brengt Stable Diffusion-plug-in uit voor Blender

Stability AI heeft een plug-in uitgebracht om Stable Diffusion in Blender te kunnen gebruiken. Stability for Blender maakt het mogelijk om afbeeldingen te creëren in de 3D-animatiesoftware met behulp van tekstbeschrijvingen.

De plug-in maakt het onder meer mogelijk om afbeeldingen, texturen en animaties te maken op basis van bestaande renders. Het gaat hierbij niet om 3D-materiaal, maar om 2D-afbeeldingen. Er bestonden al thirdpartyplug-ins met soortgelijke functionaliteiten. Om gebruik te maken van Stability for Blender is een api-key en een internetverbinding vereist. Krachtige hardware zou niet nodig zijn.

Stable Diffusion is een AI-beeldgenerator. Eind vorig jaar verwijderde de ontwikkelaar de mogelijkheid om pornografische beelden te genereren. In versie 2.0 werd onder meer het text-to-image-diffusionmodel vernieuwd. Ook werd een depth-to-image-functie toegevoegd waardoor afbeeldingen gegenereerd konden worden op basis van de diepte-informatie uit het vorige beeld. Eerder werd Stability AI aangeklaagd door stockfotodatabank Getty Images, vanwege het vermeend misbruiken van diens afbeeldingen.

Reacties (32)

[Empheria]

Wat ik als eindgebruiker niet helemaal snap aan hoe ze deze plugin hebben bedacht is dat het model niet gewoon op de lokale hardware draait.

Over het algemeen hebben mensen die met Blender werken namelijk de ideale hardware-samenstelling om Stable Diffusion lokaal te draaien.

Het hele geintje met die API key is natuurlijk een manier om er een verdienmodel van te maken. Als iemand toevallig een open-source plugin weet waarbij je zelf een model kunt selecteren en de boel lokaal draait dan hou ik me aanbevolen.

[ZnoopTree]

Dat is de Dream Textures plugin. Deze draait op lokale hardware en projecteert textures op je 3D meshes:
https://github.com/carson-katri/dream-textures

[WvanWestering]

Zelf heb ik Pixray lokaal gedraaid (in 2022 weliswaar) en dat was best een uitdaging. Ik liep er vooral tegenaan dat mijn 10GB VRAM eigenlijk veel te weinig was, waardoor ik het alleen maar voor elkaar kreeg om postzegels te generen (320x240 pixels). Hogere resoluties konden wel, maar dat ging erg ten koste van de resultaten of je moest gaan upscalen.

Professionele Blender gebruikers hebben vast veel meer VRAM, ik wil dus alleen even aangeven dat deze modellen enorm veel VRAM vereisen.

https://github.com/pixray/pixray
live demo: https://colab.research.go...aster/pixray_simple.ipynb

[Reactie gewijzigd door WvanWestering op 22 juli 2024 15:02]

[QErikNL]

Helemaal mee eens. Zou mooi zijn als iemand een plug in kan ontwikkelen die lokaal draait.

[Empheria]

In theorie zou het niet zo moeilijk moeten zijn, Blender heeft al veel van de functionaliteit die je van een plugin verwacht in de standaard image editor zitten.

Een file en prompt naar de SD-software schieten en dan het resultaat weer inladen als image is ook geen hogere wiskunde, dus de tijd gaat vooral zitten in de UX zo vormgeven dat het lekker werkt.

[henk717]

Er is ook het AI Horde platform waar ik zelf ook een klein beetje aan heb bijgedragen, dat is een soort BOINC voor AI waar je aan kunt bijdragen met je GPU om Image of Text generaties te kunnen uitvoeren voor de community.

Die community heeft ook al diverse plugins gemaakt voor bijvoorbeeld Blender , Gimp of Krita maar natuurlijk ook via verschillende web interfaces zoals mijn persoonlijke favoriet Stable UI

Je kunt dit gratis gebruiken dankzij de community, mocht je willen bijdragen kun je een kijkje nemen op aihorde.net

[ari2asem]

alleen met gpu?
of ook met cpu? want dan kan ik mijn beesten ( ) aanzetten.

[henk717]

In dit geval zijn de CPU's niet snel genoeg, voor Stable Diffusion wil je een kaart met ongeveer 8GB VRAM gebruiken voor optimaal gebruik (Wellicht dat je weg komt met 6GB). Aan de text generatie kant zijn we enorm VRAM hongerig. Ik heb zelf een M40 met 24GB en dat is voor text generatie begrippen best weinig. Dus mochten mensen 24GB of meer VRAM hebben kunnen ze het beste mee doen aan het text generatie platform, heb je slechts 8GB kun je mee doen aan Stable Horde met de plaatjes kant.

[Reactie gewijzigd door henk717 op 22 juli 2024 15:02]

[bauke1984]

Mijn 2060 6GB trekt het in ieder geval “nog” niet. Maar heb al wel gelezen dat het mensen wel is gelukt… Helaas nog niet kunnen reproduceren.

[MrMonkE]

Belangrijk is om de xformers werkend te hebben.
Dat scheelt heel veel VRAM.

[henk717]

6GB is vaak te weinig voor AI maar juist daar is het Horde platform voor bedoelt zodat je als gebruiker er toch gebruik van kunt maken leunend op de vrijwilligers met meer geheugen.

[Menesis]

Ik vraag me af in hoeverre men geavanceerde 3D modellen zou kunnen genereren mbv AI en tekst input, vanwege de volgende reden: voor het trainen van een "2D AI" zijn er natuurlijk miljarden afbeeldingen beschikbaar online.
Maar 3D modellen zijn veel schaarser en kun je ook niet zomaar scrapen zoals dat bij 2D materiaal kan. Dus is het dan wel mogelijk om een 3D AI generator te maken?

[Reactie gewijzigd door Menesis op 22 juli 2024 15:02]

[Rutger Muller]

Yep. Er zijn goed werkende AI modellen die “2D” beelden (zoals foto’s met zichtbare diepte) als 3D kunnen interpreteren.

Youtube-kanaal Two Minute Papers licht veel van deze AIs goed uit: https://www.youtube.com/r...ery=2+minute+papers+2d+3d

[DanielChopin]

Mooi om te zien dat twee open source projecten zo samen komen En een handige tool om tijdens het "blenderen" jezelf te inspireren.

[Reactie gewijzigd door DanielChopin op 22 juli 2024 15:02]

[Katsu]

Blender en AI generators konden wat betreft mentaliteit niet verder uit elkaar staan. In het promofilmpje kan je letterlijk de prompt "trending on Artstation" lezen. Mooie diefstaltool denk ik dan.

[Verwijderd]

Misschien moet je jezelf er dan eens in verdiepen in plaats van denken.

Je hebt duidelijk geen idee wat die prompt doet en hoe het werkt!

https://medium.com/@soaps...myths-part-2-d61e25a90517

[Katsu]

Nee sorry, dat artikel doet het hem niet. Als je al "art by greg rutkowski & artgerm" (duidelijk vermeld in het artikel) moet aanhalen is het punt al verloren. Dat artikel geeft enkel nog maar eens aan dat AI gebruikers zich absoluut niets aantrekken van diefstal en het misbruiken van de digitale artiesten.

[Verwijderd]

Heb je gekeken wat die prompts doen.

Die termen stelen helemaal niets, het geeft een stijl aan die sd geleerd heeft er wordt geen letterlijke afbeelding gekopieerd.

Maar jij begint blijkbaar al te schuimbekken als je de naam ziet.

Het is je bekend dat een stijl geen auteursrecht heeft? Ik kan afbeeldingen in de stijl van deze artiesten maken of in de stijl van mijn favoriet Don Lawrence en dat is volkomen legaal.

Probeer te begrijpen wat een prompt doet voor je onzin uitkraamt. Nu twee posts waarin je onzin conclusies trekt omdat je geen benul hebt.

Je springt gewoon blind op de bandwagon van de advocaten die een aanklacht indienen en dan een onzin verhaal schrijven hoe sd zou werken.

Ik wordt een beetje moe van al die op hun tenen getrapte artiesten die de moeite niet hebben genomen zich erin te verdiepen en meteen diefstal roepen.

By Van Gogh produceert geen van Gogh's, maar maakt een afbeelding van de rest van de prompt met de kenmerken stijl van van Gogh.

Of je moet denken dat de man in de toekomst kon kijken en een auto schilderde die gereproduceerd wordt als je "a race car on a road by Van Gogh" als prompt gebruikt...

[Reactie gewijzigd door Verwijderd op 22 juli 2024 15:02]

[Katsu]

Je komt met een hoop excuses af die ik intussen van elke AI-fanaat al gehoord heb. Ik snap dat je jezelf een goed gevoel probeert aan te praten, maar het feit blijft dat AI teert op de kennis van bestaande artiesten.
Ik word een beetje moe van al die op hun tenen getrapte "AI-engineers" die wel kunst willen maar te lui zijn om zelf tijd te spenderen om iets te leren. Alles moet sneller, eenvoudiger, zonder moeite en liefst dan ook nog eens gratis want iemand betalen voor zijn werk zit er niet in natuurlijk.

[Verwijderd]

Misschien als je van alle mensen die kennis van ai hebben hetzelfde hoort, moet je eigen geloof over ai eens gaan onderzoeken.

Aannemen dat jij gelijk hebt en zij allemaal ongelijk proeft 'een beetje' naar zelfoverschatting.

[Sandor_Clegane]

Je vergeet hoe een hype machine werkt. Een jaar geleden hoorde ik allerlei "slimme mensen" ouwehoeren over NFTs en hoe dat de toekomst voor artiesten zou zijn.

"“it is difficult to get a man to understand something, when his salary depends on his not understanding it.” - Upton Sinclair."

Dat een beetje.

Het zijn ook nog eens bedrijven die op hun achterste poten staan als het maar riekt naar copyright infringement. Beetje hypocriet.

[Verwijderd]

Dat is inderdaad wat je nu ziet bioj de rechtzaken tegen o.a. Stability A.I.

De technische beschrijving in de aanklacht is een onzin verhaar met net genoeg correcte opmerkingen erin dat het niet compleet als onzin afgedaan kan worden. Elke persoon die zich meer dan oppervlakkig in a.i. en het model verdiept kan dat zelf concluderen.

In de VS betekent dit echter dat er ergens een professor zonder ruggegraat opgedoken wordt die tegen betaling als 'expert voor de klagende partij' opwerpt en zich graag voor wat groen papier voor publiekelijk en voor al zijn of haar studenten voor lul zet. Dat zag je ook al bij bijvoorbeeld de rechtzaak van Oracle tegen Google.

Waar ik mij nog veel meer aan stoor is dat er zoveel politici zijn die kritiekloos de onzin van die hypocriete partijen aannamen en overschrijven in wetsvoorstellen. De bedrijven volgen gewoon Upton Sinclair, die politici zijn op zijn best gemakzuchtig hun sslaris aan het cashen zonder enige moeite te doen om hun werk fatsoenlijk uit te voeren en op zijn ergst corrupt tot op het bot.

[simplicidad]

Elke artiest of designer bouwt op kennis of het werk van anderen… Great artists steal en waar denk je waar moodboards of detailboards voor dienen?

Zo een model leert ook enkel de features wat niet veel verschilt hoe cognitief mensen werken interpreteren en dan nadien kunnen emuleren, maar het verschil is de grote onmenselijke snelheid en het feit dat het gigabytes aan kenmerken kan opslaan. Kenmerken geen afbeeldingen zoals vaak verkeerd wordt gesteld.

Maar zelf laat je die categorieën weg zoals stijl of artiest namen is het ding toch in staat om via een prompt alles te reconstrueren. Een “artstation” is op zich enkel een shortcut voor een prompt van woorden.

Daarentegen heb je nog altijd iemand met design kennis nodig want one click magic is het niet… Het is zeker geen OF verhaal.

[Gleayn]

Dit is het verhaal van de mensheid. Er bestaat niets wat niet inspiratie haalt uit eerder werk. Impliciet danwel expliciet.

Dat mensen een efficientere manier vinden om die inspiratie om te zetten in dingen, of het nou plaatjes, tekst of 3d modellen zijn, zou niemand moeten verbazen. Verder is het volstrekt zonde van je tijd, de doos van Pandora is open, en als je denkt dat ie weer dicht kan zou ik will weten waar je dat idee op baseert.

Dit is niets anders dan een voorspelbare voortzetting van de menselijke drang naar vooruitgang. Ga eerder kijken hoe je AI kan inzetten om je werk te ondersteunen in plaats van de "the horse and carriage are here to stay" argumentatie van een zekere bankdirecteur tegen Henry Ford toe te passen.

Wees blij dat diegene van ons die niet kunnen tekenen of schrijven of kies je expressie nu ineens wel wat kunnen. Ze zullen nog steeds nooit zaken creeeren die even bijzonder zijn als een geoefend kunstenaar die AI slim inzet, maar ze kunnen meer dan ooit.

Ik ben bang dat de hele AI-is-diefstal brigade voornamelijk z'n eigen capaciteit om nieuwe kansen te benutten in de weg zit. Het is een nieuwe technologie. Het is verspreid. Het gaat niet meer weg. Maak er het meeste van.

[n4m3l355]

Het is toch iets genuanceerder, noem wat een ai genereert een stijl, neemt niet weg dat een ai zonder voorbeelden die stijl, sterker nog überhaupt iets kan genereren. En dat is wel een wezenlijk verschil. Op de academie studeerde ik jaren wat verschillende stijlen zijn en werd je zelfs geprezen wanneer je zelf iets produceerde dat het op een bekende stijl en compesitie leek.

Ai daarintegen kan enkel bestaan door voor te voor te borduren op bestaande afbeeldingen. Dat deze miljoenen bronnen gebruikt om iets te genereren neemt niet weg dat het nog steeds enkel kan bestaan uit reeds originele content. Dat je deze nu niet herkend wilt niet zeggen dat die er niet in zitten. Als een ai uit slechts een handvol bronnen put, zal hetgeen wat de ai produceert heel herkenbaar worden.

Dus is het onterecht dat originele bronnen op zn minst niet een stukje erkenning verwachten?

[paulvd89]

In hoeverre is dat anders dan hoe mensen leren? Als ik naar mijn dochter van 1,5 kijk is het heel duidelijk dat zijn leert door van ons te kopiëren. Zo gaat het naar mijn idee ook met het ontwikkelen van smaak of stijl. Bijvoorbeeld bandjes spelen veel muziek van hun favoriete artiesten en maken dan vervolgens eigen muziek ik de stijl van hun idolen.
Je kunt moeilijk grafisch artiesten verbieden om nog naar musea te gaan omdat je anders de stijl van andere artiesten (onbewust) zullen kopieëren.

[Sandor_Clegane]

Ze moeten het dan nog wel even zelf kunnen.

[Verwijderd]

Ik kan zelf niet tekenen of schilderen, ik fotografeer wel en gebruik photoeditting.

Stable diffusion img2img maakt achtergrond vervangen van foto's of stylistische bewerkingen die normaal veel tijd kosten een stuk sneller, waardoor het laatste handwerk in gimp veel minder tijd kost.

Ik heb het geld niet om met een model naar de sahara of een tropisch regenwoud af te reizen, met SD maak ik desondanks composities in dat soort omgevingen. En je doet echt de compositie helemaal zelf met inpainting en controlnet. Natuurlijk zijn er afbeeldingen die alleen met een prompt en text2img gemaakt zijn, maar de meeste betere afbeeldingen die je vindt zijn vele stappen doorlopen en alles is getweaked naar de wens van de maker. Dat die afbeeldingen random gegenereerd zijn door een ai is voor de betere resultaten simpelweg niet waar. Als foto's vanwege keuzes en composities auteursrechtelijk beschermd zijn, dan dit zeker, er worden dezelfde creatieve keuzes als bij foto's gemaakt plus nog een heleboel extra.

SD is een tool, net als photoshop, alleen ipv alleen een muis of tablet gebruik je ook text als input voor de bewerking

[Sandor_Clegane]

Ik reageerde op het idee dat het net als het leren van kinderen zou zijn. Je moet dan nog wel even zelf kunnen schilderen, gitaar spelen enz. Dat vraagt wel even wat meer dan gewoon een cluster aan servers een dataset voeren.

[Verwijderd]

Het verkrijgen van goed resultaten met stable diffusion vraagt andere skills, maar het is niet zo eenvoudig als voorgesteld wordt.

Je kan een kind leren verschillende stijlen van schilders te herkennen zonder dat het zelf hoeft te kunnen schilderen. Zo ken ik de stijl van Van Gogh, Rubens, Picasso en nog een paar andere bekende schilders, maar je moet mij niet vragen om zelf wat te schilderen. Met genoeg tijd kan ik dat vast ook wel leren, dat dat een a.i. dat met een cluster computers sneller leert maakt het niet anders voor het auteursrecht, als ik in 5 seconden een foto maak zit daar auteursrecht op en met een point en click camera leer je dat ook in een paar seconde maken, dat is sneller dan ai training.

Tijd is domweg geen factor. Dus dat die cluster sneller stijlen leert dan een mens is een non issue.

[Verwijderd]

Als je even kijkt naar de (reeds gecomprimeerde) afbeelding waarop wordt getraind en de omvang vergelijkt met het ai model zou het duidelijk moeten zijn dat er geen afbeeldingen gereproduceerd kunnen worden, maar slechts op basis van een taalmodel en een model dat bij woorden kenmerken heeft getraind en afbeelding wordt gemaakt. (Overtraining uitgezonderd, daar zijn met uiterste inspanning echter maar een paar voorbeelden van gevonden)

Dat is net zoals een mens dat leert, dat een ai model vervolgens sneller leert dan de meeste mensen maakt het niet stelen. En noemen van iemand wiens stijl die je geïnspireerd heeft is aardig en gebeurt wel eens, maar niet vaak en niet vereist die het auteursrecht.

Wat dat betreft gaat het bij a.i. op dit moment juist netter, aangezien vooralsnog de prompt vaak bij de afbeeldingen staat.

Waar het vooralsnog om gaat is of je vor het trainen van het model een licentie nodig hebt op de afbeeldingen of dat dit onder een uitzondering valt. In een aantal landen is er een sterke casus dat het onder een uitzondering valt.

Dat wordt dan een feest als je het model daar legaal traint en het model vervolgens elders gebruikt.

N.B. een vermeldingsplicht van een inspiratie zou een uitbreiding van auteursrecht zijn en een vrij slechte ook. Aangezien inspiratie geen zwart wit aan te tonen feit is itt kopiëren.

Ik ben dna ook erg benieuwd hoe het kwartje gaat vallen in verschillende landen en hoe de onvermijdelijke verschillen opgelost worden.

[JDx]

Interessant, ben al een tijdje bezig met Stable Diffusion en gebruik al 3D Studio sinds R4 voor MS-DOS, als daar ook wat leuks voor komt kan ik dat mooi combineren. Komt steeds meer speelgoed bij.