AMD introduceert gratis AI-beeldgenerator met support voor XDNA Super Resolution

AMD heeft Amuse 2.0 geïntroduceerd. Het betreft een bètaversie van een gratis AI-beeldgenerator. De tool ondersteunt XDNA Super Resolution, waardoor beelden sneller en met een hoge resolutie gegenereerd kunnen worden. Amuse 2.0 draait voorlopig op een beperkt aantal AMD-chips.

AMD heeft met Amuse 2.0 naar eigen zeggen ingezet op gebruiksgemak. De AI-tool bevat een relatief eenvoudige gebruikersinterface met daarin parameters die gebruikers zelf kunnen instellen. Zo is het mogelijk om de prestaties van de tool aan te passen en het aantal beelden dat per prompt gegenereerd wordt, in te stellen. Gebruikers krijgen ook de optie om hun gegenereerde beelden aan te passen via AI-filters. De tool maakt gebruik van AI-modellen van Stable Diffusion en kan plaatjes met een maximale resolutie van 1024x1024 pixels genereren.

Amuse 2.0 werkt momenteel enkel op pc’s met een specifieke AMD-cpu of -gpu met minstens 24GB werkgeheugen. Het gaat meer bepaald om een chip uit de AMD Ryzen AI 300- of Ryzen 8000-reeks. Pc-gebruikers met een gpu uit de Radeon RX 7000-reeks kunnen de tool eveneens draaien. Het is niet duidelijk of de AI-beeldgenerator ook op andere configuraties werkt.

AMD Amuse 2.0

Reacties (40)

[D.J.P.]

Klinkt allemaal mooi maar toch een beetje oude wijn in nieuwe, laagdrempelige flessen? Als ik het artikel lees is het gewoon 'just another' interface voor Stable Diffusion en is hun 'Superresolution™' iets wat andere (gratis) programma's via upscaling doen. Client side en in de cloud is dat allemaal al lang en breed beschikbaar. Het gaat nog steeds om 512 x 512 dat wordt opgeschaald naar 1024 x 1024. Gevalletje AI omdat het moet? Misschien mis ik ergens een unique selling point ...

[markg85]

Dat is heel wat te simpel door de bocht.

Disclaimer, ik weet dit ook alleen van andere berichten en zelf wat experimenteren met een AMD fork van Automatic1111 voor ONNX modellen. De kans dat ik hieronder iets zeg wat niet klopt (deels aannames!) is best aanwezig!

Er lijkt hier iets meer achter te zitten dan enkel een AMD interface.
AMD kan niet zo goed overweg met de gangbare stable diffusion modellen (die je in Automatic1111 [1] of vergelijkbaar stopt). Het formaat van deze modellen (de .safetensors bestanden) werkt geweldig in de NVIDIA keten van tools, daar is het ook allemaal begonnen. Hoewel deze modellen ook op AMD werken, zelfs met de GPU en hun ROCm platform, werkt het allemaal maar net en zeer traag. Het is niet dat je limieten van de hardware heb op AMD, je heb limieten in hoe de software kant zit en hoe ver de AMD ondersteuning daar is.

Inmiddels is er een open model formaat (ONNX [2]). Vervolgens beginnen er niet gpu-specifieke (cuda...) frameworks to ontstaan die gpu-accelerated inferencing kunnen doen. AMD heeft hier - helaas omdat het windows speicifek is - gokozen voor DirectML [3]. Resultaat is dat je in deze nieuwe stack op AMD hardware zo'n 10x snellere inferencing heb.

Probleem is dat dit nogal een berg configuratie en tooling is die je nodig heb. En dit is waar - neem ik aan - de "Amuse 2.0" tool van AMD deze last voor je wegneemt en je een werkende oplossing geeft. Een alternatief is waarschijnlijk onnx-web [4]

What je hier ziet aan tech ontwikkeling is overigens allemaal geweldig naar mijn idee. Je had eerst NVIDIA met CUDA die toch wel min of meer de AI wereld tot leven heeft gebracht tot waar we nu zijn maar wel allemaal specifiek voor hun hardware. Dan krijg je partijen/tools die cross-platform willen promoten (ONNX) en daarna krijg je tooling daaromheen die het cross-gpu (en hopelijk in de toekomst ook cross platform) hardware accelerated maakt zoals DirectML.

Als je in "kamp nvidia" zit heb je wel de beste ervaring, die hebben simpelweg een enorme voorsprong. Het wordt beter voor "kamp amd"! Als je kijkt naar alleen al het verschil van een jaar geleden tot nu is het al enorm veel beter met onnx.

[1] https://github.com/AUTOMATIC1111/stable-diffusion-webui
[2] https://onnx.ai/
[3] https://github.com/microsoft/DirectML
[4] https://github.com/ssube/onnx-web

[Reactie gewijzigd door markg85 op 29 juli 2024 16:11]

[D.J.P.]

Top, bedankt voor de toelichting. Ik ben benieuwd of ze de inhaalslag kunnen maken en interessant gaan worden voor de open source community.

[Vulcanic]

Deze laagdrempeligheid is precies wat nodig is voor het meeste AI spul. Van alles wat veel mensen nu kunnen gebruiken, is het vaak een frontend achter een retecomplexe cloud server infrastructuur.

Wil je lokaal met je graka wat plaatjes genereren, ben je met AMD al snel aan het "kloten" als gebruiker. het meeste werkt alleen echt goed met Nvidia.

[D.J.P.]

Bedankt, ik wist niet dat generative AI client side lastiger was met AMD, dan begrijp ik dat ze hier groot nieuws van willen maken. Wel grappig hoe ze bestaande technologie gebruiken en er hun eigen plakkertje op plakken.

[StGermain]

Het is laagdrempelig in vergelijking met de gekende tools waar je zelf maar moet uitzoeken hoe je alles opzet en laat werken.

[StGermain]

Volgens wat ik hier zie zou het ook op Nvidia moeten werken maar nog geen tijd gehad om het te testen https://huggingface.co/TensorStack/Amuse

Edit ondertussen getest (Amuse 2.0) en werkt allemaal prima op mijn systeem: 5800X3D / 3060ti / 32GB RAM

De default settings staan wel laag zodat het snel gaat maar de resultaten ook niet echt top zijn.

Hier is de download: https://huggingface.co/Te...lob/main/Amuse_v2.0.0.exe Na installatie moet je nog wel andere download van 11GB doen voor je vertrokken bent.

Wel een aanrader voor beginners dit en misschien tot binnenkort in Het grote AI art show- & kletstopic

[Reactie gewijzigd door StGermain op 29 juli 2024 11:22]

[Alxndr]

Minimaal 4th gen Intel integrated graphic of een GTX 600 kaart? Gaat dit wel over hetzelfde?

[StGermain]

Ja, juist getest en werkt prima op een 3060ti.

[The-Source]

Ik hoop dat er "ooit" ook een non-windows implementatie komt. Alle Ryzen AI NPU mogelijkheden zijn nu nog windows based en officieel is er nog geen Linux support. Deze wordt wel door de community gevraagd maar zover ik weet is die er nog niet officieel.
Mooiste zou zijn al ik dit in mijn Proxmox VE installatie kan krijgen (heb een Ryzen 8700 CPUdus zou qua NPU moeten kunnen)

[machiel]

https://github.com/amd/xdna-driver Deze?

[The-Source]

Dat is meer algemene driver, niet specifiek voor NPU enabled cpu's. En niet eens specifiek AMD cpu's

https://github.com/amd/RyzenAI-SW/ gaat daar wel meer over maar is weer vooral Windows minded. En zie ook issue https://github.com/amd/RyzenAI-SW/issues/2 maar zie daar wel in een vrij recente comment een link naar https://www.phoronix.com/news/AMD-XDNA-Ryzen-AI-Driver-Patch (artikel van 19-july)

[Camulos]

Ik denk dat de grootste meerwaarde is dat je nu je AMD 7000-series GPU lokaal kunt gebruiken voor de meest gangbare AI-modellen. Sowieso fijn dat AMD gratis tools beschikbaar stelt om meer uit hun producten te halen!

Gister even gepield met Amuse-AI en werkte beter dan ik had verwacht! Prima om rond te snuffelen wat AI zou kunnen doen voor je

• Text to image: precies wat je denkt dat het is - Prompt => Plaatje
• AI filter voor images: Transformeer een bestaand plaatje naar iets wat er op lijkt, maar in een andere stijl (breed begrip), meerdere presets beschikbaar
• Design to image: Jij schetst + geeft context via promt => Model genereerd beeld (dit vond ik tof!)

BTW: Je kan je lokale ChatGPT (met LLama) draaien via LM-studio, door ROCm te installeren.

[Not_Amused]

Voor LM-Studio hoef je niet eens meer los ROCM te installeren.
https://lmstudio.ai/
Of de directe link naar de ROCM versie: https://lmstudio.ai/rocm
Meer informatie is te vinden op hun Discord kanaal en er is zelfs een eigen AMD ROCM thread.

Zelf getest met een RX6900XT en werkt perfect, en dus niet alleen voor de 7000 serie.
Ook veel positieve verhalen over de 6800 versie te vinden in hun Discord.

[Camulos]

Nice! wist niet dat ze hem nu ook pre-packagen.

Ik moest wel instructies volgen om de hardware acceleratie van de GPU werkend te krijgen (7900XTX),
deze https://github.com/lmstudio-ai/configs/blob/main/Extension-Pack-Instructions.md , waardoor het een factor 10-20 sneller werkt dan CPU only

[Dazzyreil]

Erg achterhaald eigenlijk aangezien ze nog steeds SD1.5 gebruiken ipv een XL model..

[1superheld]

Standaard model bij downloaden is sdxl turbo en meerdere modellen kan je middels een gallery makkelijk downloaden

[Dazzyreil]

Ah ok, ook stom dat de enige resolutie die op hun eigen pagina genoemd wordt is 512 geupscaled naar 1024.

[1superheld]

SD XL Turbo is gemaakt voor 512x512, dan is het logisch dat dit m.b.v. upscaling een 1024/1024 image moet worden

(Dit specifieke model, wat geoptimaliseerd is voor snelheid kan geen goede 1024/1024 images genereren)

[Dazzyreil]

Oh ik heb nog nooit een base model van SD gebruikt xD alleen XL modellen gemerged met de turbo LoRa

[SkyStreaker]

1.5 kan prima op mindere hardware en is veel minder eisend dan bijv. XL, kan een reden zijn he?

[Dazzyreil]

SDXL werkt ook prima op mindere hardware, tenzij je het over 8 jaar oude hardware hebt.

[Not_Amused]

Ik heb het programma net geprobeerd en zonder ROCM te installeren werkt het perfect op mijn RX6900XT.
Het programma maakt gelijk gebruik van mijn GPU zonder dat ik dat moest instellen.
Na het starten van het programma merk je nog niet veel maar bij de eerste keer genereren wordt er 10gig in het VRam geladen en tijdens het genereren zie ik een piek in mijn GPU gebruik (eerste keer duurt iets langer vanwege dat inladen).

Het was een snelle test maar de snelheid lijkt goed als ik dat met andere programma's vergelijk.
Het programma geeft 4.5it/s aan en ik gebruik een 7800X3D en een RX6900XT, misschien dat andere mensen met een andere setup ook eens kunnen testen.
Ik zie bij mij alleen niet de AMD XDNA super resolutie optie aanstaan, maar dat zal misschien te maken hebben omdat ik geen 7000 serie kaart gebruik?

Ik heb in het verleden vaak genoeg gezeur gehad om stable diffusion of soortgelijke programma's aan de praat te krijgen en dit is echt een laagdrempelig programma voor mensen met een AMD die een simpele installer zoeken om een beetje met tekst naar plaatje te spelen.
Het klopt dat er betere programma's zijn, maar voor mij als een AMD gebruiker geeft dit hoop op een bredere ondersteuning in de toekomst

[Reactie gewijzigd door Not_Amused op 29 juli 2024 13:08]

[Kerfuffle]

Zolang de rechtzaken tegen Stable Diffusion nog lopen en artikelen als deze aantonen dat Stable Diffusion gewoon copyright schendt bij het trainen van data, sta ik niet te popelen om tools te gebruiken die er gebruik van maken.

[ErikT738]

Dat je een GettyImages watermark in een afbeelding ziet betekent NIET dat de gegenereerde afbeelding ook by Getty Images vandaan komt. Het laat enkel zien dat Stable Diffusion getraind is op afbeeldingen met deze watermarks (wat momenteel nog geen copyright schending is) en dat het model deze door het prompt "stock photo" aan de gegenereerde afbeelding heeft toegevoegd.

[Kerfuffle]

Ongeoorloofd gebruik van copyrighted materiaal is wel een copyright schending, en dat is dan ook waar de rechtzaken over gaan. Ook zonder de "stock photo" prompt verschijnen de watermarks soms, en ook niet alleen van GettyImages.

[ErikT738]

Dat is dus nog geen uitgemaakte zaak en er is nog geen jurisprudentie over. Bij een vergelijkbare rechtszaak in de VS was de uitkomst bijvoorbeeld dat Google wel mocht trainen op boeken, ook zonder explicite toestemming van de rechthebbenden.

Het feit dat Stable Diffusion getraind is met allerlei afbeeldingen die ook watermarks bevatten staat verder niet ter discussie. Als dat niet zo was dan zou het model niet "weten" hoe zo'n watermark er uit ziet en het niet kunnen reproduceren.

[Kerfuffle]

Wat is het verschil tussen "zolang de rechtzaken nog lopen" en "dat is nog geen uitgemaakte zaak"?

[MSalters]

Je doet hier ten onrechte de veronderstelling dat AI trainen een copyright schending is. Dat betekent dat je aanneemt dat copyright wetgeving het verbiedt om AI's te trainen met copyrighted data.

Copyright wetgeving verbiedt het verveelvoudigen van copyrighted materiaal, maar niet de consumptie ervan. Het is ook al lang geaccepteerd dat leren van copyrighted materiaal gewoon is toegestaan, miljoenen scholieren doen dat dagelijks. Dat sort leren is namelijk een vorm van media consumptie en dus niet verboden.

De klagers in de rechtzaken hebben dus de uitdaging om de wet uit te leggen op een manier die niet letterlijk is (AI is te nieuw en komt niet letterlijk voor), en bovendien ook niet naar analogie van menselijk leren.

[Kerfuffle]

Wat ik aanneem, is dat de rechtzaken daarover nog lopen. Buiten dat is er ook de morele overweging. Het zonder toestemming invoeren van werk van anderen in een generator die vervolgens daarop lijkend werk produceert, vrij dicht bij de bron als je verzoekt dat werk letterlijk te reproduceren, is toch echt wel iets anders - iets kwalijkers - dan menselijke studenten die consumeren en leren.

[_Pussycat_]

Feitelijk heb je als bedrijf geen keus. Je kunt wachten tot rechtbanken en wetgevers besloten hebben hoe zo iets moet zijn, maar dan kun je 10 jaar wachten en ben je hopeloos verouderd. Bovendien zouden wetgevers en rechtbanken zich nooit met een theoretische vraag bezig hadden gehouden als Stable Diffusion niet bestond.

Inderdaad geen makkelijke zaak, maar persoonlijk denk ik dat generatieve AI genoeg voordelen heeft dat het de nadelen waard is. Ik wil graag vaak een tekening van iets hebben, maar kan dat zelf niet maken en zal nooit een opdracht maken en iemand aannemen om het te doen. Vooral het idee om schetsen om te zetten in "foto's" is voor mij iets geweldigs.

[svenk91]

Is er al inzichtelijk hoe dit zich verhoud met Nvidia’s Cuda of Apple’s MPS? Het zou mooi zijn als AMD kaarten eindelijk competitief worden.

[bdbfz]

Hoe wil je een beeldgenerator vergelijken met GPGPU frameworks?

[hottestbrain]

Stable diffusion gebruikt over het algemeen cuda cores.

[d3x]

https://www.amd.com/en/products/software/rocm.html

grappig die vermelding van apple MPS als er nu iets is dat nergens is iin GPGPU dan is wel apple.

[Reactie gewijzigd door d3x op 29 juli 2024 09:52]

[jerisson]

Hetgeen in dit artikel beschreven is is een toepassing, terwijl CUDA en MPS frameworks zijn.

Voor AMD wil je waarschijnlijk kijken naar ROCm of HIP. De meeste frameworks en applicaties ondersteunen wel CUDA, maar vaak geen of beperkt de AMD alternatieven. Dat houdt de meesten tegen om naar AMD te gaan gok ik (en niet zozeer de performance).

[kimborntobewild]

1024x1024... Wat heb je daar nu aan. Kan je niet eens een wallpaper van maken. Een beetje monitor is 4k. Het minimum wat je zou moeten kunnen kiezen, is 4k.

[hottestbrain]

Daar is wel even wat meer ram voor nodig.

[StefanDingenout]

Het minimum zegt ie

[1superheld]

Interessant is dat de standaard modellen op de onnx runtime draaien, in de bijgeleverde gallery zijn dit ook allemaal onnx runtime modellen.

https://onnx.ai/

Dit houdt in dat (by default) niet alle moddelen werken.