De basis van de video waarnaar je refereerde is dit onderzoek :
https://arxiv.org/html/2311.16863v3
(zie referentie in de beschrijving bij de video).
De context waar we het hier over hebben is een plaatje genereren met een diffusion model, plus een text render (zoals ook in je browser zit) model.
In het onderzoek zijn de experimenten op één GPU gedraaid, en werd het energieverbruik van alle GPU's op de 8 NVIDIA A100-SXM4-80GB GPU's gehost op Amazon Web Services (AWS) gemeten.
Het onderzoek gaat uit van 297,6 gram CO₂-equivalent per kWh voor het us-west-2 data centrum.
Deze bron
https://www.cloudcarbonfootprint.org/docs/methodology/ heeft het over 0.000322167 ton/kWh ~= 87.85 gram per kWh voor het zelfde data centrum.
De onderzoekers geven aan dat hun meting met Stable Diffusion XL 1.0 1000 plaatjes maken 2,9 kWh kost.
Stable Diffusion XL 1.0 heeft iets minder dan 12GB geheugen nodig om haar werk te doen, als je het niet gekwantificeerde model gebruikt.
De onderzoekers draaide dit model enkelvoudig op een machine met 8x80GB GPUs.
Het idle energie gebruik van deze GPU's is volgens
https://massedcompute.com/faq-answers/ ongeveer 250W per GPU.
In dit onderzoek waren 7 van de 8 GPU's idle en werd het idle gebruik meegenomen in de berekening.
Doordat we een wachtrij hebben bij OpenAI lijkt het er op dat er nagenoeg geen idle gebruik optreedt en dat elke GPU niet slechts 1 plaatje maar minimaal floor(80/12) = 6 plaatjes te gelijk aan het maken is, en de 8 GPU versie minimaal 48 plaatjes.
Het is niet onwaarschijnlijk dat OpenAI haar model heeft gekwantificeerd zodat het compacter is en er dus meer instances op elke GPU kunnen draaien en ze minder energie gebruiken.
___
Mijn indruk is dat de 1,6 gram CO₂ uitstoot per plaatje die het onderzoek berekend heeft een ruime overschatting is.
Op basis van de huidige footprint van het stroomnet in die regio, zou het 0,42 kg CO₂ per plaatje zijn.
Gaan we uit van maximale load van 1 GPU en idle van 7 van de 8: 400W+7x250W. tijdens de test en halen we de idle GPU's er af: dan moet het antwoord vermenigvuldigd met 400W/2150W ~= 0.078 gram CO₂ per plaatje.
De ook dit is nog een overschatting, want de gebruikte GPU kan met die 400W zes in plaats van één plaatje maken in dezelfde tijd.
Een zuinige benzine auto -
Toyota - stoot 103 g CO₂ uit per kilometer.
Als je 8 kilometer van je werk woont en een keer niet de lease auto neemt maar de fiets, kun je daarvoor in de plaats ruim 21 duizend foto's genereren.
___
Mijn 70Wh laptop kan met een int8 gekwantificeerd Stable Diffusion 1.5 model ongeveer 10 uur lang plaatjes genereren zonder dat de stroom adapter aangesloten hoeft te worden. De laptop heeft een oled scherm. De laptop maakt een plaatje in 11 seconden.
[Reactie gewijzigd door djwice op 2 april 2025 06:20]