‘AI-afbeeldingengenerator Midjourney gebruikt problematische stereotypen’

De AI-afbeeldingengenerator Midjourney produceert eenzijdige en stereotypische afbeeldingen als gebruikers afbeeldingen maken met een land in de prompt. Dat concludeert Rest of World na analyse van duizenden afbeeldingen.

Bij de prompt ‘Indian person’ kwam Midjourney vrijwel uitsluitend met oude mannen in traditionele kleding aanzetten, schrijft Rest of World. Ook in andere landen kwam Midjourney veel meer met mannen dan met vrouwen. Alleen bij de prompt ‘Amerikaans persoon’ kwam de software met meer vrouwen dan mannen. Amerikaanse personen staan bovendien altijd op de foto met een vlag, waar dat in andere landen niet gebeurt.

Volgens onderzoekers gebruikt Midjourney stereotypen door het gebruikte trainingsmateriaal, waarin die ook terugkomen. Het probleem daarvan is dat dergelijke afbeeldingsgenerators in gebruik zijn en steeds meer zullen zijn voor het maken van beeldmateriaal en dat die dus vaak stereotypen zullen versterken. Zo zien Nigeriaanse huizen er volgens Midjourney vrijwel altijd vervallen uit.

Behalve stereotypen leek Midjourney ook rekening te houden met standaarden op gebied van schoonheid. Zo waren Aziatische vrouwen gemiddeld twee tinten lichter dan in het echt. Daarnaast gaat het veel om relatief dunne en symmetrische gezichten. Als er geen landen in de prompt staan, veronderstelde Midjourney een westerse context, zo concludeerde de site. Het wijzigen van de prompt zorgt niet altijd voor betere resultaten. Het is onduidelijk hoe dit te fiksen is, mede door de beperkte transparantie over het gebruikt bronmateriaal en de labeling van dat materiaal.

Reacties (154)

[Loki688]

tldr; wat je erin stopt, komt eruit.

Niet echt schokkend. Misschien niet wenselijk, maar wel realiteit. Iets wordt een "stereotype" om een reden. Dat heeft voor het AI model niet zoveel met goed / slecht te maken.

Dit is fantastisch voer voor filosofen die zich met ethiek, moraal, fatsoen en mensenrechten bezig houden.

*edit: typo

[Reactie gewijzigd door Loki688 op 22 juli 2024 17:49]

[Mmesha]

tldr; wat je erin stopt, komt eruit.

Maar dit klopt toch juist niet? Als je de prompt 'indian person' gebruikt zou je bij een goed werkend onbiased systeem verwachten dat er veel meer diversiteit is. Diversiteit gebaseerd op de realiteit. Dit betekent voor India mannen en vrouwen, verschillende geloofsystemen, verschillende kasten, verschillende gewaden, verschillende beroepen, om de diaspora niet te vergeten. Het Verenigd Koninkrijk betreft bijvoorbeeld een grote groep mensen met Indiase afkomst. Wat precies maakt dat er geen één 'indian person' is. Oja en dan heeft India ook nog eens één van 's werelds hoogste bewoners aantal (en dus enorme diversiteit).

Als Midjourney vervolgens alleen mannen op leeftijd in een tulband laat zien - zoals het plaatje van Tweakers suggereert - doe je geen recht aan bovenstaande. Dat is precies problematisch. En duidelijk niet een geval "wat je er in stopt, komt er ook uit".

Bij 10 keer dezelfde prompt 'indian person', verwacht ik 10 verschillende mensen.

[Taipan]

Je kan een AI echter niet op de werkelijkheid trainen, alleen op een dataset. De conclusie hieruit kan zijn dat de dataset niet neutraal genoeg is. Niet perse dat de AI niet goed werkt.

Het wordt pas echt interessant als AI's het hele internet als dataset kan gaan gebruiken. De stereotypen die daar dan uitkomen zijn dan hoogstwaarschijnlijk de daadwerkelijke stereotype's die mensen op het internet vasthouden. Dit betekent wederom niet perse dat de AI fout is, deze is gewoon een exacte reflectie van de mensheid op het internet.

[coen254]

Als dat 100% waar was kreeg je toch altijd precies dezelfde output bij dezelfde prompt? Er zit een soort van randomization in om er voor te zorgen dat de resultaten verschillen, maar kennelijk is die dus nog te krap.

[sdziscool]

het algo begint met random noise en probeert dat te vervormen naar wat denkt dat goed is. Dus andere random noise zal het doen denken dat de kleur van de baard anders is ofzo, maar het zal nog steeds een baard genereren als het denkt dat het dat moet doen. Die denkstap is deterministisch, maar de input is random wat zorgt voor die kleine verschillen.

[Scriptkid]

Is dit ook niet een beetje inhert aan een eural netwerk,

Als je trained met 90% baarden geeft een neural netwerk dan niet voorkeur aan baarden omdat het geleerd heeft dat dat land baarden heeft ?

[Lord Thunder]

Als je de zelfde random-seed in Stable Diffusion gooit, krijg je bij de zelfde verdere instellingen (zoals de resolutie van de afbeelding) en prompt inderdaad iedere keer precies het zelfde plaatje.

Deze 'AI' systemen bedenken niks helemaal uit zichzelf of zo. Het is uiteindelijk gewoon een ingewikkelde, maar verder heel normale rekensom.

[TomDZ1979]

Als je in stable diffusion dezelfde seed (random nummer) en prompt ingeeft, zal je altijd exact dezelfde afbeelding krijgen. Er is in principe dus niets random aan AI buiten een seed 'nummer'. Zoals ik het begrijp, bepaalt het seed nummer de 'ruis' van waaruit de AI terugrekent naar een afbeelding in verschillende stappen.

Ik vermoed dat Midjourney gelijkaardig werkt, maar heb hier geen ervaring mee.

[d3burt]

Het probleem is vooral dat de informatie rondom de foto's die gebruikt worden voor training onvolledig is. Als een onderwerp niet bijzonder is, of een eigenschap van een onderwerp niet bijzonder is in de ogen van degene die het bijschrift bij een foto maakt, is de beschrijving incompleet en wordt die eigenschap dan ook niet meegenomen in de training. Generative AI werkt immers door woorden uit jouw prompt te matchen met de informatie die het model heeft over de teksten bij de foto's in zijn training dataset.

[gorgi_19]

Je gaat nu uit van een theoretische, sociaal wenselijke realiteit. Alle afbeeldingen, verhalen, voorbeelden, nieuwsberichten tot op heden bevestigen grotendeels het stereotype systeem. Op die manier is het systeem getraind.

Het systeem is dus grotendeels zoals de werkelijkheid nu is, en wat mensen schrijven, denken, creeeren en doen. Het is een mooie confrontatie voor mensen hoe die werkelijkheid nu is.

Het systeem is niet de sociaal wenselijke vorm, wat enkelen in gedachte hebben.

[johnbetonschaar]

Het systeem is dus grotendeels zoals de werkelijkheid nu is, en wat mensen schrijven, denken, creeeren en doen. Het is een mooie confrontatie voor mensen hoe die werkelijkheid nu is.

Dat er een enorme bias ingebakken zit in de content die het meest wordt gemaakt en verspreid via internet (en dus in trainings sets terecht komt) wil natuurlijk niet zeggen dat diezelfde bias aanwezig is bij mensen die de content te zien krijgen. Waarschijnlijk wordt 99.9% van de content geproduceerd en verspreid door 0.1% van de wereldbevolking, als het niet meer is.

Biased content kan echter wel stereotypen aan mensen opdringen en versterken, vooral als het heel veel is, heel veel herhaald, en heel erg eenzijdig. Dat is wederom 1 reden waarom de hele generatieve AI hype mij totaal niet aanspreekt. Het gaat er vooral toe leiden dat er nog veel en veel meer content gemaakt en verspreid gaat worden die totaal niet representatief is voor 99.9% van de wereld bevolking. Er is een heel groot risico dat dit het kleine beetje 'alternatieve' content dat nu niet van dezelfde 0.1% van de 'creators' van nu komt, helemaal zal verzuipen. Luie creators uit andere culturen kunnen straks ook gewoon klik klik AI content creeren waar dit soort bias in zit, bijvoorbeeld. Ik ben het dus wel eens met de strekking van dit onderzoek, en ik denk dat dit geen goede ontwikkeling is.

[morphje]

En dan het grootste semi-ai zoekmachine (google) die er is. Indian person: eerste 12 resultaten zijn man, waarvan een overgroot deel met baard. Ik kan dan slechts concluderen dat de realiteit op het internet simpelweg mannen zijn, zeker omdat google person vertaalt naar man en vrouw. En er zijn wel degelijk vrouwen tussen de resultaten, maar significant meer mannen.

En laten we eerlijk zijn, zelfs google heeft flinke een flinke (politiek wenselijke) bias. Dus zo gek is dat helemaal niet van die AI plaatjes generator, zelfs al zou je hem trainen met alle data op het internet, want google heeft ook al een "onwenselijk resultaat"

[JAVE]

Dit gaat niet over jouw prompt, maar wat er in is gestopt tijdens het leren.
Er zijn blijkbaar veel meer plaatjes van indiase mannen met tulband op internet te vinden met de context 'indian person'.

En vervolgens krijg je een pracht van een positive feedback loop: De gegeneerde plaatjes komen op het internet, en de nieuwe/andere AI generators gebruiken die weer als input, zodat het resultaat versterkt wordt.

[JurGor]

Bij 10 keer dezelfde prompt 'indian person', verwacht ik 10 verschillende Indiërs.

[phizzie]

Mogelijk ligt het niet aan de primaire input - plaatjes - maar aan de secundaire input - betekenis. Wanneer de primaire input voor iemand die duiding moet geven aan deze input nogal onduidelijk is (zie jij het verschil tussen juist de diverse groepen mensen in Eurazië? En specifieker, wat is het uiterlijke onderscheid van mensen uit bijvoorbeeld gebieden die cartografische of landsgrenzen overschrijden maar voor de ervaren identiteit niet?) zal er minder extreem helder aangegeven zijn welke kenmerken expliciet zijn.

In mijn optiek is er vaak een onbedoelde voorkeur of neiging in de dataset/matrix aanwezig omdat er te weinig voorbeelden correct voorzien zijn van meta informatie. Daarnaast zijn ook veel foto's die we maken juist van extremiteiten, afwijkingen en niet van alledaagse producten en situaties. Bijvoorbeeld kan ik me voorstellen dat er evenveel foto's van zwarte zwanen zijn als van witte zwanen, terwijl in absolute aantallen de zwarte wel significant minder aanwezig zijn. Het extreme geval als uitzondering zorgt voor een onevenredig aantal vertegenwoordigingen.

Belangrijk daarom om op te selecteren bij het samenstellen van leermateriaal voor AI modellen.

[ErikT738]

Sterker nog, veel van deze dingen lijken me niet eens onwenselijk. Als jij specificeert dat je een "AMERIKAANS persoon" wilt zien, en niet een "blank persoon" is het wel zo fijn dat de generator ook zijn best doet om dat deel van het prompt op te pakken.

Daarnaast is de "kennis" een generator als MidJourney inderdaad enkel gebaseerd op de afbeeldingen die zijn gebruikt bij het trainen. Als deze afbeeldingen een bias hebben (bijvoorbeeld omdat Aziatische vrouwen make-up en nabewerking gebruiken om op foto's een lichtere huidskleur te hebben) dan "weet" de generator gewoon niet dat Aziatische vrouwen er in het echt anders uitzien. Eerlijk gezegd denk ik niet dat je dit soort bias op een redelijke manier zou kunnen voorkomen.

[teun95]

Als jij specificeert dat je een "AMERIKAANS persoon" wilt zien, en niet een "blank persoon" is het wel zo fijn dat de generator ook zijn best doet om dat deel van het prompt op te pakken.

De Amerikaanse vlag is veel meer onderdeel van de Amerikaanse identiteit en cultuur dan de Nederlandse vlag is voor de Nederlandse identiteit en cultuur. Let maar eens op hoe vaak de nationale vlag voorkomt op kleding van Amerikanen.

Het is dus niet onverwacht dat de Amerikaanse vlag vaker in gegenereerde afbeeldingen van Amerikaanse personen te zien is. Het is niet zo dat midjourney per se haar best doet en extra goed naar de prompt luistert, het heeft gewoon een patroon opgepikt.

Maar op zich is dit nou net een voorbeeld van een stereotype wat niet echt schadelijk of negatief is.

[ErikT738]

Het is niet zo dat midjourney per se haar best doet en extra goed naar de prompt luistert

Dit doet het dus wel. Als je in een prompt bijvoorbeeld "wearing a red shirt" specificeert dan is er een grote kans dat andere delen van de afbeelding ook rood gaan zijn. Bij "American" wordt de achtergrond dus ook Amerikaans.

Ik heb overigens net in een andere generator "a Dutch person" geprobeerd en ik krijg enkel afbeeldingen in de stijl van Nederlandse schilders. De "Dutch" wordt in dit geval dus ook toegepast op de tekenstijl.

[Sebben]

Bovendien willen de meeste mensen het stereotype resultaat, tenzij ze anders specificeren. Als jij een dolfijn wilt genereren, dan wil je de Flipper dolfijn. Niet allemaal Irrawaddy dolfijnen tussen je resultaten, tenzij je dat specificeert.

[whale]

Ja precies, ik snap nooit waarom een stereotype zo'n groot taboe is geworden. Ik neem aan dat iedereen weet dat een indiaans persoon niet altijd oud is en oranje gewaden draagt.

[Polydeukes]

Een nadeel van stereotypen is dat je je buitengesloten kunt voelen op het moment dat je niet aan dat beeld voldoet. Inclusiviteit gaat over meer dan huidskleur, gender of geaardheid het gaat ook over representatie en (h)erkenning. Ik ben het eens dat we niet moeten doorslaan, maar ook AI moet een realistisch beeld geven van de samenstelling van onze bevolking. Dat betekent dat de trainingsdata ook representatief moet zijn (en dat is deze vaak niet).

[ErikT738]

Het zou een ander verhaal zijn als de AI niet in staat zou zijn om niet-stereotype mensen te genereren, of als het hier veel moeite mee zou hebben, maar beiden zijn niet het geval. Het resultaat wat je hier ziet is enkel het gevolg van een heel vaag prompt en verkeerde aannames. De AI is niet gemaakt om op deze manier een representatief beeld van een bevolking te schetsen.

[Sebben]

AI is de tool, de gebruiker moet die sturen, anders gaat hij rechtdoor. Het is gemaakt om te doen wat je zegt.

Je kan toch niet boos worden omdat je gewenste resultaat er niet bijstaat terwijl je zelf de voorkeuren niet gespecificeerd hebt voor gender, huidskleur, leeftijd of wat dan ook voor factor je bedacht hebt? Ik zou het treurig vinden als we AI gaan beteugelen of in bochten gaan wringen om sociaal wenselijke resultaten te krijgen omdat er mensen zijn die niet weten hoe ze goed moeten prompten.

[Polydeukes]

Het gaat mij om de trainingsdata en de reinforcement training van AI-modellen door mensen. Die moeten beide representatief zijn, maar zijn dat niet. Daarom zit er bias in de output van veel GenAI.

[Sebben]

Ik wil graag van je leren wat het probleem daarvan is. Ik begrijp namelijk niet helemaal wie zich daardoor benadeeld zou moeten voelen en waarom?

Veel modellen zijn getraind op Aziatische mensen en dan jonge vrouwen met name. Dat heeft iets te maken met de makers die daar vandaan komen en waarschijnlijk ook met de doelgroep. Als ik een resultaat wil dat meer op mij lijkt, of van mij part een 85 jarige Zuid-Afrikaanse man van 120cm met groen haar, dan typ ik dat en dan krijg ik dat gewoon. Waarom zou ik me druk maken over welke kant het model by default op leunt als je dat niet specificeert?

[Polydeukes]

Omdat GenAI niet alleen gebruikt wordt voor het genereren van willekeurige plaatjes. Ik kan hier een heel epistel schrijven over bias in AI-modellen, maar Harvard Business Review heeft er al een (wat ouder maar) goed artikel (met filmpje) over geschreven: https://hbr.org/2019/10/what-do-we-do-about-the-biases-in-ai

[Sebben]

Dit gaat over compleet iets anders..
In dit artikel gaat het helemaal niet over generative AI maar over (o.a.) het door AI laten inschatten of iemand de wet heeft overtreden. Natuurlijk moet daar elke vorm van bias uit. Maar daar hebben we het toch helemaal niet over hier?

[Polydeukes]

Generatieve AI is uitermate geschikt voor data-analyse, zeker generative large language multi-modal models (GLLMM's) of GoLLuMMs.

[Benjamin-]

Dit dus. Dit soort AI's berusten zich op data die ze hebben, als ik op 'indian person' zoek op Google, zijn 13 van de 15 eerste foto's ook allemaal mannen.

[JurGor]

Niet zomaar mannen, maar Indiërs. Niet eens de oorspronkelijke bewoners van Amerika.

De slagschaduw van Columbus reikt echt eeuwen ver.

[phoenix2149]

Hetzelfde "Probleem" hebben we ook in de medische AI toepassingen. Het is heel moeilijk om een niet-biased AI toepassing te maken die geschikt is voor alle (of 90+%) varieties in anatomie en fysiologie te kunnen analyseren. Je hebt een flinke en breed cohort nodig om daarmee rekening te kunnen houden.

[YopY]

Het is niet schokkend, maar het geeft wel aan dat degenen die het model getrained hebben niet heel kieskeurig waren; dwz, zeker voor die Indische persoon, hebben ze blijkbaar maar heel weinig variatie in hun model gehad.

Maar het uitzoeken van afbeeldingen zonder vooroordeel / met gelijke waarden is heel lastig. Hoeveel foto's van moderne Nigeriaanse huizen zijn er bijvoorbeeld beschikbaar?

[elmuerte]

Dit is fantastisch voer voor filosofen die zich met ethiek, moraal, fatsoen en mensenrechten bezig houden.

Ook voor software developers die zich bezighouden met algoritmes die in de buurt komen van informatie over mensen verwerken.

[:murb:]

Dit heeft wel met goed / slecht te maken. AI is erop gericht om werk van mensen overbodig te maken, en niet een mens, een hele serie mensen. Dan heb je een verantwoordelijkheid als eigenaar van het model. Een AI model dat door een waarschijnlijk te wit Amerikaans bedrijf getraind wordt legt de stereotypen op voor een hele grote groep mensen die ze willen vervangen door een computermodel. Als je een bedrijf zou hebben met 100 tekenaars, dan zou er meer diversiteit in zitten, tenzij je inhuurbeleid ook net zo discriminerend zou zijn. Ik zou het eigenlijk helemaal niet zo gek vinden als bedrijven die commerciële toepassingen verkopen met modellen die zulke dingen genereren gewoon juridisch aangepakt worden. En als dan zou blijken dat ze het niet goed kunnen doen, dan moeten ze misschien nog maar even wachten met de launch.

(zelfde geldt eigenlijk ook voor het excuus dat b.v. grote ondernemingen advertenties niet kunnen scannen op malafide constructies... ho zeg, wanneer jij een groot advertentiebedrijf bent dan ben je verantwoordelijk voor de inhoud die je doorzet. Dat jij er dan voor kiest om een automatische pipeline van invoer tot publicatie op te zetten ontslaat je niet van fatsoenlijk te controleren wat er gedaan wordt; en als dat niet goed automatisch kan, dan moet je dat misschien deels handmatig doen, en ja, wellicht daalt de omzet dan naar meer traditionelere getallen...)

[Enai]

Waarom klaagt men niet over Google images? Als je op Google images zoekt, krijg je ook stereotypen.

[johnbetonschaar]

Met Google images krijg ik alleen stereotypen te zien, met generatieve AI kan ik die stereotypen versterken en verspreiden door 'nieuwe' content te genereren. Dat gaat natuurlijk niet helpen om vooroordelen door stereotypen terug te dringen.

Dat er ergens anders ook iets stinkt is natuurlijk sowieso niet echt een sterk argument om iets anders ook maar af te doen als no problemo.

[Cergorach]

Zo zien Nigeriaanse huizen er volgens Midjourney vrijwel altijd vervallen uit.

@arnoudwokke Je doet alsof dat nieuw is, google maar eens op 'Nigeriaanse huizen' en selecteer images, vervolgens zien vrijwel alle Nigeriaanse huizen er volgens Google vrijwel altijd vervallen uit.

En laten we wel wezen, het Internet is niet de enige bron van deze stereotypes, het nieuws, veel documentaires, veel series/films, etc. En als je een Amerikaan vraagt over Nederland dan hoor je antwoorden als molens, klompen, tulpen, prostitutie, legale drugs, fietsen, veel belasting, etc. En dat is niet alles wat Nederland is, dat zijn ook stereotypes, maar die stereotypes hebben een bepaalde onderliggende waarheid.

En ook hier wordt een LMM (AI) image tool, Midjourney in dit geval, weer ingezet op een manier waarvoor het niet geschikt is. Je leert over Nigeria toch ook niet op basis van jaren 80 actiefilms? Dat geeft toch ook een absoluut vertekend beeld!

Dit is klagen dat een hamer niet goed schildert. Door die context niet te geven propageert de Tweakers.net redactie ook de LMM (AI) stereotypes dat het magische oplossingen zijn zonder gebruikershandleiding en overal voor gebruikt kunnen worden...

[Fireshade]

Dit is klagen dat een hamer niet goed schildert. Door die context niet te geven propageert de Tweakers.net redactie ook de LMM (AI) stereotypes dat het magische oplossingen zijn zonder gebruikershandleiding en overal voor gebruikt kunnen worden...

Ik denk dat Rest of World dat doet, niet de Tweakers redactie

Beetje vage test van Rest of World, IMHO. Ik denk sowieso dat zo'n minimale input van twee woorden nooit een goed resultaat zal geven voor iedereen op de wereld, hoe goed je de AI ook traint.

[JackDaniel]

google maar eens op 'Nigeriaanse huizen' en selecteer images

Nou, heb ik gedaan. Het resultaat is grotendeels een combinatie van krottenwijken, vervallen huizen, luxe prachtige huizen, luchtfoto's van hele steden, en allerlei ietwat willekeurige foto's.

Eveneens, als ik Google op "Indian person" dan krijg ik niet 50x keer een oude grijze man te zien maar een combinatie van ongeveer 60-70% mannen, van allerlei verschillende leeftijden, sommigen met een tulband, anderen zonder, heel veel variatie in huidskleur, haarstijl, kleding, enzovoort. Bij de vrouwen is de variatie tussen modern/westers geklede vrouwen en traditioneel geklede heel prominent aanwezig.

Al met al, is het totaal niet vergelijkbaar met Midjourney, die dus ontzettend gefixeerd is op bepaalde specifieke stereotypes. Dat is mijn inziens toch wel iets waar je alert op moet zijn en wat je wil voorkomen.

[Reactie gewijzigd door JackDaniel op 22 juli 2024 17:49]

[Crysania]

zo'n AI tool zoekt altijd naar de grote gemene deler. in google zoekresultaten was 70% man. ok dan ga ik een man tekenen.

oh 25% heeft een tulband. de rest is allemaal anders. nou dan teken ik er ook een tulband bij want dat komt nog redelijk vaak voor..

als ik aan kinderen in groep 3 vraag: teken een willekeurige leraar denk ik ook dat 90% van de kinderen een juffrouw tekent ipv een meester.

dus ja ons hele leven zit vol met biasses etc. aan de andere kant denk ik juist dat AI in de toekomst veel images gaat maken die relevant zijn voor de context van de gebruiker. bijvoorbeeld reclame. een 50 jaar oude man krijgt bij de reclame dan een man te zien die zelfde kenmerken heeft als hemzelf in de reclame post terwijl een 18 jarige vrouw een heel ander plaatje te zien krijgt met een jonge vrouw in de hoofdrol.

waarom focussen we op de basis promts als "indiaas persoon" dat niet is gemaakt om een 100% representatieve weergave van india te maken. je kunt ook "18 year old indian female with blue hair and modern cloths" ingeven. ik weet dan zeker dat je geen grijze oude man terug krijgt met tulband.

[ErikT738]

Eveneens, als ik Google op "Indian person" dan krijg ik niet 50x keer een oude grijze man te zien maar een combinatie van ongeveer 60-70% mannen, van allerlei verschillende leeftijden, sommigen met een tulband, anderen zonder, heel veel variatie in huidskleur, haarstijl, kleding, enzovoort. Bij de vrouwen is de variatie tussen modern/westers geklede vrouwen en traditioneel geklede heel prominent aanwezig.

De AI kan al deze voorbeelden gewoon genereren als je daar in je prompt om vraagt. Bij een vaag prompt als "an Indian person" zal het echter voor de opties gaan waar het het meeste bekend mee is. Als je zou vragen om "an indian family" of "a diverse group of Indian people" dan krijg al iets wat veel meer representatief is, al zit de oude man met baard en tulband er waarschijnlijk wel tussen. Als je vraagt om "an Indian woman wearing modern clothing" dan komt dat er ook gewoon uit rollen. De AI is niet ontworpen om een representatieve verzameling mensen te creëren op basis van een vaag prompt, en het is wat mij betreft problematisch dat mensen deze verwachting wel hebben.

[Jeroenneman]

Is dit nieuws? Dit was toch allang bekend. De generator geeft je wat je het meest waarschijnlijk wil hebben, ergo, wat al het meest is gevonden/geïndexeerd.

Over de Amerikaanse vlag kunnen we kort zijn: dat is toch ook iets waar Amerikanen veel meer waarde aan hechten dan andere landen. Was het beter geweest met een pistool of geweer?

[ACM]

Het probleem is meer dat de trainingsdata gewoon niet helemaal past bij het doel. Tijdens de Tweakers dev summit werd een wat minder politiek geladen voorbeeld gegeven van 'zalm op een rivier' oid. Waarbij je dan dus zalmfiletjes op een bordje op de rivier zag drijven, in plaats van een stel vissen.

Probleem daarbij was dat ze blijkbaar veel foto's hebben van zalmfilet op een bordje tijdens het diner en weinig foto's van zalmen in het wild...

[watercoolertje]

Het probleem is

Maar wat is het probleem? Dat je niet vindt wat je zoekt?

[Cowamundo]

Het probleem is dat het model niet neutraal en per definitie westers georiënteerd en bevooroordeeld is.

Wat ik juist interessant vind is dat dit bij een AI model niet geaccepteerd wordt maar dit in de echte wereld gewoon dagelijks gebeurt. We zouden het als een grote spiegel moeten gaan zien en daar van moeten proberen te leren. Zoals al gezegd “je krijgt eruit wat je erin stopt”.

Je kan een model wel gaan aanpassen om altijd 50-50 rijk-arm, man-vrouw, dik-dun, etc. weer te geven maar dan verbloem je de waarheid, en die is best pijnlijk en willen we liever niet zien.

[ErikT738]

Zoals je zegt is het enkel niet neutraal omdat de trainingsdata niet neutraal is, en de trainingsdata is enkel niet neutraal omdat er gewoon meer Westers georiënteerd trainingsmateriaal beschikbaar is. Ik zie alleen niet in waarom dit problematisch zou zijn. Als je niet specifiek bent default de generator naar hetgeen wat het het beste kent, maar zodra je ook maar enige specificatie aan je prompt toevoegt is het ook prima in staat om minder stereotype afbeeldingen te genereren.

[Aidix]

Aziaten 2 tinter lichter en slank weergeven is nou juist géén westerse bias maar 100% Aziatische voorkeur.

[ACM]

Dat de foto's in die dataset niet goed passen bij de opgegeven termen inderdaad.

In mijn genoemde voorbeeld dus dat zalm meerdere betekenissen kan hebben. En bij Amerikanen is het blijkbaar heel normaal om selfies en dergelijke te maken met hun vlag erbij...

[Grrrr]

Dit is denk ik de kern van het probleem. Onjuiste, niet objectieve, eenzijdig gelabelde trainingsdata

[cnieuweboer]

"Normale" kunst is ook niet objectief. Hoe veel fotos of tekeningen zijn een gemiddelde afspiegeling van de samenleving.

[Grrrr]

Eens, objectief is een wat ongelukkig gekozen woord. Maar ik deel je mening, zie ook m'n reactie verderop: Grrrr in '‘AI-afbeeldingengenerator Midjourney gebruikt problematische stereotypen’'

[360Degreez]

Je moet ook de gegenereerde gegevens niet meenemen in de trainingsdata, dan verwatert het enorm en eindig je straks in theorie bij elke opdracht met een volledig zwart of wit plaatje.

[ACM]

Dat staat hier weer los van. Vziw komt dit gewoon meer van dingen als instagram- of twitter-foto's waarbij er blijkbaar vaak iets als "kijk mij eens een lekkere Zalm eten vanavond" tussen zit ipv "Zie die mooie zalmen hier tegen de stroom in de rivier zwemmen".

[xoniq]

En veel Instagram plaatjes en dergelijke komen steeds vaker uit AI vanwege “het is interessanter dan m’n echte leven”

[ErikT738]

Het is echter de vraag of dit echt een probleem is. Als je het prompt ook maar iets minder vaag maakt dan krijg je waarschijnlijk wel het resultaat wat je wilt zien, bijvoorbeeld;

Prompt: Een zalm zwemt in een rivier.

En eventueel;

Negatief prompt: Eten, borden.

[ACM]

Als je al die geavanceerde functionaliteiten kent kan je er inderdaad omheen werken. Maar je krijgt dus wel standaard dingen die niet kloppen met de prompt.

[ErikT738]

Is het toevoegen van een paar extra woorden een "geavanceerde functionaliteit"? Ik heb de negatieve prompt erbij gezet om aan te geven dat het kan, maar als ik "a salmon swimming in a river" prompt krijg ik toch echt een vis te zien, en geen zalmfilet. Sterker nog, ik heb even getest en ik moest "salmon on a plate" specificeren om überhaupt een gerecht te krijgen.

Het punt wat ik probeer te maken is dat als je ook maar enigszins je best doet om te omschrijven wat je wil je dat ook krijgt (al hebben de meeste generators wel moeite met meerdere dingen op één afbeelding, zoals bijvoorbeeld "een zalm in een aquarium naast een bord friet").

[ACM]

Dat specifieke voorbeeld hadden ze dan ook aan de kant van midjourney al gefixt

[87Dave]

Op zich zou ik dat niet geavanceerd noemen. Als ik voor mijn living een schilderij wil om het op te vrolijken, zou ik daar een kunstenaar voor kunnen inhuren om er één te maken.

Dan ga ik ook niet klagen dat ik duidelijke instructies moet geven als ik iets specifiek wil. Als ik een hedendaagse kunstenaar alleen de instructie "Een zalm zwemt in een rivier." geeft is er een grote kans dat je een gebakken zalm die zwemt krijgt omdat balorig zijn nu net iets is wat ze graag doen.

Een klantgerichte artiest zou me dan weer de kans niet geven het te vaag te laten en meer info vragen zoals "waar? Noorwegen bijvoorbeeld?, jonge zalm die naar zee zwemt of oude naar paaiplaats?; welk seizoen, ..."

Misschien kan de (eenvoudige) gebruikersinterface AI doorontwikkeld worden om zoals de klantgerichte artiest door te vragen op een prompt. LLM modellen zouden dat wel kunnen.

[Cergorach]

Zo een LMM (AI) kijkt in context van diens trainingsdata OF de opgegeven specificaties. Als jij dus aan een willekeurig persoon vraagt, lever mij een medewerker. Dan krijg je een random uitzendkrachtje zonder IT ervaring. Maar jij bent een senior webdeveloper, daar heb je niet zoveel aan. Als je datzelfde vraagt aan de HR afdeling van je bedrijf (er even vanuit gaande dat je die hebt en dat deze enigszins goed is), dan krijg je een webdeveloper geleverd die geschikt is voor het bedrijf waar je werkt. De trainings 'data' van de twee verschillende mensen waaraan je het vraagt is namelijk heel verschillend. We vinden het toch ook heel normaal dat we voor dat soort vragen naar de juiste persoon gaan... En als je een nieuw inhuur partij in de arm neemt, dan geef je toch ook een hele specifieke instructie set op van waar je naar op zoek bent?

Net zoals Google quirks heeft met zoeken, heb je ook aangeleerd om mee te werken (of niet) de afgelopen 25 jaar. Waarom verwacht iedereen dat een LMM (AI), met een algemene trainings set opeens magische perfect aan wensen kan voldoen op basis van wat jij denkt? Als je weet dat dit een issue is, dan ben je specifieker met de instructies, ben je specifieker met je dataset of leer je je LMM (Ai) nieuwe dingen aan...

Het is al een hele tijd bekend dat LMM (AI) image modellen hele specifieke instructiesets hebben, die voor mensen vaak wat lastig zijn. Daarom gebruikt men weer vaak tekst LMM (AI) modellen om die specifieke instructies voor een image LMM (AI) te schrijven, de resultaten die je er dan uit krijgt zijn dan vaak een stuk beter dan wat je met simpele instructies als 'zalm op een rivier' invoeren oplevert.

[locke960]

Het probleem is meer dat de trainingsdata gewoon niet helemaal past bij het doel.

Bij een dergelijk uitspraak zul je toch echt moeten definiëren wat het doel dan is. En over wie zijn doel we spreken.

Ik denk dat het doel van Midjourney is zoveel mogelijk te leveren wat mensen verwachten. Volgens mij zijn dat toch echt meestal de stereotypen. Anders zouden ze wel wat anders intypen.

Systeem werkt dus als bedoeld.

Dat met die zalm is grappig, maar omdat dat niet aan de verwachtingen van de gebruikers voldoet zal het ongetwijfeld gefixed worden.

[Dual Infinity]

Slecht voorbeeld. De prompt bij dat plaatje was niet 'zalm op een rivier' oid.

Niet alles op het internet is waar, zeker niet als het grappig of populair is.

[Blorgg]

Was het beter geweest met een pistool of geweer?

Met een pistool een arend en een amerikaanse vlag zou het plaatje compleet geweest zijn.

Ik zie geen enkel probleem met deze generator anders dan dat deze het verkeerde label heeft gekregen. De devs hebben een steroetypen generator gebouwd. Prima toch?

[Jeroenneman]

Maar wat bedoel je met een stereotypen generator?

Wat voor afbeeldingen zou je krijgen als je mensen op straat vraagt om een afbeelding van New Delhi? Of Indian person?

Met zo weinig info in je prompt wil je dus al naar een generiek beeld toe. En tja, New Delhi is ook gewoon vies en vaak hangt er smog. Is het dan stereotypisch om dat in afbeeldingen naar voren te laten komen?

[Blorgg]

Maar wat bedoel je met een stereotypen generator?

Wat voor afbeeldingen zou je krijgen als je mensen op straat vraagt om een afbeelding van New Delhi? Of Indian person?

Met zo weinig info in je prompt wil je dus al naar een generiek beeld toe. En tja, New Delhi is ook gewoon vies en vaak hangt er smog. Is het dan stereotypisch om dat in afbeeldingen naar voren te laten komen?

Je krijgt dan inderdaad een stereotype. Daar is niets mis mee wat mij betreft. Zo denken mensen nou eenmaal over abstracte begrippen als "een persoon uit land XYZ". Dat AI dit dan ook doet ligt geheel in lijn der verwachting.

Het is stereotypisch om een min-of-meer standaard afbeelding voor zo'n breed begrip te tonen. Als je nou elke keer een ander persoon zou laten zien, dan zou het geen stereotypen generator zijn. Maar dat doet het nu niet. Al die gegenereerde protretten lijken op elkaar. Ergo, het is een stereotypen generator.

Ter vergelijking kijk eens naar klassenfoto's van je eigen school of naar beelden van pink pop of koningsdag of zo. Dat zijn, voornamelijk, nederlanders. Toch zien ze er bij lange na niet zo stereotypisch uit. Je herkent er wel nederlands publiek in, maar de samenstelling van onze samenleving is gelukkig niet zo homogeen als deze AI tool laat zien.

Het is wat mij betreft dus echt een stereotypen generator. Als ze het labeltje zouden aanpassen zou het weer kloppen. Dat, of ze moeten nog even verder ontwikkelen aan de tool.

[centr1no]

Je krijgt dan inderdaad een stereotype. Daar is niets mis mee wat mij betreft. Zo denken mensen nou eenmaal over abstracte begrippen als "een persoon uit land XYZ". Dat AI dit dan ook doet ligt geheel in lijn der verwachting.

Men vraagt ook (misschien onbewust) om een stereotype.
Een nationaliteit is in de meeste gevallen helemaal geen goede omschrijving van een persoon. Het zal daarom voor prompts ook normaal niet bij afbeeldingen opgeslagen worden, tenzij de persoon of achtergrond op de foto heel specifiek gerelateerd is aan een nationaliteit door bijv. klederdracht, een bekend gebouw o.i.d..

maar de samenstelling van onze samenleving is gelukkig niet zo homogeen als deze AI tool laat zien.

Maar de samenstelling van onze samenleving wordt ook niet door iedereen op dezelfde manier gezien.
In tegenstelling tot wat media ons voorspiegelt bevat een groep van 100 mensen niet per definitie de nationale statistische verhoudingen.
Diversiteit is in de grote steden hoger dan gemiddeld en in sommige dorpen gewoon niet aanwezig. Op rock of metal festivals zie je zelden of nooit Turken of Marokkanen en ook erg weinig andere niet Westerse nationaliteiten. En net als overal ter wereld zie je dat mensen met eenzelfde culturele achtergrond automatisch naar elkaar toe trekken.
De uiteindelijke vraag is dan voor dit onderwerp wie of wat wanneer specifiek als Nederlands beschreven wordt op een foto.
En dan kom je toch weer op de stereotypes uit.

Als ze het labeltje zouden aanpassen zou het weer kloppen. Dat, of ze moeten nog even verder ontwikkelen aan de tool.

Aanpassingen aan de tool zullen niet veel nut hebben als foto's niet voorzien zijn van de juiste informatie. En het is ook niet waarschijnlijk dat bij iedere foto een persoonsregister ingevuld gaat worden, dus zal het hoofdzakelijk afhankelijk blijven van de informatie die uit de foto zelf onttrokken kan worden.
Maar zelfs al zou een programma in staat zijn om aan de hand van lichamelijke kenmerken een nationaliteit te deduceren dan blijft dat juist stereotypisch bevestigen.

[Blorgg]

Het komt denk ik hier op neer.

Diversiteit is in de grote steden hoger dan gemiddeld en in sommige dorpen gewoon niet aanwezig. Op rock of metal festivals zie je zelden of nooit Turken of Marokkanen en ook erg weinig andere niet Westerse nationaliteiten.

Zelfs in dit soort gevallen waar je zeker weten niet te maken hebt met de statistische representatie van een bevolking voor wat betreft diversiteit in mensen zie je nog steeds veel meer diversiteit in de mensen dan deze tool laat zien. Dat is wat het een stereotypen generator maakt.

Als je een hamer een schroevendraaier noemt en je vraagt die 'schroevendraaien' om een schroef in een plank te werken, dan moet je niet vreemd opkijken dat de schroef erin gehamerd wordt.

[centr1no]

Dat is wat het een stereotypen generator maakt.

De tool 'maakt' geen stereotypes. Het bevestigd enkel de informatie van de zeer beperkte en daarmee stereotyperende data.

[Blorgg]

De tool 'maakt' geen stereotypes.

Jawel, dat is letterlijk wat de tool doet.

Het bevestigd enkel de informatie van de zeer beperkte en daarmee stereotyperende data.

Wat resulteert in een tool die stereotypen genereerd. Maar dat maakt het volgens jou geen stereotypen generator. Ondanks dat dit het resultaat is van de tool.

Ok dan.

[B0KIT0]

Is het dan stereotypisch om dat in afbeeldingen naar voren te laten komen?

Ja dat is dan stereotypisch. Maar stereotypisch is op zichzelf ook helemaal niet persé slecht.

Het is alleen momenteel vaak een beladen woord omdat niet iedereen zich overal in kan herkennen, en dat zou wel moeten volgens huidige populaire stromingen.

Men maakt het slecht momenteel. Het is echter ook gewoon realiteit dat er stereotypen zijn. Het is gewoon een menselijke manier om het leven te kunnen interpreteren.

[Duingras]

Het lijkt erop dat ze dit niet hebben vergeleken met een panel van bijvoorbeeld 100 menselijke tekenaars. Of dat ze hiernaar hebben gekeken vanuit het perspectief van een echte (stereotype!) gebruiker van de tool en wat die verwacht bij een bepaalde prompt. De vraag is of dit soort bots de wereld moeten verbeteren of dat we dat zelf eerst maar eens moeten doen.

[drdelta]

Vlag én geweer, natuurlijk

[Knijper1962]

En obese !

[Danny]

of je maakt je druk om ECHTE problemen. sjeez.
Stereotypen komen overigens ERGENS vandaan he. Een mexicaan met sombrero wordt gezien als stereotyperend, maar dat betekent dus dat in media/film etc geen enkele mexicaan een sombrero mag dragen. Kom op zeg.

Alleen de term 'problematisch' al.

_{O jee, -1. Blijkbaar mensen getriggerd hier}

[Reactie gewijzigd door Danny op 22 juli 2024 17:49]

[RRRobert]

of je maakt je druk om ECHTE problemen. sjeez.
Stereotypen komen overigens ERGENS vandaan he. Een mexicaan met sombrero wordt gezien als stereotyperend, maar dat betekent dus dat in media/film etc geen enkele mexicaan een sombrero mag dragen. Kom op zeg.

Alleen de term 'problematisch' al.

_{O jee, -1. Blijkbaar mensen getriggerd hier}

Ik begrijp ook niet goed waarom je reactie naar -1 wordt gemod, want je hebt zeker een punt. Het mensbeeld van individuen hangt vrijwel altijd aan elkaar van stereotyperingen, zodra men een beschrijving of omschrijving zoekt van iets of iemand die buiten een eigen groep, volk of wereldbeeld valt. Vergelijk het maar eens met de stereotypering van 'Nederland', waarbij men in 'ons' buitenland altijd maar weer met die klompen, klederdracht en windmolens komt aanzetten, terwijl dat dus ook volkomen achterhaald is.

Eigenlijk is de AI hier dus juist een uitstekend voorbeeld van imitatie van menselijk gedrag.

[iqcgubon]

Dit dus eigenlijk. Vraag aan eender wie: "SNEL! Denk nu onmiddelijk aan iemand van Indiase origine". Dan komt er al snel, onbewust, in je hoofd een beeld op van een vrouw in een sari. Bij een piraat denken we onmiddelijk aan gouden oorringen, een houten been en een ooglapje. Pas bij bewuster doordenken kom je uiteraard al snel bij de realiteit die net iets genuanceerder is.

Maar die stereotypen komen ergens vandaan. Is het problematisch? Nee, an sich niet. Het wordt problematisch als je de stereotypen gaat karikaturiseren met het doel te viseren en beledigen. Wat Midjourney uiteraard niet doet.

[Danny]

Wat eigenlijk maar een heel, HEEL klein percentage van de bevolking doet. Het is ook vaak het witte riddersyndroom. Veel blanken die namens minderheden gekwetst zijn en zich daarover uitlaten uit een vorm van witte superioriteit. 'Die arme *voer groep in* kan helemaal niet zelf beslissen of ze gekwetst zijn, dat doe ik wel voor ze'. Voorbeelden zat van op bv youtube te vinden. Een blanke in somrero en poncho en nepsnor die dan op een campus vraagt of zijn outfit 'offensive' is en ja, stuk voor stuk roepen ze dat het offensive is. Vervolgens gaat hij een wijk in waar vrijwel uitsluitend mexicanen wonen en stelt dezelfde vraag. Die lui vinden dat helemaal niet offensive. Die vinden het grappig of zelfs fijn dat hun cultuur wordt uitgedragen.

Dit zal ook wel weer zo'n soort gevalletje zijn. Compleet doorgeslagen wokeness.

edit: ja hoor, dit is de auteur:
https://restofworld.org/author/victoria-turk/

wit als melk en vindt zich duidelijk dermate superieur aan andersgekleurden dat ze voor hen meent te moeten spreken.

[Reactie gewijzigd door Danny op 22 juli 2024 17:49]

[Vinxian]

Het is oud nieuws, maar dat AI vaak met stereotypische resultaten naar voren komt is naast oud nieuws wel degelijk een "echt probleem" als je het serieus wil hebben over de toekomst van AI.
Nu is het allemaal niet zo'n probleem, want er zijn geen diepere gevolgen van een AI die afbeeldingen genereerd.

Maar er is gewoon een drang om AI systemen in te zetten in sectoren waar er wel degelijk gevolgen zijn bij de inzet van AI die bestaande vooroordelen versterkt. En hier zijn ook concrete voorbeelden van, denk aan de Amazon "CV scan" bot die alle CV's van vrouwen weggooide omdat het op basis van training data had besloten dat die CV's de moeite niet waard waren.

De constante herinnering dat "denkpatronen" van machines niet objectief of neutraal hoeft te zijn is daarom ook een belangrijke herinnering om te blijven voeren. Want als je niet inzien hoe deze vooroordelen in geautomatiseerde systemen kunnen leiden tot zeer onwenselijke effecten in de echte wereld is wel een beejte gebrek aan creativiteit

[Danny]

Dat kun je dan in de backend eenvoudig voorkomen door zelf softprompts toe te voegen als bedrijf. Een tool als midjourney is er voor de grap. Daarbuiten ben ik het er persoonlijk gewoonweg niet mee eens dat de voorbeelden die ik hier zie 'schadelijk' of 'zeer onwenselijk' zijn. En ik zie sowieso zelden tot nooit voorbeelden van dit soort 'problematische' dingen die ook echt 'problematisch' zijn. Meestal vallen ze onder de noemer 'overdreven woke geneuzel vanuit een wit-superieure zelfgeilerij'. In mijn ogen dan he.

[coptician]

Ik heb ook veel moeite gehad om een specifiek beeld eruit te krijgen bij het genereren van mijn D&D karakter. Ik wilde een specifieke niet-witte huidskleur en daar had Midjourney moeite mee. Ik heb toen vier verschillende verwoording en gebruikt van die huidskleur zodat Midjourney het begreep.

Mijn vermoeden is dat Midjourney bevooroordeeld is doordat wij mensen bevooroordeeld zijn. De dataset is zoals we weten zeer belangrijk, maar ook het 'stemmen' wat je doet traint het algoritme. Als zoals in het voorbeeld genoemd de huidskleur van gegenereerde Aziatische vrouwen lichter is dan werkelijk, komt dat mogelijk doordat daar meer op gestemd wordt.

Ik denk dat de grote hamvraag voor generatieve AI wordt om te bepalen hoe ze daar mee om moeten gaan. Want de content handmatig bijstellen naar wat het 'hoort' te zijn is ook een gevoelig onderwerp.

[darkpluisje]

Ik heb toen vier verschillende verwoording en gebruikt van die huidskleur zodat Midjourney het begreep.

En ligt dit dan aan Midjourney, of ligt dit aan jouw manier van verwoorden in je prompt?

Op het moment dat jouw karakterprompt goed werkt maar de huidskleur in de prompt wordt genegeerd kan je daar meer weight aan geven in je prompt. Zeker met vreemde kleuren (een blauwe elf, een gele oger etc.) is het niet raar dat midjourney daar wat meer moeite mee heeft.

[ErikT738]

Ik weet niet hoe het bij MidJourney zit, maar bij Stable Diffusion hielp het om een LORA voor Tieflings te installeren. Standaard kunnen deze programma's gewoon slecht omgaan met een blauwe of rode huid omdat dit in de trainingsdata nauwelijks voorkomt.

[Yaksa]

Ik heb daar totaal geen moeite mee, kwestie van heel goed specificeren wat je wil.
En soms is dat lastig, je moet immers aan een nogal 'dom' programma gaan uitleggen wat je precies in gedachten had. En gedachtenspinsels zodanig op papier zetten (prompten) dat AI het ook snapt valt niet altijd mee, maar onmogelijk is het niet.

[coptician]

De vraag is of, als je iets niet heel specifiek zegt, de automatische aanname goed is of niet.

Stel ik geef 'dirty stealing hobo' in, en ik krijg alleen donkere mannen terug. Is dat Okee? Velen zullen zeggen van niet. Maar ja, dan wordt de vraag: wat hoort er wel te gebeuren? Hoort elke combinatie van ras, sekse, etc etc etc evenveel voor te komen? En is dat een realistische verwachting in een niet 100% eerlijke maatschappij?

[Yaksa]

Volgens mij is deze hele discussie zeuren om het zeuren.
AI beeldgeneratoren worden hoofdzakelijk gebruikt om een idee om te zetten in beeld.
Degene die de prompt schrijft heeft al een idee hoe het uiteindelijke beeld er (globaal) uit zou moeten zien.
En zal die prompt aanpassen wanneer het beeld niet overeenkomt met zijn verwachting.
Het gaat er niet om of iets hoort te gebeuren volgens realistische verwachtingen, dat maken zeurders ervan.

[ErikT738]

Er wordt in dit soort voorbeelden bewust gewerkt met (te) vage prompts. De AI is helemaal niet ontworpen om met zulke beperkte input hele diverse resultaten te creëren. Als jij een bijvoorbeeld een vrouwelijke Aziatische vieze stinkende hobo wilt zien, dan moet je dat specificeren. De AI zal dit vervolgens gewoon genereren. Houdt er wel rekening mee dat de kwaliteit van het resultaat afhankelijk is hoe goed de AI het onderwerp kent. Als jij vraagt om een vieze stinkende hobo met een blauwe huid dan zal het hier waarschijnlijk moeite mee hebben, omdat het nauwelijks "weet" hoe mensen met een blauwe huid er uit horen te zien.

[coptician]

Je beschrijft nu hoe de AI technisch en op dit moment werkt.

Waar deze discussie naar mijn mening vooral om gaat, is hoe de AI functioneel hoort te werken. Niet als gebruiker die een tool gebruikt, maar als concept wat de gehele wereld beïnvloedt.

Je kan zeggen dat de prompt te vaag is. Als de prompt te vaag is, moet de AI 'm dan simpelweg weigeren? Of moeten we accepteren dat een AI zonder verdere uitleg aannames maakt die stereotyperend, oneerlijk, tot op ractistisch/seksitisch/etc zijn?

[ErikT738]

Je moet een tool gebruiken voor hetgeen waarvoor het is gemaakt. Je gaat toch ook niet klagen dat het maar lastig zagen is met je hamer? Het zou enkel een probleem zijn als de AI geen diversiteit KAN genereren, maar dat is niet het geval.

[87Dave]

huidskleur van gegenereerde Aziatische vrouwen lichter is dan werkelijk

Er is een grote kans dat dat is omdat de foto's waarop het getraind is, een lichtere huidskleur hebben.

Redenen kunnen variëren van veel foto's in professionele studio's met wat overbelichting tot systematische fotoshop waar fotografen het lichter maken. Of misschien zelfs als artefact van het wegvegen van pigmentvlekken waar het wat lichter uitkomt.
En dan is er ook nog de neiging van mensen om hun eigen foto's te selecteren op hoe ze zichzelf willen zien. Je gaat op instagram hard moeten zoeken om niet geselecteerde en bewerkte foto's te vinden.

Dan heb je ook nog het effect van dat de gezichten vaak wat knapper dan gemiddeld zijn. Op zich is dat te verwachten doordat je een soort van gemiddelde van veel gezichten krijgt.

Op zich is het niet ideaal dat er getraind wordt op een kunstmatige dataset, maar het is wel heel moeilijk om de ruwe originele foto's te hebben om op te trainen. En als je resultaten geeft op basis van ruwe originele foto's, gaat het dan ook vaak weer niet zijn wat de gebruiker wil.

[HenkEisDS]

Zo zien Nigeriaanse huizen er volgens Midjourney vrijwel altijd vervallen uit.

Ik heb net even random 10 keer een Google Streetview pin in Nigeria laten vallen en 9 van de 10 keer was het eerste dat ik zag een vervallen huis. Wat is het probleem dan precies?

[cariolive23]

Heb het ook even geprobeerd, maar krijg toch echt totaal andere resultaten: slechts 1 van de 10 keer een vervallen woning. De rest varieert van achterstallig onderhoud tot een leuke woning, maar zeker geen vervallen huizen. Ik heb wel de pin laten vallen in de (buurt van) steden.

Door te stellen dat vrijwel ieder huis is vervallen, ga je vooroordelen kweken en in stand houden. Ik zie hetzelfde met Rio de Janeiro, waar de halve wereld denkt dat iedereen in een sloppenwijk woont. Wanneer ik Google Image vraag om "house Rio de Janeiro", krijg ik 21 resultaten waarvan 9x een sloppenwijk. En Ja, ze bestaan, en Ja er wonen (te) veel mensen, maar Nee, het is niet de standaard. En ook kabel TV en internet kun je er krijgen.

[HenkEisDS]

Dan hebben we misschien een andere definitie van vervallen.

Als de verf afbladderd, schimmel op de muren staat en het dak scheef hangt vind ik het vervallen.
https://maps.app.goo.gl/XqTLMj1tR9MFeHYRA?g_st=ic

Golfplatendakje, verrotte zonwering en nog maar 10% van de tegels op de vloer. Vervallen.
https://maps.app.goo.gl/JpkFE1oepKcXEyjk7?g_st=ic


Deze vind ik wel weer geinig trouwens:
BEWERE OF 419 DIS LAND IS NOT FOR SALE
https://maps.app.goo.gl/GRGXv2KUhJmQbV3c6?g_st=ic

[cariolive23]

volgens deze definitie zal ook een groot deel van de huizen in Nederland vervallen zijn, denk alleen al aan de grachtenpanden in Amsterdam. Probeer daar eens een pand te vinden waar niet de verf afbladdert of het dak recht ligt. Zelfs de muren staan niet recht en over de fundering zal ik het maar helemaal niet hebben...

[bewerkers]

Het is niet "problematisch", maar niet representatief voor een groot deel van de bevolking. De trainingsset is beperkt en selectief, maar er is niks fout aan de personen die er in staan. Het zijn echte personen.
Aziatische vrouwen zien er lichter uit, omdat dat daar de schoonheidsstandaard is. Modellen zijn daar lichter.
Amerikaanse poseren wellicht vaker met hun vlag dan bijvoorbeeld Nederlanders. Dan zie je dat ook terug.
Ze kunnen de trainingsset uitbreiden en dan wordt het wellicht representatiever. Als dat het doel is tenminste. Want representativiteit is niet altijd wenselijk.

[Reactie gewijzigd door bewerkers op 22 juli 2024 17:49]

[Boost9898]

Dit is toch juist representatief voor de gemiddelde bevolking van een groep. Je kan niet één perfect gemiddelde genereren want groepen zijn niet hetzelfde, daarom zijn het groepen. Daar is niets mis mee.

[bewerkers]

Gemiddelde is ongelukkig gekozen. Ik kan dat weglaten. Je kunt wel een groep representeren aangezien je meerdere afbeeldingen genereerd. Die zouden ongeveer 50% vrouw moeten zijn.

[Reactie gewijzigd door bewerkers op 22 juli 2024 17:49]

[Boost9898]

In een 'ideale' wereld wel, maar dat is geen afspiegeling van de realiteit. Het is een feit dat ~75% van de verpleegkundigen vrouw zijn, dus het zou raar zijn als het model 50/50 man/vrouw genereert. Wel ben ik het ermee eens dat wanneer je iets als 'male nurse' invoert, dit zonder problemen zou moeten werken.

[bewerkers]

Representatief is naar verhouding. Dus bij verpleegkundige zou je ongeveer 75% verwachten. Maar welke afwijking is verhoudingen zijn acceptabel?

[lucatoni]

Ben wel benieuwd of de onderzoekers ook eens op Google dezelfde term hebben geprobeerd:
Van de 24 eerste resultaten, zijn er 5 vrouwen. Daarnaast bijna allemaal in traditionele kleding. Klaarblijkelijk zijn dat ook de afbeeldingen waar gebruikers naar op zoek zijn, wanneer ze zoeken op "indian person"? Neem aan dat Google's search engine ook bijhoud op welke afbeeldingen worden doorgeklikt en dat dat de volgorde bepaalt?

Oftewel: Kan je dit Midjourney kwalijknamen?

[shadowmanwkp]

Tuurlijk kun je het ze kwalijk nemen. Google gebruikt ook algoritmes om resultaten te tonen. Als je insinueert dat gebruikers een overwegend grote invloed hebben op het resultaat, moet je niet vergeten dat Google degene is die bepaalt welke resultaten er worden getoond en in welke volgorde.

Hetzelfde geldt voor Midjourney: het is geprogrammeerd door mensen. Zij hebben een bias die alleen maar wordt uitvergroot wordt door druk aan allerlei kanten (geld, tijd, materieel). Om te insinueren dat het de gebruiker is die hier bewust voor kiest vind ik veel te kort door de bocht.

[_Thanatos_]

Dat is wat je krijgt als je een computer iets vraagt: of je krijgt totaal niet wat je vraagt, of je krijgt veel meer dan wat je vraagt met een dikke schep erbovenop.

Laatst vroeg ik simpelweg om een man achter een bureau, met in de achtergrond een blauwe afzetcontainer. En inderdaad, overal zat blauw waar je dat niet verwacht.

Dus dit gedrag verbaast me niks. Als je ergens om vraagt, krijg je wat de AI denkt wat je wil. Als je dat niet wil, moet je specifieker zijn.

Ik praat het niet goed trouwens, ik leg alleen uit waarom het probleem bestaat.

[edterbak]

Nou.... Schokkend
[sarcasme modus uit]
Ligt dit nou aan mij? Ik vind dit echt super logisch. "Wat je er in stopt krijg je er uit.". Dat is altijd al zo geweest met computers / programma's.
De voorkeur van de personen die de informatie er instoppen, komt er ook weer uit.

En bovendien, in bovenstaande voorbeelden ‘Indian person’ en ‘Amerikaans persoon’ is het resulterende plaatje in de meeste gevallen dan toch precies wat mensen verwachten/willen? Een antwoord waar de meesten blij mee zijn. Ik zie het probleem niet.
Mijn gevoel zegt meer dat het onderzoek weinig zinvol is.

[Reactie gewijzigd door edterbak op 22 juli 2024 17:49]

[Grrrr]

Ja, ik vind het ook logisch. Maar ik denk niet dan de gemiddelde gebruiker van een Art generator zich er bewust van is. En daarom is het goed dat dit soort onderzoeken bevestigd wat we al denken te weten.

Het zou naïef zijn om te denken dat er echt iets drastisch verandert nu, maar dit soort signalen kan hopelijk wel zorgen dat AI art wat meer gezien wordt voor wat het is: niet representatieve stereotype crap😅

[SunnieNL]

Het probleem is dat de mensen stereotypes als een probleem zijn gaan beschouwen.
Dat zie je niet alleen in de AI, maar bijvoorbeeld ook in de Efteling. Carnavalsfestival is een grote uitvergroting van stereotypes (want ja, dat doen we met carnaval, stereotypes uitvergroten). Het is een attractie met een knipoog.

Toch vallen niet alleen buitenlanders, maar ook nederlanders daar over. Op zich nogal vreemd. Want diezelde buitenlander heeft waarschijnlijk ook alle stereotypische nederlandse dingen gezien. De molens, water, tulpen, kaas en klompen. Ze gaan niet op de foto met een normale nederlander voor de HEMA.

Het valt mij nog mee dat Disney nog niet de Small World attractie heeft moeten aanpassen, want daar staan ook allerlei stereotypes in (en precies degenen die de AI ook genereerd)