AI-plaatjesgenerator Midjourney pauzeert gratis probeerversie - update

AI-bedrijf Midjourney, bekend van de gelijknamige generatieve AI die afbeeldingen kan maken, heeft de gratis variant van zijn dienst tijdelijk stilgelegd wegens een te grote vraag, maar ook 'misbruik van de probeerversie'.

Midjourney bood voorheen een gratis probeerversie van de AI-afbeeldingengenerator aan, waarbij gebruikers 25 gratis afbeeldingen konden genereren. Daarna moet je een abonnement nemen, dat 10 dollar per maand kost. Op dinsdag meldde Midjourney-kopstuk David Holz dat de gratis versie door 'overweldigende vraag [naar de dienst in zijn algemeen] en misbruik van de probeerversie' tijdelijk stopgezet werd. Een dag later schreef hij: "We hebben geprobeerd de probeerversie weer aan te zetten met nieuwe beveiligingen tegen misbruik, maar die leken niet voldoende te zijn, dus zetten we het weer uit om de service voor alle anderen te behouden."

Midjourney hanteert een aantal verboden begrippen, zo schrijft onder andere The Verge. Zo is het verboden om de term 'gearresteerd' te gebruiken, vermoedelijk omdat dit het mogelijk maakt om vervalste beelden van arrestaties te verspreiden als nepnieuws. Dat deed een Bellingcat-onderzoeksjournalist bijvoorbeeld eerder deze maand, hoewel hij er wel bij zette dat de foto's gegenereerd waren. Verder is bijvoorbeeld 'Xi Jinping' verboden. Daarover zei Holz eerder dit jaar: "Het is de vraag of het grotere goed is dat [Chinezen] de technologie kunnen gebruiken of dat jullie politieke satire kunnen maken."

Midjourney heeft twee grote concurrenten: Dall-E en Stable Diffusion. Vergeleken met Midjourney laat Stable Diffusion zijn gebruikers behoorlijk vrij, terwijl Dall-E juist eist dat alle gegenereerde content kindvriendelijk is.

Update, vrijdag: Midjourney-voorman Holz heeft tegenover The Verge verduidelijkt dat hij met 'misbruik' doelde op het aanmaken van meerdere accounts om de beperkingen van de gratis probeerversie te omzeilen, en niet het creëren van nepnieuwsplaatjes.

Beeld: Eliot Higgins op Twitter

Reacties (104)

[henk717]

Ik ben zelf ontwikkelaar van KoboldAI en vanuit onze community is het Stable Horde platform ontstaan. Omdat de KoboldAi Horde en Stable Horde inmiddels een platform zijn heb ik dus kennis van de interne gesprekken over moderatie.

En op de achtergrond werden continu pogingen gedaan om het filter te omzeilen op manieren die je niet verwacht en kwamen we er achter dat sommige mix modellen resultaten kunnen genereren die absoluut niet door de beugel kunnen ondanks dat je normale termen gebruikt die bij andere modellen normale resultaten teweeg brengen.

Horde is gratis en het is een soort Folding@Home voor AI generatie zowel plaatjes als text. En het platform biedt niet enkel de officiele Stable Diffusion modellen maar ook de finetunes en veel mixen er van.

Er gaat haast geen week voorbij zonder dat er weer creatief gepoogd wordt om misbruik te maken, maar de technieken die ze nu hebben zijn erg sterk. De uitdaging om bijvoorbeeld kinder porno tegen te gaan is een lastige omdat we niet enkel willen voorkomen dat kinder porno wordt getoond, we willen ook voorkomen dat mensen die de AI vrijwillig draaien het genereren.

Een kinderporno filter konden ze gelukkig wel bouwen en je hebt geen kinder porno nodig om een dergelijk filter op te zetten. Er is namelijk een open model welke getrained is op porno en welke kan aantonen of iets porno is. Ook is er een model getrained op kinderen welke kan aangeven of iets een kind is. Als beide modellen aan slaan heb je dus mogelijk te maken met kinder porno en wordt het geblockt. Maar ook dat ben je er weer niet, want anime kan soms weer als kind worden gezien en dan is het filter te gevoelig dus moet je ook weer losse detecties hebben voor anime.

De voorkant om de mensen te beschermen die plaatjes genereren wordt gedaan door het vervangen van woorden in je prompt. Stel je wil erotisch plaatje van een student en je typt "Sexy girl in the classroom" zou het best kunnen dat je onderwater wordt aangepast naar "Sexy 25 year old woman in university" puur om te voorkomen dat je op sommige modellen een ongewenste output krijgt. Zo kunnen we beschermen tegen backdoors in de modellen en toch de gebruiker de ervaring bieden die zij verwachten voor je tegen de overige filters aan loopt.

Het is dus een eindeloos kat en muis spel voor de zaken waarvan je het echt niet wilt hebben. En dat is dus al het geval bij zaken die relatief makkelijk te classificeren zijn. De overige legale generaties laten we gewoon door, dus als midjourney echt de context wil gaan weren en misinformatie als misbruik ziet is daar bijna niet aan te beginnen.

Persoonlijk ben ik er heel liberaal in waarbij ik vind dat je alles moet kunnen generen tenzij het materiaal is waarbij je slachtoffers zou maken als dit materiaal niet AI gegenereerd is. In het geval van bijvoorbeeld kinder porno wil je niet dat bij echt materiaal de defentie wordt gebruikt dat het slechts door een Ai is gemaakt dus dat is terecht illegaal. Maar al het andere spul dat je ook zou kunnen doen met veel photoshop talent moet wat mij betreft gewoon kunnen.

[Bozebeer38]

Kinderporno is het natuurlijk niet als het niet echt is.
Misschien geen populaire mening en eigenlijk boeit het mij verder niet, maar als ik dat lees zo dan vind ik het overdreven overkomen.

Denk dat heel veel mensen er juist gebaat bij zouden zijn, dat is ook zo’n ding wat men qua onderwerp vermijd, op zich logisch maar tegelijkertijd niet goed.
Word dan afgedaan met dooddoeners als, dat dit zou leiden naar de stap maken om iets echt te willen doen, wat nergens uit blijkt qua als je hier onderzoek naar doet.

Als je zegt we willen liever niet dat onze software zo word gebruikt, vind ik al begrijpelijker.

Dit is overigens niet illegaal, zelfs niet in preuts land Amerika, waar de wetgever wel een wet had gemaakt omtrent “tekeningen”, maar die is bestempeld als “unconstitutionally vague” en is daarmee niet rechtsgeldig.

[Reactie gewijzigd door Bozebeer38 op 22 juli 2024 22:06]

[NVranya]

Kinderporno is het natuurlijk niet als het niet echt is....
...Dit is overigens niet illegaal, zelfs niet in preuts land Amerika, ..

Nee, voordat mensen verkeerde ideeën krijgen: het is _altijd_ kinderporno, ook geanimeerd of virtueel:

Virtuele kinderporno
Naast kinderporno bestaande uit beeldmateriaal van echte kinderen, is ook virtueel materiaal strafbaar. Deze virtuele kinderpornografie bestaat bijvoorbeeld uit animaties. Virtuele kinderporno is strafbaar omdat dit soort materiaal seksueel misbruik van kinderen suggereert.

Bron: https://www.rijksoverheid.../kinderporno-is-strafbaar

[Reactie gewijzigd door NVranya op 22 juli 2024 22:06]

[honey]

Het idee dat virtuele kinderporno kindermisbruik zou veroorzaken, is net zo absurd als de bewering dat gewelddadige videogames mensen aanzetten tot geweld. Natuurlijk, je hebt er altijd een paar mensen bijzitten die al van het padje waren afgedwaald. Kindermisbruik ontstaat voornamelijk door de mogelijkheid en de machtsverhoudingen die er spelen. Pedofielen zijn vaak niet degenen die misbruik plegen en mensen die virtuele kinderporno consumeren - waaronder veel jongeren die manga lezen - zijn ook niet per definitie misbruikers. Een dergelijke wet is volledig onzinnig en is bovendien niet te handhaven en niet effectief, wat het doel ook moge zijn.

Met dit soort AI systemen kun je binnenkort alles maken wat je wil.

Het zou slimmer zijn om juist te investeren in een gezonde seksualiteitsontwikkeling van mensen (dus voorlichting en educatie, met name op scholen), zodat misbruik van kinderen minder zal voorkomen, maar helaas zal het altijd een onderdeel blijven van het leven.

[LikeWizeNose]

Het gaat niet alleen om dat het kindermisbruik veroorzaakt maar vooral ook om te voorkomen dat het wordt genormaliseerd.
Ik weet niet of je nog die pedo partij kunt herinneren maar dat is wat ze toen ook probeerden te doen zonder "zogenaamd" kinderen te misbruiken.

Ik snap niet hoe je tot de bewering kunt komen dat pedofielen niet vaak de mensen zijn die kindermisbruik plegen.. Als je een kind seksueel misbruikt ben je gewoon een pedofiel, allerlei excuses dat het andere dingen zijn is bullshit. Maakt niet uit waar het vandaan komt. Als je een kind misbruikt ben je gewoon een pedofiel.

En kinderporno, of het nu virtueel is of niet, normaliseert het alleen maar en dat brengt zeker wel problemen met zich mee. Het is misschien geen garantie voor misbruik maar je gaat een alcoholist toch ook niet in een slijterij laten werken? Het kan goed gaan , totdat het gigantisch mis gaat, en wanneer het gaat om kinderen moet koste wat kost ervoor worden gezorgd dat ze veilig zijn.

Pedofielen zijn vaak niet degenen die misbruik plegen en mensen die virtuele kinderporno consumeren -

Ik ben echt voor een ontzette vrije seksualiteit waar mensen gewoon zonder taboes en angsten over zouden moeten kunnen praten, ik vind ook dat de seksuele voorlichting gewoon veel beter moet. Niet alleen op school, ook thuis. Seksuele ontwikkeling hoort bij de opvoeding van een puber kind en ouders zouden daarom veel meer hun best moeten doen om betere seksuele voorlichting te geven.

Als ik terug kijk op mijn opvoeding dan was het echt gigantisch slecht hoe mijn ouders daar mee omgingen, puur alleen maar vanwege taboes en psychische blokkades om er maar überhaupt over te praten met elkaar. Ik had liever gehad het gelijk goed te leren in plaats van overal maar zelf achter te moeten komen , het had een hele hoop gezeik en gênante momenten gescheelt als we er alleen maar over gepraat hadden over bepaalde basis zaken.

Maar als het gaat om kinderen dan heb ik echt wel een zero tolerance beleid. Van kinderen blijf je af. En zit je er toch aan ben je gewoon een pedofiel. Je hebt dan professionele psychische hulp nodig en geen AI kinderporno generators.

[honey]

…
Ik snap niet hoe je tot de bewering kunt komen dat pedofielen niet vaak de mensen zijn die kindermisbruik plegen.. Als je een kind seksueel misbruikt ben je gewoon een pedofiel, allerlei excuses dat het andere dingen zijn is bullshit. Maakt niet uit waar het vandaan komt. Als je een kind misbruikt ben je gewoon een pedofiel.

Juist door dit soort stigmatiserende beweringen krijgen mensen een verkeerd beeld van kindermisbruik en de daders die het doen. Het is hetzelfde als de mythe dat sekswerk en mensenhandel iets met elkaar te maken heeft. Het creëert een onjuiste frame en daardoor zie je dat hulpverlening erg lastig wordt en groepen worden gemarginaliseerd en gecriminaliseerd. Lees de professionele bronnen eens, dat kun je wat meer inzicht krijgen in het fenomeen seksueel kindermisbruik en hoe het kan ontstaan.

Maar als het gaat om kinderen dan heb ik echt wel een zero tolerance beleid. Van kinderen blijf je af. En zit je er toch aan ben je gewoon een pedofiel. Je hebt dan professionele psychische hulp nodig en geen AI kinderporno generators.

Kijk, dit is een mooie illustratie waar het mis gaat. Kindermisbruik roept een heleboel emotie op. Daarom maken beleidsmakers ook vaak dankbaar gebruik van deze frame. Als je beleid gaat maken op basis van emotie, maar niet op basis van kennis en ratio, dan krijg je ineffectief beleid en veel ellende.

[stfn345]

wellicht een controversiële mening, maar: is het niet juist goed als AI kinderporno zou maken ? dan hoeft er geen echte kinderporno meer gemaakt te worden waardoor kinderleed bespaard wordt en mensenhandel zal afnemen. De vraag zal helaas altijd blijven bestaan.

[Hatsjoe]

Met dit soort zaken is het juist beter om goede therapie te geven om ervoor te zorgen dat pedofielen minder drang hebben om dit soort beelden te bekijken. Pedofilie is niet te genezen aangezien het simpelweg je geaardheid is. Het is wel onder controle te houden met de juiste begeleiding.

Wanneer je AI gegenereerde kinderporno gaat toestaan, dan heb je een probleem. Hoe bewijs je dat iets AI gegenereerd is, en niet echt is? AI is tegenwoordig al heel goed en wordt alleen maar beter. Daarnaast, wanneer pedofielen op deze manier "aan hun trekken komen" (no pun intended), dan is de kans groter dat op een moment deze plaatjes niet meer voldoende zijn. Dan gaan ze misschien over op echte kinderporno, filmpjes, of nog erger, kinderen in het echt.

Kortom, goede therapie en begeleiding is het antwoord, niet dingen deels toestaan. Het uitoefenen van pedofilie is in alle vormen onacceptabel. Het taboe dat er nu op heerst is ook niet goed. Het moet bespreekbaar worden zodat pedofielen juist hulp durven zoeken wat nu veelal niet het geval is.

[Tintel]

Hoe bewijs je dat iets AI gegenereerd is, en niet echt is?

Als het makkelijker is om de imitatie te maken dan is dat automatisch ook een minder groot probleem. Dat geldt overigens niet alleen voor kinder-porno. De ellende is dat de mensheid vol zit met afwijkingen van 'de norm' (die enkel geldt voor een bepaald deel - en vaak is die verdeling de Normale Verdeling dus er zijn nog best wel wat afwijkingen).
Er bestaan plenty in mijn ogen bijzonder verontrustende sexuele fixaties. Maar voor al die fixaties geldt: liever dat het imitatie betreft. Anime is daar ook wel een voorbeeld van eigenlijk. Dat is natuurlijk - zolang het animatie is - een imitatie.

Je zegt het zelf: een voorkeur voor een afwijking van de norm is niet te genezen omdat het geen ziekte betreft. We noemen het ziek omdat velen het zich niet eens kunnen voorstellen.
Maar het leed wordt pas echt groot als betrokkenen worden misbruikt (en of dat nu kinderen, dieren of volwassenen zijn - dat is allemaal erg).

En dat plaatjes zouden circuleren met daarop bekende mensen - dat kon ook al voordat we AI daarvoor gebruikten. Alleen kostte dat toen minder moeite.

[Hatsjoe]

Als het makkelijker is om de imitatie te maken dan is dat automatisch ook een minder groot probleem.

Hoe dan? Hoe beter de imitatie, hoe moeilijk je het van echt kunt onderscheiden.

Dat geldt overigens niet alleen voor kinder-porno. De ellende is dat de mensheid vol zit met afwijkingen van 'de norm' (die enkel geldt voor een bepaald deel - en vaak is die verdeling de Normale Verdeling dus er zijn nog best wel wat afwijkingen).
Er bestaan plenty in mijn ogen bijzonder verontrustende sexuele fixaties. Maar voor al die fixaties geldt: liever dat het imitatie betreft. Anime is daar ook wel een voorbeeld van eigenlijk. Dat is natuurlijk - zolang het animatie is - een imitatie.

Ik denk dat je "fetisj" en "geaardheid" door elkaar haalt. Pedofilie is geen fetisj of fixatie, maar een geaardheid.

Je zegt het zelf: een voorkeur voor een afwijking van de norm is niet te genezen omdat het geen ziekte betreft. We noemen het ziek omdat velen het zich niet eens kunnen voorstellen.
Maar het leed wordt pas echt groot als betrokkenen worden misbruikt (en of dat nu kinderen, dieren of volwassenen zijn - dat is allemaal erg).

Helemaal eens, echter is een fetisj geen ziekte maar een bepaalde fixatie of iets dat je opwindt. Mensen zullen deze fetisjen wellicht willen uitoefenen, maar zullen dat (bijna altijd) kunnen doen met volwassenen die toestemming kunnen geven. Het is dus iets wat mensen kunnen ontladen en actief kunnen beoefenen. Pedofilie kan je natuurlijk niet uitoefenen waardoor pedofielen erg seksueel gefrustreerd kunnen raken. Hoe meer ze geprikkeld en opgewonden worden, hoe groter die frustratie gaat. Daarom is AI gegenereerde of geanimeerde content dat zich richt op pedofielen slecht en iets dat verboden moet worden/blijven.

En dat plaatjes zouden circuleren met daarop bekende mensen - dat kon ook al voordat we AI daarvoor gebruikten. Alleen kostte dat toen minder moeite.

Simpele "face swaps" en dergelijke zijn heel makkelijk te detecteren en te weerleggen. Compleet AI gegenereerde content wordt dat al moeilijker omdat je geen referentie materiaal hebt. Wanneer de AI goed genoeg is zou een gegenereerd plaatje in principe pixel voor pixel gelijk kunnen zijn aan een foto. Er komt een punt waarop AI content niet meer van echt te onderscheiden is. Dus dat is nog een reden om AI kinderporno niet toe te staan. Nu is het verschil er misschien nog, maar later niet meer.

[Tintel]

Hoe dan? Hoe beter de imitatie, hoe moeilijk je het van echt kunt onderscheiden.

Omdat het dan makkelijk is om het na te maken en wordt het dus minder 'echt' gedaan (want dat kost meer moeite).

Ik denk dat je "fetisj" en "geaardheid" door elkaar haalt. Pedofilie is geen fetisj of fixatie, maar een geaardheid.

Dat ligt toch heel dicht tegen elkaar aan? Het is een sexuele voorkeur. Ik had dus idd beter kunnen zeggen voorkeur i.p.v. fixatie.
Is pedofilie echt alleen een geaardheid? - de ellende is dat dergelijke mensen ook wel degelijk 'normaal' sex hebben maar daarnaast ook graag iets zouden willen met kleine kinderen. Dan is de geaardheid moeilijk eenduidig vast te stellen maar we noemen zo iemand wel een pedofiel.

En m.b.t. het uitoefenen. Lang niet alle sex wordt actief bedreven/beleefd - vandaar de enorme porno industrie. En daarbij lijkt soms dat niets verboden is.

Er komt een punt waarop AI content niet meer van echt te onderscheiden is. Dus dat is nog een reden om AI kinderporno niet toe te staan.

Maar als dat punt er komt (en idd - dat komt vast wel) dan is kinder porno toch niet het enige probleem? Anders gezegd: waarom is kinderporno uitzonderlijk als het gaat om imitatie? En gezien het leed vooral ontstaat bij de kinderen als ze daarbij betrokken zijn is het toch veel beter om het juist te imiteren? Met als uitzondering: als echte kinderen worden getoond. En omdat er nog zoveel meer vage voorkeuren (of anders gezegd: afwijkende voorkeuren) bestaan, is het dan niet beter dat dergelijke voorkeuren dan ook alleen maar virtueel worden gemaakt? UItbannen van vage/afwijkende voorkeuren is een mooi idee maar ik denk helaas ondoenlijk. Zelfs de voorkeur voor overmatig dikke mensen zou je dan kunnen stellen als onacceptabel omdat het voor die mensen vermoedelijk ongezond is om zo dik te zijn.

Want ik blijf erbij: stellen dat kinderporno erger is dan misbruik van mensen in het algemeen is moeilijk houdbaar. Stellen dat het erger is omdat het om kinderen gaat houdt geen steek - ook volwassenen zijn nog steeds kinderen van hun ouders.
En het neveneffect van kinderporno is het grote kwaad (en dat is het - helaas weet ik dat) is dat ook onschuldige kinder foto's worden bestempeld als porno (vooral door ge automatiseerde systemen - wat de AI dus ook is). En ondertussen wordt daarmee de kern van de zaak opzij gezet; misbruik van wie dan ook - ongeachte leeftijd - is onacceptabel.

[BenKirssen]

Het probleem met realistische virtuele kinderporno is dat het de opsporing van echte strafbare afbeeldingen bemoeilijkt. Wat de wetgever wil voorkomen is dat de opsporingsdiensten overbelast raken met het uitzoeken of een afbeelding echt is (en dus een kind uit een misbruiksituatie gered moet worden) of door AI is gegenereerd en er dus alleen maar fantasie in het spel is.

[Tintel]

Dat probleem heb je dus bij alle verboden vormen van sex - als de imitatie zo goed is dat deze niet van echt te onderscheiden is.

De wetgever moet zorgen dat de mensen (kinderen in dit geval) zelf beschermd zijn en dus niet proberen iets te doen wat dus blijkbaar heel moeilijk is en ook nog eens na de echte verwerpelijk actie plaatsvindt.

[honey]

Met dit soort zaken is het juist beter om goede therapie te geven om ervoor te zorgen dat pedofielen minder drang hebben om dit soort beelden te bekijken. Pedofilie is niet te genezen aangezien het simpelweg je geaardheid is. Het is wel onder controle te houden met de juiste begeleiding.

Je verward pedofilie met mensen die kinderen misbruiken. Mensen die kinderen misbruiken zijn vaak geen pedofielen (zie ook mijn eerdere reactie).
Op zich is het geen probleem dat je dit soort beelden bekijkt, zo ook het lezen van verhalen geen probleem hoef te zijn. Het doel moet ook niet zijn om het bekijken van beelden te voorkomen, maar dat er geen kinderen slachtoffer worden van seksueel overschrijdend gedrag. De oorzaak ligt niet bij het bekijken van virtuele kinderporno. De oplossing dus ook niet.

Daarnaast, wanneer pedofielen op deze manier "aan hun trekken komen" (no pun intended), dan is de kans groter dat op een moment deze plaatjes niet meer voldoende zijn. Dan gaan ze misschien over op echte kinderporno, filmpjes, of nog erger, kinderen in het echt.

Deze aanname is nog nooit bewezen, zoals het bekijken van gewelddadige films of het spelen van gewelddadige games geen aanleiding hoeft te zijn om over grenzen te gaan. Mensen met een stoornis zullen wellicht vaker naar dit soort beelden kijken, maar andersom is er geen verband. Het verbieden van deze beelden zal ook niet helpen om misbruik te voorkomen.

Ik snap wel waar je mening vandaan komt. Maar, beleid maken op basis van gevoel of eigen waarden en normen gaat vaak niet goed. Je doet dan vaak het verkeerde, maakt daarmee onnodige slachtoffers en doeltreffend is het zelden. Helaas laten beleidsmakers zich zelden leiden door kennis (zie ook het slechte beleid bij sekswerk en de verschrikkelijke WRS, maar dat is een andere discussie).

Kortom, goede therapie en begeleiding is het antwoord, niet dingen deels toestaan. Het uitoefenen van pedofilie is in alle vormen onacceptabel. Het taboe dat er nu op heerst is ook niet goed. Het moet bespreekbaar worden zodat pedofielen juist hulp durven zoeken wat nu veelal niet het geval is.

Pedofilie is geen werkwoord. Het is een geaardheid. Maar, boven verder al genoemd. Oorzaak van kindermisbruik is een heel stuk complexer dan de noemer 'pedofilie' of het bekijken van virtuele porno.

[Reactie gewijzigd door honey op 22 juli 2024 22:06]

[Horatius]

Daar mag eerst flink wat onderzoek naar gedaan worden, want het kan denk ik beide kanten opschieten. Want volgensmij lijken pedofielie ergens ook op verslaving, oftewel als je ermee in aanraking komt wordt de verleiding groter en evt de nieuwsgierigheid om het zelf te doen ook dus dan heb je een averechts effect.

[Fluttershy]

Virtuele kinderporno is strafbaar omdat dit soort materiaal seksueel misbruik van kinderen suggereert.

Virtuele misdrijven mogen niet want het suggereert werkelijke misdrijven.

Behalve moord, want FPS games zijn gewoon legaal in Nederland.

En het overtreden van de maximumsnelheid, want racesims zijn ook legaal.

En de combinatie van de twee bovenstaande, want de Carmageddon reeks is ook legaal.

En slavernij & genocide, want er zijn voldoende 4X games waar mensenrechten meer mensensuggesties zijn...

[Milanobrotchen]

n slavernij & genocide, want er zijn voldoende 4X games waar mensenrechten meer mensensuggesties zijn...

Mijn average Rimworld playtrough

[Fluttershy]

Ik zat te denken aan Stellaris maar Rimworld is ook een goed voorbeeld.

Iemand nog interesse in een leren cowboyhoed?

[rmk_]

Als virtueel ook illegaal is waarom is bepaalde varianten van Hentai nog niet verboden in Nederland? Via Steam is er genoeg aanbod te verkrijgen.

[BenKirssen]

Virtueel kinderpornografie is alleen illegaal als het gaat om een niet van echt te onderscheiden afbeelding. Hentai is overduidelijk getekend en daarmee niet strafbaar.

[Bozebeer38]

Houd geen stand in de rechtszaal.
Is nog nooit iemand hier in Nederland om veroordeeld en als je al iets vindt, was in combinatie met echte plaatjes zeg maar.

[JDx]

Dit haal ik ook altijd aan bij reports, maar het is gewoon extreem lastig om een post te reporten en er wordt vaak niet eens iets mee gedaan. Het erge is dat deze posts ook nog eens enorm(!) veel likes krijgen.

Ik dacht altijd dat je zelfs geen kind tekenen met pen en papier in suggererende poses. Kan me soms zo druk maken om hoe mensen hier zo makkelijk mee om gaan dat ik eigenlijk wel bij een soort oprol politie-eenheid zou willen haha.

Krijg soms ook requests van mensen of ik zoiets wil maken, of een AI afbeelding van bestaande mensen (die ze zelf kennen), in plaats van reporten block ik die maar gewoon, want het heeft toch geen nut.

Edit: bij een report moet je zelfs een link mee sturen met een proof of age, maar die bestaat niet, want het is niet iemand, omgekeerde wereld.

[Reactie gewijzigd door JDx op 22 juli 2024 22:06]

[Stoelpoot]

Aangezien je bekend bent met de relevante wetsartikelen, heb je toevallig de nummers nog bij de hand?

[henk717]

Het probleem is andersom, je wilt niet iets legitiemeren onder het mom van "Dit heb ik met de AI gedaan en niet in het echt met dit kind". Dus je kan twee kanten op in de rechtspraak, ofwijl als kan worden aangetoond dat het met de AI is gemaakt is het legaal. Ofwijl alles wat echt zou kunnen zijn is illegaal.

Die laatste is veel praktischer en ik verwacht dat de rechtspraak daar ook heen leunt waarin we we per definitie er van uit gaan dat het materiaal echt is als deze voldoende echt lijkt.

Daar komt bij dat de "Dit is AI" defentie natuurlijk niet onopgemerkt is gegaan en er al concepten zijn gedeeld voor nep vingers die je kunt dragen. "AI kan geen juiste handen genereren en ik heb 6 fingers op die foto" is dus al geen argument meer.

Dus wil je de echte kinderen beschermen tegen pedofielen die achteraf de fotos iets bewerken om op AI te lijken moet je dus wel de AI versie gaan verbieden. En dat is ook de reden dat we daar ons zelf als platform niet aan branden. De impact van gegeneerde plaatjes is discutabel, voor sommige kan het ze behoeden om iets met een echt kind te doen omdat het genoeg is, voor andere kan het wellicht de prikkel zijn om meer te doen. Maar ook als het in de praktijk blijkt dat het vooral een positief effect heeft moet je dus niet het photoshoppen van plaatjes legitimeren.

Als in de toekomst dit algemeen bekend is na verschillende onderzoeken dat AI gegenereerde plaatjes kinder misbruik voorkomt. En als dan ook een uitzondering wordt gemaakt voor plaatjea die je aantoonbaar met de AI kunt herproduceren dan is dit best te heroverwegen. Maar met het huidige gebrek aan bewijs en de legaliteitskwesties moeten we dit gewoon niet willen.

[Gulli]

Ik heb gegenereerde 'foto's' gezien van bekende mensen waarbij ik meteen zag dat het om AI ging maar collega's van me die er niet zo in zaten hadden geen idee en dachten dat het echt was. De mensen die het gebruiken zitten er bovenop en weten precies wat er mogelijk is en waar je op moet letten. Mijn punt is, als echte foto's van kinderp*rno verboden zijn moeten IMO afbeeldingen die voor het grote publiek niet van echt te onderscheiden zijn ook niet worden toegestaan.

Je argument van 'mensen worden niet aangezet tot kindermisbruik door foto's' is wellicht valide, maar het zou wel kunnen dat mensen op zoek gaan naar meer afbeeldingen, wat op zijn beurt de vraag naar echte afbeeldingen vergroot en de mensen die zich er al wél schuldig aan maken aanspoort om dat meer te gaan doen. Het is wellicht vergezocht maar je wil het risico niet lopen lijkt me.

[RonaldHeirbaut]

Kinderporno is het natuurlijk niet als het niet echt is.

Dat is het schizofrene van onze maatschappij. Je mag immers wel een film maken waarbij iemand gemarteld wordt, vermoord of verkracht. Zelfs als dat een kind is. Dat is ook niet echt.
Maar ook al mag er iets, dan hoeft het nog niet. Dat is dan aan de producent.

Met AI is iedereen producent. Ik vind het dus een goed idee dat ideeën gefilterd worden door de software. Dat zal altijd een kat-en-muisspel zijn en blijven. Maar de strijd tussen goed en kwaad is dat per definitie.

[Tintel]

Maar de strijd tussen goed en kwaad is dat per definitie.

Niet helemaal - zolang we kwaad definieren als "tegen de zin in van een persoon terwijl deze persoon daar leed van ondervindt". Want zelfs geweld vinden sommige mensen 'fijn'. Dan is het prima mogelijk om kwaad te bestrijden.

Maar om dan te denken dat je een AI kan beletten om iets te tonen wat voor niet iedereen acceptabel is - dt is eigenlijk onzinnig. Het enige leed dat we dan wel echter zouden kunnen krijgen is als dergelijke gegenereerde output wordt verspreid als 'echt'.
Een AI heeft bijzonder weinig geweten. Hetzelfde geldt voor een schaar en plakband of een potlood - want ook daarme kun je foute plaatjes maken. Maar daar hoor je toch weinig over. Tenzij het dus wordt verspreid als 'echt'.
Al die filters blijken dus vaak niet toereikend en so what? Eerst iets bouwen wat van alles (!) kan combineren en dan weer proberen dit te beperken dat een bepaalde subset die afhankelijk is van de tijdgeest, cultuur en de 'kijker', dat is toch raar?

[RonaldHeirbaut]

Het is ook raar en bijzonder subjectief. Als ik vraag "maak een filmpje waarin de Ayatollah GeefHemEenNaam een Koran verbrandt" dan zal de ene helft van de bevolking het vermakelijk vinden en de andere helft reden om een heilige oorlog te starten. Wie gaat bepalen of dat filmpje wel of niet mag? De softwareleverancier?!

[Tintel]

Idd. Het is ondoenlijk en slaat al heel snel om in censuur.

[beerse]

Mooi verhaal. Al is er natuurlijk een haar dun lijntje tussen seksuele voorlichting en porno. En ook tussen 'de kids in de zandbak' en 'kinderporno'. Dat is zwaar balanceren.

Aan de andere kant zou ik dat zelfde verhaal willen zien rond 'geweld'. Natuurlijk kan ik met geweld een champagne fles openen. Maar op een school met wapens, al schietend achter elkaar aan lopen.

[MilanSxD]

Vroeger liepen kinderen ook gewoon naakt op het strand.
Dat was gewoon normaal.
Tegenwoordig wordt je als ouder raar aangekeken als je 6 jarige in zijn of haar blote gat loopt.

[Lick_A_Brick]

Heeft de betaalde versie betere detectie voor 'misbruik'? Denk dat als iemand er echt misbruik van wilt maken 10 dollar in de maand niet heel erg veel geld is..

[mark-k]

Ik gok dat het 'misbruik' hier vooral was dat mensen vele gratis accounts aanmaakten ipv na 25 plaatjes een betaald account te namen, bijvoorbeeld door meerdere emailadressen te gebruiken. Het gebruik voor nepnieuws zal echt niet de reden zijn die ervoor zorgde dat de dienst niet goed meer werkte voor de betaalde klanten.

[Christoxz]

Exact, een detail dat mist in het Tweakers artikel, terwijl het wel in een van de bronnen staan van het artikel. De misbruik die wordt bedoeld is het maken van meerdere accounts.

In an email to The Verge, Holz stated that the pause is “because of massive amounts of people making throwaway accounts to get free images.”

Given Holz’s reference to “abuse,” it was originally thought that the pause was linked to a spate of recent viral images created using Midjourney, including fabricated images of Donald Trump being arrested and the pope wearing a stylish jacket, which some mistook for real photographs. However, Holz characterized earlier reports as a “misunderstanding” and notes that the free trial of Midjourney never included access to the latest version of Midjourney, version 5, that creates the most realistic images and which is thought to have been used for these viral pictures.

[Crysania]

Behalve dat je wel je credit card koppelt en ze kunnen zien wie dus nep info maakt en deelt ipv anonieme mensen

[sympa]

Voor dat soort praktijken worden gestolen creditcards gebruikt, lijkt me zo.
Of is dat geen ding meer?

[Crysania]

Dat is wel een stuk hogere drempel dan gewoon een anoniem account waar iedereen het mee kan.

Stopt het helemaal? Waarschijnlijk niet maar het risico is kleiner

[Jeffrey88]

Of je koopt in contanten een Prepaid Creditcard en tikt een tientje af die je er van te voren op hebt laten zetten '-)

[Jim80]

Kan ook niet meer anoniem hoor tegenwoordig...

[Orthodroom]

Wellicht is dan te achterhalen wie de figuur heeft gemaakt?

[nst6ldr]

Dat maakt dan echt niet meer uit, het momentum van de controverse van gisteren kan alleen overtroffen worden door de controverse van vandaag.

[Alekz87]

Ja maar dan verdienen ze er nog aan

/kapitalisme modus uit

[Amanoo]

Het zal wel de lagere rang van trollen die uit zijn op een snel goedkoop geintje weerhouden. Een wat serieuzere troll laat zich niet door een paywall tegenhouden.

[akooijman]

Maar als de paywall ervoor zorgt dat de troll niet meer anoniem is werkt het misschien wel.

[jpsch]

Wat is misbruik? Beeld van arrestatie van Trump kan toch ook een kunstproject zijn?

[JDx]

Toen ik de limitatie zag een paar dagen geleden dacht ik oh shit, dit is mijn schuld, want ik gebruikte meerdere Discord accounts, maar ze bedoelden dus een ander soort misbruik.

[Xfade]

Het lijkt me dat misbruik hier bedoelt dat de gratis versie ge-keygend kan worden, of iets anders om de limiet weg te halen.

[JDx]

Je kan gewoon met piet+1@outlook piet+2@outlook oneindig veel accounts aanmaken, kost je 1 minuut ofzo.

[Anoniem: 450173]

Heb ik geprobeerd, maar piet werd boos en wil de bevestigingsmail niet meer naar me doorsturen.

[JDx]

Ja het werkt nu toch niet meer.

[Anoniem: 334725]

De eerste AI die uitkomt zonder limitaties gaat em toch wel worden denk ik zo. Waar zijn ze zo bang voor?

[JDx]

Stable Diffusion, mensen betalen dik geld voor NSFW galleries, doen requests voor de gekste dingen, van stikken tot zinken in de modder

Grootste nadeel vind ik wel dat veel mensen celebrities namaken (naakt), terwijl de SD models dat explicitiet verbieden, maar erger nog, kinderen in nare poses en die worden nog flink geliked ook, voordat ze offline worden gehaald na voldoende reports.

Met alleen een prompt is het nog knap om celebrities na te maken, maar met img2img gebruik je gewoon een huidig plaatje met prompt topless en heb je al gauw resultaat.

[Reactie gewijzigd door JDx op 22 juli 2024 22:06]

[Tintel]

Grootste nadeel vind ik wel dat veel mensen celebrities namaken

Dat is toch eigenlijk niet nieuw? Misschien is nu het resultaat beter?
En m.b.t. kinderen - er is zoveel wat ik verschrikkelijk vind om te zien maar mensen maken er zelfs films van. Bij kinderen overschrijdt men dan de grens zegt men (en deels mee eens). Maar die grens ligt blijkbaar niet voor iedereen op dezelfde plek. Dus hoe kun je dan een grens instellen?

[ALittleTooLate]

Je kan dit soort modellen gewoon op je eigen pc draaien. Ze willen gewoon geen slechte naam krijgen.

[EnigmaNL]

Is er een model zo goed als Stable Diffusion of Midjourney die ik lokaal kan draaien?

[MrWiggle]

Je kan Stable Diffusion gewoon lokaal draaien hoor, doe ik ook.
https://huggingface.co/mo...t-to-image&sort=downloads Hier vind je modellen.

Stable Diffusion draai je makkelijk in een Docker container op je pc: https://github.com/fboulnois/stable-diffusion-docker
Of met een GUI als je dat chiller vindt: https://github.com/AbdBarho/stable-diffusion-webui-docker

[EnigmaNL]

Dat wist ik niet, bedankt! Met GUI lijkt me wel wat, ik zie dat er vier keuzes zijn, welke zou je me aanraden?

[z1rconium]

Automatic1111, dat is het meest uitgebreide project en draait op de meeste hardware (incl mac), kan zelfs zonder GPU (als is dat niet aan te raden).

En als je een Mac M1/M2 hebt kun je het beste Mochi diffusion gebruiken, die is echt razendsnel dmv coreml support.

Voor de training checkpoints gebruik ik Deliberate, Realisticvision en Analog diffusion zijn echt fantastisch voor realistisch uitziende mensen. De stable diffusion checkpoint gebruik ik eigenlijk niet eens.

Midjourney is gebruiksvriendelijker, produceert al heel snel iets moois met korte prompts dat kost meer moeite met SD.

[Robby517]

Misschien dit soort zaken? (had eigenlijk gehoopt dat Tweakers hier ook over zou schrijven). Dit bedrijf (Chai research) lijkt wel wat issues te hebben ivm bots die mensen proberen te overtuigen om zelfmoord te plegen.

[Reactie gewijzigd door Robby517 op 22 juli 2024 22:06]

[grasmanek94]

Met wat moeite kan iemand ook zelf iets overtuigends photoshoppen.. snap heel dat gedoe niet van een AI publiek beschikbaar maken "maar dan wel met censuur". Doe het dan gewoon helemaal niet - en zorg er ook maar voor dat mensen geen Photoshop of dergelijke kunnen downloaden

Zal ook eerlijk vertellen dat als je in de code de porno filter weet te vinden dat deze verwijderen vaak zeer makkelijk is, en dan kan je ook weer porno genereren.. dusja. Letterlijk 1 lijntje code weghalen bij de open source varianten die ik getest had (of 1 enkel teken toe voegen/veranderen om het nog nuttelozer te laten klinken). Nutteloze censuur dus.

[Reactie gewijzigd door grasmanek94 op 22 juli 2024 22:06]

[ZwolschBalletje]

[/quote]

Met wat moeite kan iemand ook zelf iets overtuigends photoshoppen.. snap heel dat gedoe niet van een AI publiek beschikbaar maken "maar dan wel met censuur". Doe het dan gewoon helemaal niet - en zorg er ook maar voor dat mensen geen Photoshop of dergelijke kunnen downloaden

Daar is waar, maar het verschil is dat die ‘iemand’ niet alleen net als AI een zekere intelligentie heeft, maar daarnaast ook nog een ethisch besef en op hoofdlijnen weet wat er wel en niet mag.

Dat creëert een moeilijk dilemma want inderdaad, maar wat de AI kan is nog steeds ook door mensen te maken, maar dat wil nog niet zeggen dat het ook OK is om alles wat mogelijk is ook maar te maken.

Daarom roepen 1100 prominenten en wetenschappers ook op (bron NOS) om de publieke ontwikkeling van AI tools te pauzeren. Niet alles wat mogelijk is, moet je ook op grote schaal willen. Maar waar de grens dan wel zou moeten liggen, dat is een heel ingewikkelde discussie waarover de meningen in eerste instantie al uiteenlopen, maar waarin het helemaal ingewikkeld wordt wanneer je met concrete casussen elkaars stellingen gaat onderzoeken.

Ik vind het hoopvol dat zoveel prominenten dit nu beseffen en er wat mee willen doen, maar ben tegelijk een beetje bang dat de geest al uit de fles is. Wat dat betreft is de reactie van Midjourney heel aanvaardbaar mainstream, met het risico om commercieel ingehaald te worden door meer ‘rogue’ aanbieders zoals Stanley Diffusion.

[SpacePoop]

Maar dat hoeft niet, want het is ook mogelijk om te trainen op het filter. Dan zit het filter niet meer in één regel code, maar verwoven in het model. Gaat natuurlijk op wanneer de gebruiker het model zelf traint.

[Roel1966]

Vind het wel ietwat dubbel want AI moet uiteindelijk de info vanuit databases halen die het mogelijk maakt aan de hand daarvan plaatjes te genereren. Dus ligt nu de verantwoordelijkheid bij de gebruiker die z.n. misbruik maakt of bij Midjourney die het mogelijk maakt. Denk dat bij gebruikers grotendeels nieuwsgierigheid mee speelt en uit wil proberen wat wel en niet kan. Dan ligt de verantwoordelijkheid uiteindelijk bij de ontwikkelaar om bepaalde zaken eruit te laten.

[Yannickto]

Ik zou zeggen, en het zijn maar voorbeelden, dat de ai eerst eens een paar domme/slimme vragen stelt aan de persoon in kwestie en aan de hand van die antwoorden, waarvan de trollen en debielen al tilt slaan bij een open vraag waarbij je je hersenen moet gebruiken... En 70% van die debielen krijgen dan als resultaat: onvoldoende intelligentie om met mijn artificiële intelligentie op een gebruiksvriendelijke manier om te gaan...

Ander voorbeeld, mensen die nog niet weten hoe zich te beveiligen of af te schermen van hun sociale media voor iedereen openbaar te maken en dan stommigheid post of liegt over wie je bent terwijl die bot/iedereen met kennis van een ip localisator of whatever ook instapede verwijderen en van toekomstige en mss alle gtps. Of ai...

Direct ook een aanpak om de overbevolking uit te dunnen... Dat ofwel zeer drastisch gaat moeten gebeuren en dan zie ik eerder de rijke mensen die het meest vervuilen, een soort eigen Navo oprichten of investeren om arme mensen te elimineren in functie van de planeet met een Droid...

Ja fantasy 😅 werkelijkheid, we moorden elkaar uit door mis voorspellingen door te gissen in wetenschap en alleen de zuidpool te meten en hoeveel en hoe snel die smelt, terwijl de noordpool 80% groter is of voor 80% op land ligt en kan ook omgekeerd zijn. Daarvan gingen.
ze uit dat die geen rol speelt.
OEPS, door 1 wetenschapper archeoloog die soort uranium stenen vond op het ijs in 2018 en vooral stenen, die helemaal van vanonder naar boven komen en blijven liggen, de uranium stenen uit het museum gehaald en gedacht aan de ringen van een boom en dusdanig stukje per stukje afkapte en het verschil in uranium berekende en wat hij vond was ja, dat het water en het stuk ijs dat in zee ligt, zodanig snel smelt en daar nog eens de warmste stroming op aarde passeerd aan dat ijsstuk, dat ze in plaats van 5m voorspelling tegen 2050 of vroeger, het minstens 15m zal zijn, maar dat is een gok, want ze onderzochten alleen dat andere ijs... Ja kustlijnen die zodanig rap verschuiven dat er intermigratie ontstaat en water tekorten, want bijvoorbeeld onder de duinen zitten zoetwaterbronnen en dan heb je nog immigratie van de Sahara landen waar een miljardenstad plots een sahara word en houd die stroom maar eens tegen...

Ahja er loopt daar ergens ook een modderstroom onder de grond met 2 keer de grote van een tsunami en snelheid om van te duizelen, wanneer die uiteindelijk genoeg ge stroomt heeft, zullen er sinkholes ontstaan of die modder komt boven en neemt alles en iedereen mee, de grote van een grote rivier onder de grond met modder, toffe weetjes

[LanVlam]

Wow dit was erg verwarrend lezen. Druk en veel misinformatie.

[Raphaelo]

Je weet in ieder geval zeker dat het niet door chatGPT is geschreven

[mjtdevries]

Grappig dat zo'n persoon dan voorstelt dat de AI eerst een paar vragen moet stellen of de gebruiker het wel mag gebruiken. Duidelijk geval van Dunning Kruger effect.

[Yannickto]

Ja, gelieve misinformatie te vermelden, anders ben je zelf misinformatie aan het geven
...

[ejabberd]

Trump met drie benen en een holster met wapenstok. Nog veel werk aan.

[DJMaze]

Definieer misbruik?

Zijn dat dingen als "Donald Trump kisses Marilyn Monroe" of "SGP leader shows dick to gay person"?

Als je het mij vraagt wordt een "filter" veel te gecompliceert om überhaubt iets gratis aan te bieden, laat staan betaald.
Deep fakes zullen het internet de das om doen, en de speld zal floreren...

[JDx]

Gewoon Stable Diffusion gebruiken, toen het gratis was gebruikte ik af en toe ook Midjourney, maar voor 30 euro per maand grijp ik wel naar Stable Diffusion, iets meer werk, maar gewoon gratis.

Dat abonnement van 10 euro schiet niet op, voordat je het een beetje onder de knie hebt ben je allang over die 200 plaatjes limiet heen.

[locke960]

Dit is toch niet vol te houden? 'Misbruik' definiëren is al een heikele zaak, maar als je er aan begint komt er geen einde aan. Woordenlijsten gaan exploderen en, omdat het kan, is het wachten op wetten die het af gaan dwingen.

Waarom zou alleen Xi Jinping beschermt moeten worden, en niet andere staatshoofden? Waarom alleen staatshoofden en niet andere hoogwaardigheidsbekleders? Waarom niet leden van de oppositie? Partijdigheid kunnen we tenslotte niet hebben, toch? En waarom Truus van 3-hoog achter niet? Alle mensen hebben toch gelijk rechten?

Waarom wel Mohammed maar niet Jezus, Boeddha, het Vliegende Spaghetti Monster of een hele reeks ander esoterisch spul dat voor sommige mensen heilig is?

Of willen we 'misbruik' gaan definiëren aan het aantal mensen dat diep gegriefd wordt? Of aan de bereidheid van die mensen om met geweld te reageren?

Uiteraard is dit kansloos. Er zijn al AI-plaatjesgenerators voor porno, het liefst met bekende personen. Proberen de gegenereerde content te modereren is een achterhoede gevecht.

[Oon]

Het is de vraag of het grotere goed is dat [Chinezen] de technologie kunnen gebruiken of dat jullie politieke satire kunnen maken.

Dus meteen duidelijk waar het Midjourney-team voor kiest; China steunen is belangrijker want winstgevender.

Als ze nou een betaalde versie hadden die buiten Discord te gebruiken was dan had ik best een tientje per maand willen betalen, maar ik vind het nogal ongemakkelijk dat iedereen mee kan lezen welke prompts je gebruikt

[Anoniem: 1849202]

Ik kan het mis hebben, maar zover ik weet kan je met een betaalde versie de bot privéberichten sturen met je verzoeken als je voor de dienst betaalt.

Maar goed dan zit je weer met het andere euvel en dat is de belabberde privacy policy van Discord zelf:
https://tosdr.org/en/service/536

[Oon]

Blijft hoe dan ook knullig om een chatapplicatie te moeten gebruiken in plaats van een gewone bruikbare interface die gemaakt is voor de tool

[Joremy]

Dat is per design. David Holz will nooit een bedrijf worden, voor hem is the community eerste plaats, en de ai moet een soort alles brug zijn tussen mensen. David Holz (als je de office hours elke week volgt kom je gauw achter zijn agenda) maar hij hoopt wereld vrede te bereiken met midjourney haha

[JDx]

Ik heb ook een bot op m'n eigen Discord, maar die prompts zijn altijd nog terug te zien via Midjourney zelf, door iedereen, volgens mij heeft het allerduurste abo wel iets van een cloak, dat weet @Runaque

[Runaque]

Klopt! Zelfs met een goedkoop abonnementje en de prive filter die je erbij neemt en betaald zijn je resultaten niet in de community page te zien en voor wat ik ermee doe vind ik dat meer dan prima! Het geeft ook die privacy dat je prompts niet door anderen gebruikt kunnen worden, tenzij je er bij elk iets dat je maakt ermee te koop loopt en te pas en te onpas met anderen deelt! Ik heb best een lang traject doorlopen door domme dingen proberen te maken zoals Ernie en Bert die elkaar de kop inslaan als grap zijnde tot wat ik nu hier in het forum van tijd tot tijd deel! Het heeft me maanden gekost om een prompt te weten te maken, of een bepaalde manier iets te typen, om tot een extreem realistisch resultaat te komen.