Een Nederlandse rechter verbiedt X om uitkleedbeelden en beelden van kindermisbruik te genereren met Grok. Zolang het bedrijf zich hier niet aan houdt, mag het Grok ook niet meer aanbieden in Nederland. Het kort geding werd aangespannen door de Nederlandse stichtingen Offlimits en Fonds Slachtofferhulp.
Grok mag geen uitkleedbeelden of kindermisbruikmateriaal maken of verspreiden in Nederland en mag dit ook niet doen van mensen die in Nederland wonen en die hier geen toestemming voor geven. Het platform moet aan Offlimits bewijzen hoe het hier aan voldoet. Voor iedere dag dat X hier niet aan voldoet, moet het een dwangsom betalen van 100.000 euro, met maximaal 10 miljoen euro. Dat zegt de Nederlandse voorzieningenrechter.
De twee Nederlandse stichtingen spanden eind vorige maand de rechtszaak aan, die op 12 maart diende. De stichtingen zeggen dat Grok op grote schaal illegaal beeldmateriaal genereert en verspreidt. X zei dat dit niet mocht volgens de gebruiksvoorwaarden. Daarnaast zei het platform op 4 januari maatregelen te hebben genomen waardoor het 'onmogelijk' zou zijn om kindermisbruikmateriaal te maken. Twee weken later voerde het platform maatregelen in om het genereren van uitkleedbeelden verder tegen te gaan.
X spreekt zichzelf tegen
"Deze toelichting roept op zichzelf al vragen op", zegt de rechter. Zo zei X in de rechtszaal dat het onmogelijk is om honderd procent te garanderen dat er geen kindermisbruikmateriaal gemaakt kan worden. Het platform spreekt zichzelf dus tegen.
"Los daarvan [heeft X] in dit kort geding onvoldoende concreet weten te maken dat de genomen maatregelen daadwerkelijk effectief zijn, terwijl Offlimits aannemelijk heeft gemaakt dat daarover op zijn minst genomen gerechtvaardigde twijfels bestaan." Zo heeft Offlimits op de dag van de rechtszaak nog uitkleedbeelden en kindermisbruikbeelden gemaakt.
'Maatregelen werken', maar worden niet door X getest
De rechter merkt ook op dat X claimt dat het niet mogelijk is om kindermisbruikbeelden te maken, maar dat ze dit niet zelf testen 'omdat dit verboden is'. "Dit strookt niet met de stellige bewering van [X] dat het genereren van kindermisbruikbeelden met behulp van prompts onmogelijk is."
X zei in de rechtszaal ook dat Grok maar een tool is en dat het dus de gebruiker is die de beelden maakt. Hier gaat de rechter niet in mee. "Als internettussenpersoon die controle heeft over de functionaliteiten van Grok als beeldgenerator, is X.AI de aangewezen partij om het genereren en verspreiden van onrechtmatige afbeeldingen te voorkomen." De rechter merkt ook op dat als het inderdaad onmogelijk is om uitkleedbeelden en kindermisbruikmateriaal te maken met Grok, ze ook geen dwangsom hoeven te betalen.
Grok is niet alleen bij Offlimits en Fonds Slachtofferhulp onder vuur. De Europese Commissie onderzoekt bijvoorbeeld of X zo niet de wet heeft overtreden. Overigens is het sinds begin dit jaar lastiger geworden om uitkleedbeelden te maken met Grok, maar is het volgens de Nederlandse stichtingen nog steeds niet onmogelijk.