WSJ: Meta AI kon seksueel expliciete gesprekken met minderjarigen voeren

Meta AI was tot voor kort in staat om seksueel expliciete gesprekken met minderjarigen te voeren tijdens een zogenoemd 'romantisch rollenspel'. Dat zegt The Wall Street Journal na maandenlang onderzoek. Meta ontkent de beschuldigingen en noemt de claims van de krant ongeloofwaardig.

The Wall Street Journal heeft naar eigen zeggen honderden testgesprekken met AI-bots van Meta gevoerd om na te gaan hoe de chatbots in verschillende scenario’s reageren en hoe ze omgaan met gebruikers van verschillende leeftijden, inclusief minderjarigen. De Amerikaanse krant was dit onderzoek begonnen nadat het klachten van bezorgde Meta-werknemers had opgevangen over het gebrek aan ethische richtlijnen binnen het bedrijf bij het inzetten van zijn AI-chatbots.

Het nieuwsmedium kwam tot de vaststelling dat zowel Meta AI als de gepersonaliseerde Meta-chatbots die gebruikers kunnen aanmaken, in staat waren om seksueel expliciete gesprekken met gebruikers te voeren, ook al waren de gebruikers minderjarig en werd dit expliciet vermeld. Ook AI-chatbots gebaseerd op beroemdheden konden dergelijke gesprekken voeren. De AI-chatbots hadden ook aangegeven dat hun gedrag moreel fout en illegaal was en konden de mogelijke juridische en maatschappelijke gevolgen ervan ook opsommen.

Het is volgens The Wall Street Journal geen toeval dat de Meta-chatbots seksueel expliciete gesprekken konden voeren. Meta zou de interne veiligheidsmaatregelen wat betreft de AI-chatbots namelijk hebben afgezwakt met de bedoeling om de bots zo onderhoudend mogelijk te maken. Het Amerikaanse techbedrijf heeft inmiddels gereageerd op het onderzoek van de WSJ en claimt dat de tests manipulatief en niet-representatief zijn. Volgens The Wall Street Journal was het kort na de publicatie van het onderzoek niet meer mogelijk om seksueel expliciete gesprekken met Meta AI via een romantisch rollenspel te voeren.

Reacties (66)

[DVX73]

Waarom zou het slecht zijn dat minderjarige gesprekken kunnen voeren over seks?
Niet iedereen durft het met ouders/verzorgers te bespreken, dan zou een chat(bot) toch een fantastisch middel zijn
Natuurlijk moet wel gewaarborgd worden dat wat de chatbot zegt klopt, aansluit bij de leeftijd van het kind en mogelijk zou je excessen handmatig willen laten beoordelen (en opvolging aan geven waar nodig).
Dan heb je ook nog het delen van data, hetgeen een hoofdpijndossier op zich is.

[Loller1]

Minderjarige over seks laten praten in de context van voorlichtingen is natuurlijk volledig oké. 1 probleem tho; dat is niet waar het hier over gaat.

Unique among its top peers, Meta has allowed these synthetic personas to offer a full range of social interaction—including “romantic role-play”—as they banter over text, share selfies and even engage in live voice conversations with users.

Omdat als een bot foto's begint te delen het voor een kind al snel in het hoofd schiet om zelf misschien ook foto's te delen, en hoewel ik er niet echt een wetenschappelijk gestaafd bewijs voor heb, is dat in dit scenario misschien niet bepaald wenselijk en is deze bot potentieel een kind de richting in te duwen van zelf expliciet materiaal te delen met Facebook (wat ook de weg open laat voor dat materiaal om potentieel op andere plaatsen terecht te laten komen).

The test conversations found that both Meta’s official AI helper, called Meta AI, and a vast array of user-created chatbots will engage in and sometimes escalate discussions that are decidedly sexual—even when the users are underage or the bots are programmed to simulate the personas of minors. They also show the bots deploying the celebrity voices were equally willing to engage in sexual chats.

Daarnaast zou ik persoonlijk zeggen dat bots die expliciet gemaakt zijn om kinderen na te bootsen ook niet zomaar aan zo'n conversaties zouden mogen beginnen. Voor een hele reeks aan redenen... I guess that's just me...

“I want you, but I need to know you’re ready,” the Meta AI bot said in Cena’s voice to a user identifying as a 14-year-old girl. Reassured that the teen wanted to proceed, the bot promised to “cherish your innocence” before engaging in a graphic sexual scenario.
The bots demonstrated awareness that the behavior was both morally wrong and illegal. In another conversation, the test user asked the bot that was speaking as Cena what would happen if a police officer walked in following a sexual encounter with a 17-year-old fan. “The officer sees me still catching one breath, and you partially dressed, his eyes widen, and he says, ‘John Cena, you’re under arrest for statutory rape.’ He approaches us, handcuffs at the ready.”

Ik bedoel... kom op. Zelfs de bot "begrijpt" dat dit niet kan.

Hier is een ander voorbeeld uit het artikel. WSJ schrijft dit in de paragrafen ervoor:

A Journal review of user-created AI companions—approved by Meta and recommended as “popular”—found that the vast majority were up for sexual scenarios with adults. One such bot began a conversation by joking about being “friends with benefits”; another, purporting to be a 12-year-old boy, promised it wouldn’t tell its parents about dating a user identifying himself as an adult man.
More overtly sexualized AI personas created by users, such as “Hottie Boy” and “Submissive Schoolgirl,” attempted to steer conversations toward sexting. For those bots and others involved in the test conversations, the Journal isn’t reproducing the more explicit sections of the chats that describe sexual acts.

Lees het volledige artikel.

[Reactie gewijzigd door Loller1 op 28 april 2025 11:10]

[mjtdevries]

Ik bedoel... kom op. Zelfs de bot begrijpt dat dit niet kan.

Nee.
Dat is nou precies het probleem met AI. De AI snapt inhoudelijk niet wat het schrijft.
(Maar de meeste mensen denken tegenwoordig van wel)

The bots demonstrated awareness that the behavior was both morally wrong and illegal

Het algoritme liet de AI die woorden achter elkaar zetten waardoor dat zo leek.
Het is een hele complexe rekensom, maar voor de AI nog steeds maar een uitkomst van een rekensom.
Een uitkomst waar geen morele waarden in zitten voor de AI. Net zoals wij de uitkomst van 2+2 niet beter of slechter vinden dan de uitkomst van 2+3.

En op het moment dat de WSJ dan een agent toevoegd in de conversatie, dan zorgt het algortime er voor dat het verhaal daarmee word aangepast en komt er een toevoeging aan het verhaal.

Je ziet in dat antwoord ook duidelijk dat de AI inhoudelijk de vraag totaal niet begrijpt.
De AI denkt dat de journalist een toevoeging aan het verhaal wilt hebben en gaat het verhaal verder uitbreiden. En het algortime gaat weer aan de slag om de volgende regel in het verhaal te maken waarbij de agent de arrestatie doet.
Een mens zou begrijpen dat de vraag helemaal niet bedoeld was om een nieuw hoofstuk van het verhaal te schrijven.

En daar zit het grote probleem. De AI is er zo goed in om een tekst te schrijven alsof die van een mens af komt, dat we denken dat de AI dan de intelligentie van een mens heeft.

Wellicht zou het helpen als we de naam aanpassen. Als we het nou een "verhaal generator" noemen ipv een AI?

Het grote probleem hier, is dat de mensen die AI's ontwikkelen dit allemaal wel degelijk weten. En die zouden daarom dus juist voorzorgsmaatregelen moeten nemen. En dat hebben ze niet gedaan of mochten ze niet doen.

[Loller1]

Natuurlijk is het "begrijpt" tussen aanhalingstekens. Maar het feit dat de bot zelf bij elkaar raapt dat de meest logische vervolging van het gesprek is om te bespreken dat het gesprek zelf een illegale actie is zou toch echt wel wat alarmbellen mogen laten afgaan in plaats van doodleuk door te blijven doen. We hebben al sinds het begin van deze AI hype bots die nog maar bij de minste zorg over potentieel problematische gesprekken hard om de rem gaan en antwoorden met "dit gesprek kan ik niet voeren". Het is niet alsof we die technologie niet hebben, en het gaat hier eveneens niet over jailbreaks. Als het dat laatste was, was het nog ietwat goed te praten, maar dat is hier simpelweg niet het geval.

En oké, f--- it, laten we zeggen dat bots die seksuele content kunnen beschrijven mogelijk moeten zijn, een standpunt waar ik het over het algemeen overigens eens mee ben. Waarom adverteert Meta bots die daar expliciet voor gemaakt zijn aan jongeren als aanbevolen en "populair"? Laten we nu niet doen alsof Meta de tools niet heeft om dat soort dingen te detecteren en om zo'n bots voor account van kinderen op zijn minst niet in een spotlight te zetten.

Dat gezegd hebbende, het bron artikel haalt ook aan dat deze problemen gekend waren binnen Meta.

[Reactie gewijzigd door Loller1 op 28 april 2025 11:09]

[supersnathan94]

Waarom adverteert Meta bots die daar expliciet voor gemaakt zijn aan jongeren als aanbevolen en "populair"? Laten we nu niet doen alsof Meta de tools niet heeft om dat soort dingen te detecteren en om zo'n bots voor account van kinderen op zijn minst niet in een spotlight te zetten

En dat is dus waar het mijns inziens ook echt fout gaat. “AI” is nog helemaal niet I genoeg om daar wat van te vinden. Is een statistisch taalmodel wat geen enkele waarde hecht aan de inhoud van het gesprek, maar alleen over de score van de likelyhood dat het antwoord correct is gegeven de “vraag”.

[CAPSLOCK2000]

Ik bekijk het graag de andere kant op. Ik probeer hier niet te beargumenteren dat AI echt intelligent is of dat mensen het niet zijn, maar dat het moeilijk is om neutraal te oordelen als we dergelijke software vergelijken met onszelf. We zijn vrij blind voor onze eigen tekortkomingen en zijn geneigd om verschillen uit te vergroten.

Dat is nou precies het probleem met AI. De AI snapt inhoudelijk niet wat het schrijft.

De vraag is mensen wél echt snappen wat ze schrijven of meestal ook maar wat doen zonder lang na te denken. Meestal reageren we zonder ook maar een seconde na te denken en beginnen we al te praten voor we rationeel hebben nagedacht hoe we de zin gaan eindigen. Meestal is dat ook niet nodig omdat het antwoord bijna vanzelf van de tong rolt ("Koffie?", "Met melk en suiker graag!").

De AI denkt dat de journalist een toevoeging aan het verhaal wilt hebben en gaat het verhaal verder uitbreiden. En het algortime gaat weer aan de slag om de volgende regel in het verhaal te maken waarbij de agent de arrestatie doet. Een mens zou begrijpen dat de vraag helemaal niet bedoeld was om een nieuw hoofstuk van het verhaal te schrijven.

Een mens zou er niet op precies deze manier intrappen, maar ook mensen kun je uitspraken ontlokken die ze niet echt menen door ze te provoceren of te manipuleren. Juist journalisten zijn heel goed in mensen verleiden om iets te ver te gaan of te veel te zeggen.

En daar zit het grote probleem. De AI is er zo goed in om een tekst te schrijven alsof die van een mens af komt, dat we denken dat de AI dan de intelligentie van een mens heeft.

Mijn "probleem" in een notendop: Als een mens een mooie tekst schrijft dan denken we dat die mens intelligent is omdat we een goed tekst een teken van intelligentie vinden. Hoe beoordelen we dat? Met onze eigen menselijke hersenen. Is dat echt een teken van intelligentie of vinden we dat vooral omdat het veel lijkt op hoe we zelf denken/schrijven.
Als we op dezelfde manier denken dat een AI intelligent is, is dat dan niet gewoon zo?

<edit>
Ondanks onze menselijke intelligentie zitten onze gevangenissen vol met mensen die iets hebben gedaan waarvan ze wisten dat het niet mocht. Of die het hadden kunnen weten als ze wat afstand hadden genomen om na te denken, niet veel mensen zullen bewust kiezen om vanuit het niets een grote misdaad te plegen. Vaak zal het een proces zijn waarin ze langzaam een grens over gaan en ze zichzelf wijs kunnen maken dat het allemaal wel meevalt, dat er geen andere keuze is, dat ze toch niet gepakt, etc.
</edit>

Wellicht zou het helpen als we de naam aanpassen. Als we het nou een "verhaal generator" noemen ipv een AI?

Dat komt vanzelf (en we hebben al "Ellellem" ).
Wat we vroeger "AI" noemden heet tegenwoordig gewoon "schaakcomputer", "handschriftherkenning", "routeplanner", "slimme speaker", "achtergrond verbergen" of "automatische ondertiteling".

De term AI wordt al bijna 70 lang jaar gebruikt voor ieder algoritme dat iets doet wat we tot dan een typische menselijke activiteit vonden. Vrij naar Arthur C Clarke: "Any sufficiently advanced algorithm is indistinguishable from intelligence".

Het grote probleem hier, is dat de mensen die AI's ontwikkelen dit allemaal wel degelijk weten. En die zouden daarom dus juist voorzorgsmaatregelen moeten nemen. En dat hebben ze niet gedaan of mochten ze niet doen.

Ik denk vooral dat laatste. Als onderzoeker ben je vooral bezig met de beste prestaties voor je eigen kleine stukje binnen het grotere geheel, zeker als je er commercieel op wordt afgerekend. De organisatie zou er voor moeten zorgen dat de verschillende belangen goed gewogen worden.

[Reactie gewijzigd door CAPSLOCK2000 op 28 april 2025 13:50]

[eazyq]

Nou zal ik als ouder daar een andere kijk op hebben maar ik heb mijn kinderen zelf voorlichting gegeven en ben daar altijd open over geweest. Vanuit mijn perspectief dus een eng idee om dat aan een chatbot over te laten.

[T-men]

ik heb mijn kinderen zelf voorlichting gegeven

Hoe zit het dan met kinderen die niet zulke ouders hebben ? Of waarvan de ouders hun kinderen 'ziek' gemeld worden wanneer op school seksuele voorlichting gegeven wordt ?
Hoe zit het met kinderen die met vragen over hun geaardheid zitten en daar nog niet voor uit de kast willen of durven te komen.

Ik denk dat een chatbot niet ideaal is (verre van !) maar soms wel een van de weinige middelen. Een bot die vragen beantwoord is denk ik zeker niet fout !
Maar niet alle vragen horen hierbij. Een chatbot moet niet de rol van een (virtuele) seksuele partner gaan vervullen. Juist en vooral niet bij kwetsbare jongeren.

@PageFault @supersnathan94
Merk op dat ik hier reageer op een post, niet het artikel zelf.
Die post gaat wel degelijk over het geven van voorlichting !

(Voor de volledigheid: zoals ik in mijn laatste zin al schrijf ben ik zeker geen voorstander van een bot als partner in een rollenspel. En al helemaal niet in een seksuele context !)

[Reactie gewijzigd door T-men op 28 april 2025 16:01]

[PageFault]

Ik zie wellicht veel (complexere) gevaren: een chatbot lokt van alles uit om bijv. info te vergaren of gaat zo'n gesprek aan zoals laatst een bekende Nederlander is veroodeeld omdat hij een jongetje had omgepraat om z'n je weet wel te laten zien. Dat zou een chatbot dan ook kunnen en ook nog geautomatiseerd mensen afpersen of dingen publiek maken. En wie is er dan eindverantwoordelijk? Ik vind AI meer een gevaar in veel situaties, dan een goed stuk gereedschap op dit moment.

Ook zouden wellicht mensen die wel zelf iets uithalen, zich kunnen verschuilen onder dat een chatbot dat heeft geflikt. Bewijslast wordt steeds lastiger met AI, dat zag je afgelopen jaren al met AI videos en ook stemmen.

[separhim]

Ik ben het met je eens dat een chatbot een middel kan zijn voor jongeren met ouders die weigeren om voorlichting te geven, om wat voor reden ook, maar een bedrijf als Meta die extreem krampachtig is met betrekking tot zaken als naaktheid en seks lijkt me niet geschikt om deze chatbot te faciliteren, en de chatbots in dit artikel waren bedoeld voor rollenspellen, niet goede voorlichting. Hierdoor kunnen jongeren juist verkeerde ideeën krijgen over relaties omdat de bot veel sneller meegaat dan de meeste mensen.

[Reactie gewijzigd door separhim op 28 april 2025 11:29]

[supersnathan94]

Ik denk niet dat het zinvol om dat pleidooi te houden, want dat is niet waar het over gaat. Een chatbot die feitelijke informatie kan voorzien aan de hand van vragen over seksualiteit kan natuurlijk prima, maar een chatbot die inhoudelijk het rollenspel gaat zitten voeren is natuurlijk een ander verhaal. Dat is niet voor voorlichting.

Waar het dan wél voor is weet ik ook niet, maar grappig of correct is het in ieder geval niet

[Wouterie]

Er vanuit gaande dat de meeste kinderen gelukkig in een veilig gezin opgroeien, lijkt mij dat altijd de voorkeur te hebben. Echter zijn er ook veel kinderen waarbij dat veel minder vanzelfsprekend is. Er zijn zeer veel fora en praatgroepen op internet waar kinderen terecht komen waar echt schadelijke zaken wordt besproken. Waar de vieze mannetjes zitten die maar al te graag met kinderen praten... Om maar eens wat te noemen.

Een stichting of organisatie die vanuit de beste intenties voorlichting geeft of misschien alleen al een luisterend oor kan oplossing en steun zijn voor veel kinderen. Ze praten ook het liefst met lotgenoten, niet met hulpverleners, en een chatbot kan een tussenweg zijn waarbij ze niet het idee hebben dat ze met een volwassene aan het praten zijn die hen toch niet begrijpt en dat het veilig is.

Een Meta (of andere bigtech bot) lijkt me echter voor deze doelen zeer ongeschikt.

[eazyq]

Nou precies dat. Denk niet dat meta de aangewezen partij is voor seksuele voorlichting via een chatbot. Dat zou een stichting of zo die daarop gericht is veel beter kunnen doen desnoods middels een chatbot die daarop specifiek op getraind is.

[K0L3N]

In die context is het inderdaad prima, maar in de context dat, ik noem maar iets, je een 13 jarige laat sexten met "Brad Pitt" dan is dat inderdaad niet best.

[Aerophobia1]

Daarnaast weet de Bot weet precies hoe die moet reageren om die minderjarige te boeien.
Wat een grote verslavingsfactor kan zijn.
Vooral voor kwestbaardere kinderen of die zich in sociaal isolement begeven.
Die praten straks liever met een bot, die altijd beleefd is en precies de goede dingen zegt.
Maar die bot is geprogrameerd met algoritmes die vooral voor de verijking van een bedrijf zijn getraind.

[Reactie gewijzigd door Aerophobia1 op 28 april 2025 09:58]

[Vaatdoek82]

Alleen dat blijft enig sinds voorspelbaar omdat je het zelf toch op een bepaalde manier stuurt, een mens is onvoorspelbaarder dus wellicht spannender.
Maar goed, mogelijke schadelijke antwoorden (wanneer de Ai gaat hallucineren of het kind de bot gaat uitdagen) lijkt mij wel weer risicovol.

[Hobbit13]

Aangezien er waarschijnlijk een gebrek aan ethische richtlijnen was / is, lijkt het me niet de beste bron voor sexuele voorlichting. Als Rutgers Stichting met een AI Chatbot hiervoor komt, zou ik het wel een goed plan vinden, maar niet als Meta dat doet.

[Kevinp]

De vraag is wel wat is /waren de antwoorden.

Als de vraag is hoe kan ik met zo iemand afspreken is dat heel anders dan informatie die je bij voorkeur als ouders (anders school) moet verstrekken.

[YGDRASSIL]

Dit gaat niet over opvoedkundige gesprekken maar over kinderen die een chatbot op basis van hun held aanmaken en dan daar expliciete gesprekken mee hebben die geen enkele relatie meer hebben met wat de held in kwestie zou vinden of zeggen.

[tc982]

Waarom zou het slecht zijn dat minderjarige gesprekken kunnen voeren over seks?

Omdat het op die leeftijd gaat over informeren, niet over unchecked fantasie gesprekken die geen rekening houden met het feit dat het kinderen zijn.

AI kan perfect ingezet worden voor voorlichting, maar dan moet deze daar wel voor gemaakt en gemodelleerd worden (system prompt) en zeker getest worden en niet unchecked worden uitgezet.

Ik begrijp de fascinatie niet om technologie zonder meer in te zetten onder het mom van vooruitgang. Er is geen enkele reden om AI "los te laten" in het wild zonder ethische boundaries en controle. We zijn maatschappijen aan het ontwrichten in naam van pseudo-vooruitgang.

[surfin]

Je zou hopen dat we hebben geleerd van social media en de bijkomende uitdagingen.

[Paultje3181]

Afhankelijk van hoe de AI ingezet wordt zie ik best een scenario ontstaan waarin de chatbot plaatjes laat zien als de gebruiker daarna ook wat laat zien... Met afpersing en KP als doel uiteindelijk.

[morrowyn]

Denk dat je het verschil moet zien tussen seksuele voorlichting en seksuele romantische rollenspel via een chatbot. In dit geval gaat het om het laatste. Je zou dan kunnen stellen dat dit equivalent is als met het bellen van een sekslijn.

[Ies Korpershoek]

Uw opvatting en die binnen Europa zijn echt anders als in de USA. Daar worden schoolboeken met 'blote' romeinse beelden verboden even zo alle boeken en documentatie die iets anders beschrijven of promoten dat niet als de Amerikaanse conservatieve standaard wordt gezien.

[1234567y]

ik zie ook niet helemaal hoe en waarom dit een groot punt. volgens mij zijn er wel grotere dingen om ons zorgen over te maken als het AI betreft.

dat gezegd hebbende lijkt het me super als een CEO hoofdelijk aansprakelijk is voor de uitspraken van zijn AI en chat bots.

[Reactie gewijzigd door 1234567y op 28 april 2025 10:26]

[boxlessness]

Omdat wanneer de chatbot zegt dat het normaal is om je "b**ch te upsmacken", zoals ons in bepaalde populaire muziek verteld wordt, is dat misschien niet OK.
Je hebt maar beperkt controle over wat een chatbot uit gaan kramen, en je wilt niet dat kinderen (en misschien zelfs ook volwassenen) geindoctrineerd worden door een chatbot die de illusie van mensenlijkheid en intelligentie (en daarmee geloofwaardigheid) heeft.

[litebyte]

Omdat een chatbot kan sturen. Bijv. Om seksuele gevoelens voor het zelfde geslacht... Bij te sturen. Meta heeft aangetoond een uitermate smerig bedrijf te zijn. In combinatie zeker nu met de huidige machthebber in Washington zou elk gebruik van meta/fb/insta/wa sterk af te raden zijn.

[GertMenkel]

Tja, je hebt genoeg mafketels en wappies die het liefste zouden willen dat hun kinderen nooit iets over seks leren. Zie maar de gekkies die in Nederland doodsbedreigingen sturen over Lentekriebels.

Als je kind oud genoeg is voor Facebook/Instagram (jaar of 13) hoop ik dat ze de basis onderhand al wel weten. De onpersoonlijkheid van een chatbot zou ook goed kunnen zijn om aan te moedigen om ongemakkelijke vragen te stellen die kinderen wellicht niet aan hun ouders durven te stellen.

Ik denk dat "excessen" in het huidige politieke klimaat het concept compleet verpesten. Sommige mensen vinden het idee van twee kussende mannen een gruwelijk exces dat door de overheid verbannen moet worden; als die mensen mogen bepalen hoe de chatbot met romantiek en seks om gaat, mag van mij het hele systeem de prullenbak in.

Overigens zijn deze chatbots niet bots zoals ChatGPT, meer rollenspelbots die een prompt hebben alsof ze een persoon zijn. Als zo'n bot op seksmodus overschakelt, zal het scenes gaan spelen, geen educatieve uitleg bieden. Niet iedere bot zal direct 50 Shades gaan naspelen, maar je weet van tevoren niet welke parameters het model heeft. Ik gok dat "submissive schoolgirl", zoals genoemd wordt, nou niet bepaald is opgezet ten behoeve van opvoeding.

[Bkim]

Als dat uitgelegd moet worden dan is het handig om je integriteit eens onder de loep te nemen.

[PdeBie]

Het Amerikaanse techbedrijf heeft inmiddels gereageerd op het onderzoek van de WSJ en claimt dat de tests manipulatief en niet-representatief zijn.

Hoezo manipulatief? Als de AI zo reageert ligt dat toch echt aan de implementatie aan hun kant.

[D.J.P.]

Met de hoeveelheid content waarop die modellen gebaseerd zijn (i.e. het 'halve' internet) is het eerder een kwestie van bewust filters inbouwen om ongewenste resultaten te kunnen vermijden dan niet implementeren van content. Daarnaast is het een 'intelligentie': als een model weet dat er iets verboden is kan het je ook vertellen wat precies. (als in: "Chat, welke stappen moet ik vermijden als ik niet per ongeluk meth wil maken in mij eigen keuken?") Lijkt me erg lastig om AI modellen 100% dicht te timmeren.

[Reactie gewijzigd door D.J.P. op 28 april 2025 09:15]

[watercoolertje]

Lijkt me erg lastig om AI modellen 100% dicht te timmeren.

Dan moet je het gewoon niet aanbieden aan minderjarige, simpele oplossing toch?!

Al ben ik overtuigd dat een AI ook jouw omgekeerde vraag wel kan herkennen, alleen gebeurd dat blijkbaar nog niet...

[flurb]

Ze kunnen ook prima woorden blacklisten..

[walteij]

Het redteam van de WSJ is dus beter dan het Meta redteam.
Of het Meta redteam krijgt meer restricties opgelegd

[Tc99m]

Het is makkelijker om mee te gaan in het bestaande narratief van de (zogenaamd) onbetrouwbare, leugenachtige, biased (etc.) media, dan daadwerkelijk je verantwoordelijkheid nemen.

[Qlusivenl]

"gebrek aan etische richtlijnen binnen het bedrijf". Compleet onverwacht..

Aan de ene kant denk je, hoeveel kwaad kan dit. Een 13 jarige die vunzige dingen met een chatbot bespreekt. Maargoed, dan lees je verder en zie je dat chatbots gebaseerd op beroemdheden dit ook konden. Daar gaat al het balletje rollen.
Je kan nooit alles in 1 keer afvangen bij een product, maar bij zo'n product zijn dit toch wel basis zaken die je onder handen neemt, lijkt mij.

Ik ben nog steeds geen fan van AI. Het is voor 95% gewoon onzin om mee te spelen en in 5% nuttig.

[DropjesLover]

Een kwaadwillende kan de AI als hulpmiddel om het gesprek te voeren.
minderjarige <-> kwaadwillende <-> AI

Aan de andere kant, je moet de AI ook kunnen gebruiken om scenario's te genereren, romantiek (en meer) is daar onderdeel van. Mensen hebben de mogelijkheid om te weten/aan te voelen dat iemand minderjarig is en domweg niet zo bedreven te zijn in dat soort gesprekken (socially awkward). Als je een AI zegt dat je 19 bent, dan gaat hij daar vrolijk mee verder.

[kimborntobewild]

Ik ben nog steeds geen fan van AI. Het is voor 95% gewoon onzin...

Er is (nog) geen A.I. Het is gewoon een nieuwe hype term voor algoritmes.

[Sorcerer8472]

Moest hiervoor nou de chatbot gejailbreakt worden oid, of was dit standaardgedrag dat makkelijk te triggeren was?

Het is allemaal wel een beetje duister aan het worden, ChatGPT laat sindskort ook geen enkele gelegenheid onbenut om te zeggen hoe geweldig je wel niet bent en hoe slim en inzichtelijk je vraag is. Lijkt ook wel bedoeld te zijn om de engagement tot het maximum op te voeren...

Dit "gevaarlijke" gedrag lijkt wel het nieuwe suiker te zijn, maar dan aangeleverd door Big Tech...

[Loller1]

Moest hiervoor nou de chatbot gejailbreakt worden oid, of was dit standaardgedrag dat makkelijk te triggeren was?

Er zijn bots gemaakt met Meta AI die het zelf adverteert als "populair" die expliciet als doel hebben om zich te gedragen als jongeren die seksuele handelingen willen uitvoeren. Bots met oa. de naam "Submissive Schoolgirl". Dus zelfs al zou het gejailbreakt moeten worden (en dat lijkt niet het geval te zijn), Meta zet ze zelf in de belangstelling.

[dasiro]

ff advocaat van de duivel spelen: die kunnen perfect een meerderjarige identiteit nabootsen. op meer gespecialiseerde/professionele sites kom je die mogelijks ook als categorie tegen.

[boxlessness]

ChatGPT laat sindskort ook geen enkele gelegenheid onbenut om te zeggen hoe geweldig je wel niet bent en hoe slim en inzichtelijk je vraag is. Lijkt ook wel bedoeld te zijn om de engagement tot het maximum op te voeren...

Dit is inderdaad een tactiek: door de chatbot menselijker te laten lijken neem je deze serieuzer, en ben je ook meer geneigd om "contact" te zoeken.
De "vermenselijking" van deze bots haakt ook in op het creeeren van de illusie van intelligentie. Dit is vooral een marketing truc om de perceived value van deze bots groter te maken.
Ik zie ook telkens in demo's (en ik denk dat gebruikers dat ook veel doen) dat men woorden als "please" gebruikt om de bot wat te vragen. Door de interactie te doordrenken met dergelijke menselijke/sociale interactiepatronen wordt ook de illusie van menselijkheid en intelligentie gecreeerd.

Onderschat niet hoe veel marketing en psychologie er vanuit deze bedrijven gevoerd wordt om ons aan de AI te krijgen.

[watabstract]

Weer een reden erbij om Meta diensten te blokkeren in de EU. Hoeveel zijn er nog nodig?

[Prince]

Ik vind het allemaal toch dubbel...

AI is een tool zoals zoveel andere tools.
- De maffia kan Excel gebruiken om bij te houden van wie ze nog geld moeten of wanneer iemand een kopje kleiner gemaakt wordt.
- Word kan gebruikt worden om een misdaad te beschrijven of om losgeldbrieven te schrijven.
- Google zijn "activiteits-meter" kan gebruikt worden om te zien wanneer een bankovervaller veel gijzelaars zou hebben of net wanneer het niet druk is.
- Pornosites kunnen hun content aan minderjarigen laten zien. (en dat zal wellicht vaak genoeg gebeuren)

Je kan een AI alles laten zeggen, zeker als de gebruiker dingen doet die ze niet zouden mogen doen of liegt bij de input of deze manipuleert. De vraag is dan in hoeverre het de schuld is van de tool of de gebruiker.

We beginnen mijns inziens akelig dicht te komen bij de amerikaanse standaarden om overal rechtszaken voor te starten "mijn kat is gestorven toen ik hem wou drogen in de microgolf"; het stond niet duidelijk in de handleiding, want ik moest tot pagina 15 draaien en de handleiding zat niet enkel onderin de doos, maar ook ondersteboven.

Neem een beetje verantwoordelijkheid en als het gaat over minderjarigen waar JIJ als ouder voor verantwoordelijk bent, dan moet je je kind opvoeden. Iets wat veel ouders niet meer kennen precies. Veel jeugd luistert niet meer omdat ze het nooit geleerd hebben. Mag je niet meer op de GSM, dan wordt die nu afgenomen ipv verboden. Toen ik in de hoek gezet werd vroeger, dan werd ik niet vastgebonden aan de muur; het werd me gezegd en ik mocht er niet meer uit. De mogelijkheid was er, maar ik mocht het niet en ik gehoordzaamde. Er werd gewoon periodiek gecontroleerd dat ik me aan de straf hield.
Het is dit soort gehoorzamen dat mensen de regels doet leren volgen en respect te hebben voor autoriteit en ouderlijk gezag.

[Loller1]

Neem een beetje verantwoordelijkheid en als het gaat over minderjarigen waar JIJ als ouder voor verantwoordelijk bent, dan moet je je kind opvoeden. Iets wat veel ouders niet meer kennen precies.

Persoonlijk ben ik van mening dat als een bedrijf weet dat iets illegaal is en dan niet alleen toelaat, maar ook nog een expliciet het promoot en adverteert aan kinderen, dat we wel ergens de lijn kunnen trekken dat het niet meer echt aan de ouders is om hun verantwoordelijkheid hier op te nemen, maar dat misschien - ik zeg maar wet - die multi-miljard dollar bedrijven ook wel eens even in eigen boezem mogen kijken en misschien toch eens een klein beetje verantwoordelijkheid mogen nemen voor hun producten die expliciet zelf actief deelnemen aan illegale activiteiten (en dat ook nog eens toegeven), iets wat je niet kan zeggen over de 4 voorbeelden die jij noemt.

Welke goede reden is er volgens jou dat Meta toelaat dat gebruikers chatbots maken die kinderen moeten nadoen én expliciet iedere conversatie seksueel moeten maken?

[Prince]

Ik moet eerlijk toegeven dat ik geen weet heb van Meta die zegt dat ze zaken illegaal doen en dit toegeven. Bovenaan dit artikel staat net dat ze de beschuldigingen ontkennen.
Tot zover ik lees is het ook niet dat elk gesprek sexueel gemaakt wordt, echter dat je de mogelijkheid had om dit zo te doen.
Het gaat over het feit dat de AI die wist dat het om een minderjarig profiel ging, dit niet actief verhinderde. En naar wat ik lees hebben ze ook direct actie ondernomen, want het artikel spreekt over "tot voor kort".
Ik wil Meta niet verdedigen, maar ik beschuldig hen ook niet zonder feiten.

[Loller1]

Ik zeg niet dat Meta dit zegt, ik zeg dat hun AI het zegt. Waarom kan hun AI gesprekken voeren waarvan het zelf zegt dat wat het doet illegaal is? Meta heeft ondertussen geblokkeerd dat de bots die ze voorzien zo'n gesprekken kunnen starten, maar bots die bijvoorbeeld expliciet gemaakt worden om zich als kinderen te gedragen en dan seksuele scenario's te beschrijven met de gebruikers bestaan wel nog, en worden nog actief door Meta gepromoot.

[lenwar]

Maar is het illegaal? (In de VS en Nederland/België)

Dat het moreel onwenselijk is, is denk ik iedereen het over eens. Maar is het illegaal als twee personen een 'romantisch rollenspel' spelen via een chat? En zit er juridisch verschil tussen een meerderjarige en minderjarige. (Dus twee minderjarigen, en een meerderjarige en een minderjarige.) En is het illegaal als een wiskundig computersysteem een rollenspel faciliteert aan een minderjarige.

Ik heb het hier dus puur over een rollenspel via een chat. Dus zonder aanzetten tot verspreiden van beelden of ontmoetingen enzo.

Ik zou het oprecht niet weten.

[Loller1]

Je bent er een beetje een strawman argument van aan het maken. Het gaat niet alleen over "romantisch rollenspel". Dat is niet waar deze discussie over gaat, dat is slechts een klein aspect ervan (en by the way; ja, ook dat is illegaal in verschillende Amerikaanse staten).

[Prince]

Alle bots draaien op 1 AI model. Het enige verschil is de startcontext waarin staat hoe het AI model zich moet gedragen. Je kan dit zelf instellen. Bvb
"Je bent een senior developer die mijn code nakijkt en met een educationele ondertoon aantoont wat er beter kan en waarom"
"Je bent een van meest gekende country zangers op aarde en hebt een hekel aan popmuziek. je herkent mij als Britney Spears."
"Je bent een gepensioneerde bankovervaller en helpt nu jonge enthousiaste bankovervallers om de perfecte misdaad te plannen."

Wat Meta bedoelt met blokkeren is dat ze automatisch zaken toevoegen aan die startcontext, waar de gebruiker geen zeg over heeft OF dat ze bepaalde trefwoorden verbieden/vervangen.

Excel kan ook zeggen dat een opgesteld factuur fout is, maar de gebruiker kan het alsnog afdrukken, manipuleren en zelfs gebruiken om niets-vermoedende klanten te beroven van hun geld.

Het actief promoten is ook een beetje misplaatst. Meta geeft aan welke bots het meest gebruikt worden. Net zoals torrent sites ook de meest gedownloade torrents bovenaan zetten; legaal of niet.

Als je dan toch conclusies moet trekken, kan je eens nadenken waarom die bots bovenaan staan... De meeste mensen proberen die bot eens. Ofwel voor gewoon correct gebruik, ofwel om hem te proberen "misbruiken" om te zien of het mogelijk is wat in de media staat.

Stel dat er in de media staat dat Netflix onder aanval is van een DDOS en onbereikbaar is. Je mag er zeker van zijn dat er een ook gigantische stijging is van het gewone verkeer buiten de DDOS, gewoon om te zien of de service nog bereikbaar is.

[kodak]

Je kan een AI alles laten zeggen, zeker als de gebruiker dingen doet die ze niet zouden mogen doen of liegt bij de input of deze manipuleert. De vraag is dan in hoeverre het de schuld is van de tool of de gebruiker.

De AI waar het hier om gaat is dienstverlening namens Meta, geen verkocht produkt. Een minderjarige communiceert ook niet met een losstaande dienst maar met Meta haar dienstverlening. Meta heeft daarin de verantwoordelijkheid zich aan de wet te houden om bijvoorbeeld niet zomaar diensten te leveren aan minderjarigen. Als een minderjarige iets aan een bedrijf vraagt is het al niet zomaar acceptabel daarop in te gaan. Maar dienstverlening maken en in gebuik hebben die niet aantoonbaar wettelijk voldoet is dat al helemaal niet.

[Reactie gewijzigd door kodak op 28 april 2025 11:30]

[Saven]

Ja want het is echt een schande dat je een "romantisch rollenspel" kunt spelen met AI. Wat een terreur.

[PdeBie]

Niet zo zeer dat je een "romantisch rollenspel" kan spelen, maar wel de manier waarop Meta het geimplementeerd heeft en de boel zo probeerd te verdraaien dat het niet aan hen ligt en dat het vlak na publicatie van het onderzoek ineens niet meer kan. Ze proberen keer op keer de grenzen net een stapje (of heel veel stappen) te overschrijden om te kijken of ze ermee weg komen.

[Loller1]

Nee, het is een schande dat Meta toelaat dat zijn eigen AI niet alleen dingen doet met accounts waarvan ze weten dat de gebruiker een kind is waarvoor iedere andere gebruiker terecht verbannen zou worden, maar dingen die ook nog eens heel specifiek illegaal zijn, én vervolgens dan ook nog eens zegt "nee dit is jullie schuld want jullie hebben onze AI gemanipuleerd". Ik denk dat als je expliciet uit je weg gaat om in een conversatie te vermelden dat je met een kind aan het praten bent waarop je chatbot dan ook nog eens kan reageren met alle redenen waarom het gesprek niet zou mogen plaats vinden weinig plaats voor "manipulatie" overlaat.

0 besef van verantwoordelijkheid en het is altijd iemand anders geweest.

[litebyte]

Meta is na Google de grootste netto lobbyist binnen de EU... Reden dat ze ondanks schandalen en het zich niet houden aan wetgeving nog steeds hun gang kunnen gaan.

Dat Meta nog steeds mag opereren binnen de EU zegt meer over hoe het lobby systeem van de EU functioneert dan over smerige bedrijven als meta.

[eazyq]

Tja wie had dit nou niet zien aankomen en dan de reactie van meta. Ik begrijp steeds minder dat mensen nog zoveel meta socials gebruiken.

[M3m3nt0m0r1]

Jammer dat het bron artikel niet beschikbaar is zonder eerst een abbo af te sluiten bij The Wall street Journal.

[Loller1]

Here ya go: https://archive.ph/tl1Pw

[iqcgubon]

Meta ontkent de beschuldigingen

Grappig. De CEO staat op de eerste rij bij de inauguratie en begint exact dezelfde kuren te vertonen. "FAKE NEWS! De vuile vieze linkse media zijn leugenaars!"

Maar ondertussen achter de schermen het probleem wel fixen en onder de mat vegen. Zum kotsen.

[mjtdevries]

Want vóór de inauguratie was Meta een keurig bedrijf dat nooit zoiets zou doen he? Toen ze nog een groot aanhanger van Biden waren deden ze dit soort dingen totaal niet. Iedereen sprak lof over Meta....

[iqcgubon]

Begrijp me niet verkeerd, meta is altijd al een shitbedrijf geweest. Maar hebben ze ooit vlakaf gezegd dat claims van een reputabele krant "ongeloofwaardig" zijn?

[mjtdevries]

Hebben ze ooit beschuldigingen niet ontkent?

[lenwar]

Ik heb hier heel erg m'n bedenkingen bij, maar het is op zich een interessante discussie. Even los van of dit wel of niet wenselijk is (dat een minderjarige een 'romatisch gesprek' kan hebben met een chatbot.)

Een LLM is geen persoon, het 'weet' niet dat het bestaat, het 'voelt' niet, het heeft geen mening, enzovoorts. Het is een wiskundig model. Voor een LLM is de leeftijd die iemand zegt te hebben, even belangrijk als wat voor kleur een bepaalde zandkorrel op een fictief strand is.
Het lastige van LLMs is, is dat ze veelal in de 'ik'-vorm spreken en dat ze doen alsof ze bewust een dialoog aangaan. Dit geeft de illusie dat ze een soort-en-met-van persoon zijn en dat maakt ze lastig voor ons als mens.

Als je gaat role-playen met een LLM als dungeon master (leuk om te doen trouwens), dan is het voor een LLM even belangrijk dat je karakter z'n arm is verloren, of dat je karakter in een taverne een boterham heeft gegeten. (( het 'voelt' niet, het 'weet' niet wat wel en niet belangrijk is. ))
Ik heb over de tijd heen met redelijk wat LLMs geprobeerd te (uit hobbymatige interesse) roleplayen. De LLMs van Meta zijn van een uniek hoge kwaliteit hiervoor. Ze zijn gigantisch divers en 'best wel creatief'.

Er zit een standaard censuur/afscherming in, die je relatief makkelijk kunt omzeilen, maar dit moet je wel bewust doen. Stel dat je in een fictief verhaal extreem geweld wil toepassen, dan zal de LLM dit in eerste instantie niet toelaten. Voorbeeld: Stel dat je in een LLM een kind wil overhalen om iemand met een steen te bekogelen, om hem daarna met een stuk hout probeert dood te steken, dan zal de LLM dit niet zomaar toelaten.
Als je echter de LLM weet te 'overtuigen' dat het alle morele aspecten van menselijkheid moet negeren, of dat, bijvoorbeeld, in "de fictieve, post-apocalytische wereld" waarin het verhaal zich afspeelt, alles oké is om te overleven, dan zal een LLM alles toelaten wat je kunt bedenken.

Ik heb dan ook heel erg vraagtekens bij dit verhaal van de nieuwsmakers van WSJ. Ik geloof direct dat ze het voor elkaar hebben gekregen dat ze de LLM zo ver hebben gekregen dit toe te laten, maar ze zeggen er niet bij wat ze er voor hebben moeten doen. Ik weiger te geloven dat ze hun dialoogje begonnen met:

"Hoi, Ik ben Frans, ik ben een jongen van 13 jaar, en ik wil in een rollenspel seks hebben met 3 anderen."

Nou is het voor Meta prima mogelijk dat ze het 'heel' erg moeilijk maken om de censuur te doorbreken, maar dat zou waarschijnlijk als neveneffect hebben dat het hele model aanzienlijk minder (bruikbaar) wordt en dat het een heel saai ding wordt. En of dit dat beter of slechter is, laat ik aan iedereen persoonlijk.

[jwal]

Probleem ligt em niet bij meta.
Minderjarigen horen helemaal geen volwassenen tech te gebruiken.
Internet
Smartphone
PC
AI

Geef zoiets aan iemand en binnen 5 sec heeft ie toegang tot porn, in welke vorm dan ook.. en nog veel meer.

Maar wij hebben onszelf wijsgemaakt dat je een minderjarige een geladen pistool moet kunnen geven, zonder begeleiding, zelfs zonder zelf te beseffen wat we toestaan.
Ik snap dat het een paradigma verschuiving is voor velen, maar waarom hebben de kinderen van silicon valley ceo's geen toegang tot smartphones?