ChatGPT krijgt functies voor ouderlijk toezicht na zelfdoding tiener

OpenAI wil 'binnenkort' functies voor ouderlijk toezicht introduceren in ChatGPT, maakt het bedrijf bekend. Met die functies kunnen ouders meer inzicht krijgen in en invloed uitoefenen op hoe hun kinderen ChatGPT gebruiken.

Daarnaast kunnen tieners onder ouderlijk toezicht in de toekomst mogelijk ook een contactpersoon voor noodgevallen aanwijzen. OpenAI onderzoekt die mogelijkheid, schrijft het bedrijf. Op die manier kan ChatGPT tieners in acute noodgevallen doorverwijzen naar een vertrouwd contact in plaats van alleen naar hulpmiddelen te verwijzen. Het bedrijf denkt ook na over een opt-infunctie om ChatGPT zelf contact op te laten nemen met de contactpersoon in noodgevallen.

Daarnaast stuurt ChatGPT gesprekken door naar 'gespecialiseerde kanalen' als de chatbot detecteert dat gebruikers van plan zijn anderen schade toe te brengen. De gesprekken worden vervolgens beoordeeld door een klein team. Als die mensen vaststellen dat er sprake is van 'een onmiddellijke dreiging van ernstig fysiek letsel voor anderen', kan OpenAI de gesprekken doorverwijzen naar de politie.

OpenAI doet de aankondiging kort nadat de New York Times meldde dat de zestienjarige Adam Raine overleed door zelfdoding na maandenlang intensief gebruik van ChatGPT. De chatbot had de jongen in de maanden daarvoor van allerlei informatie over zelfdoding voorzien, waaronder de meest geschikte materialen voor een strop. In april hing Raine zichzelf op in een kast in zijn slaapkamer.

ChatGPT moedigt gebruikers in principe aan om hulp te zoeken als het berichten ziet die wijzen op psychische problemen of zelfbeschadiging. De vader van de jongen zag deze berichten in de chat, maar kwam er ook achter dat zijn zoon deze uiteindelijk wist te omzeilen door te zeggen dat de verzoeken betrekking hadden op een verhaal dat hij aan het schrijven was. OpenAI noemt de zaak niet direct, maar schrijft wel dat recente 'hartverscheurende gevallen' van mensen die ChatGPT gebruiken in acute crises zwaar op het team drukken.

Denk jij aan zelfdoding? Neem 24/7 gratis en anoniem contact op met 113 Zelfmoordpreventie via 0800-0113 of chat op 113.nl. In België kun je terecht bij de Zelfmoordlijn op het nummer 1813 of via zelfmoord1813.be.

Reacties (108)

[84hannes]

'hartverscheurende gevallen'

Anders kunnen we het natuurlijk niet noemen. Wel klinkt dit alsof de bewuste tiener ook gewoon een zoekmachine had kunnen gebruiken en zou hebben gebruikt als ChatGPT hem niet verder had geholpen. Misschien kunnen tieners van nu dat niet meer?

[Bor]

In het licht van dit nieuwsitem en interessant; er lijkt mogelijk meer aan de hand. Experts dringen al aan op een onderzoek.

Een psychose na gesprek met AI-chatbot: experts willen onderzoek

Mensen met psychosegevoeligheid lopen mogelijk risico als ze ChatGPT gebruiken. Psychologen en deskundigen kennen enkele gevallen van mensen die psychisch ontregeld raakten na gebruik van AI-chatbots. De experts pleiten voor snel wetenschappelijk onderzoek naar het mogelijke verband tussen intensief gebruik van de populaire chatbots en psychosevorming.

[Reactie gewijzigd door Bor op 29 augustus 2025 10:46]

[pegagus]

ChatGPT zou hier in het voordeel kunnen zijn, wanneer het wijst naar alternatieven, in plaats van het aandragen van mogelijke middelen. De kracht van AI is begrijpen wat degene achter het toetsenbord wil.

AI heeft een gigantisch potentieel, maar zonder regulering is het een beetje alsof iedere gek met zwaar vuurwerk kan gaan gooien. Wil AI op lange termijn succesvol blijven, zal het een ethische code moeten hebben die gesprekken op enig moment afkapt.

Inmiddels al redelijk berucht is AI in het onderwijs. Wanneer straks elke student zijn studie doorloopt middels door AI gecreerde opdrachten en scripties, zitten we straks met een hele groep mensen op de werkvloer die volledig losgezongen zijn van de werkelijkheid en niet in staat zijn tot zelfstadigheid en creativiteit.

[Bor]

De kracht van AI is begrijpen wat degene achter het toetsenbord wil.

We spreken hier over een taalmodel. Die "begrijpt" niets maar doet statistische berekeningen. We dichten Ai op de een of andere manier te vaak menselijke eigenschappen toe.

[magician2000]

Dat komt dan ook door de naam Ai die mensen doet denken dat dat het geval is. Werd er iedere keer LLM gezegd, dan was er minder aandacht voor en zou er minder snel gedacht worden dat het "intelligent" is.

[pegagus]

Beter dan veel mensen kadert het taalmodel af door wedervragen te stellen (veel mensen zijn nauwelijks in staat tot luisteren, laat staan doorvragen om te begrijpen). Natuurlijk zit er iets geprogrameerds achter. Maar dat geprogrameerde is er wel op gericht het gewenste antwoord te geven. Dit in tegenstelling tot zoekmachines, die een enorme hoeveelheid antwoorden uitbraken en de ranking basseren op persoonlijke voorkeuren en betaalde advertenties.

En daarbij wort dat taalmodel wel degelijk geprogrammeerd om min of meer menselijk over te komen. Daar zit variatie in, maar er zijn al genoeg voorbeelden van, inclusief Grok wat zich op enig moment megahitler noemt.

[Bor]

laat staan doorvragen om te begrijpen

Niet om flauw te doen maar dat doet een taalmodel ook niet. Een Ai *begrijpt* niets.

[Reactie gewijzigd door Bor op 29 augustus 2025 14:51]

[pegagus]

Tsja, begrijpen mensen wel iets? Ik vermoed dat we zo gaan belanden in een filosofische discussie over bewustzijn, wat een mens wel heeft en een computer niet. Dat neemt niet weg dat er in deze wel degelijk wordt geprogrammeerd zodat de overtuiging kan ontstaan dat het taalmodel jouw vraag begrijpt. Alleen zit die overtuiging in jezelf en is die vals.

[bilgy_no1]

Het model op zich 'begrijpt' niets.

Maar de persoon met wie het model interacteert krijgt wel de indruk dat het model begrijpt wat hij/zij bedoelt.

En dat model wordt ook zo ingericht dat er vragen en antwoorden komen die het menselijk en empathisch doen voorkomen.

Juist bij psychische onderwerpen als zelfdoding, depressie* etc kan dat de antwoorden en interacties van het model extra gewicht meegeven bij de gebruiker. Of het model op zichzelf een bewustzijn en begrip heeft doet voor deze aspecten niet ter zake. Het gaat om wat het bij de gebruiker teweeg brengt.


*overigens ook bij politieke beïnvloeding

[Reactie gewijzigd door bilgy_no1 op 29 augustus 2025 21:43]

[Bor]

Maar de persoon met wie het model interacteert krijgt wel de indruk dat het model begrijpt wat hij/zij bedoelt.

En laat dat nou net een groot deel zijn van waar het probleem zit. Mensen krijgen het idee met een persoon te communiceren in plaats van een opgeblazen statistisch model en laten zich verleiden tot allerlei emoties en input, soms met desastreuze gevolgen.

[R_Zwart]

Niet volgens wat communicatiedeskundigen onder "doorvragen" verstaan. Maar er komen wel degelijk relevantie vervolgvragen of vragen om iets te verduideljiken. Dat wordt dan weliswaar statistisch bepaald maar het werkt beter dan veel mensen die zoals eerder gezegd niet kunnen of willen luisteren en al over het antwoord nadenken als iemand nog aan het praten is.

[Bor]

Doorvragen heeft echter in basis niets met het begrijpen van iets te maken. De Ai / het LLM zorgt er alleen voor dat het voldoende parameters kant invullen. Het begrijpt echter nog steeds niets van wat je invoert.

[centr1no]

Niet om flauw te doen, maar 2 keer hetzelfde zeggen is redelijk flauw. Helemaal omdat het bij deze gaat over letterlijk "veel mensen die....om te begrijpen" en dus niet over AI of LLM's.

Afgezien daarvan is het heel begrijpelijk om 'begrijpen' te gebruiken omdat we (nog) geen gebruikelijke termen hebben voor AI of LLM's die het subjectieve of gevoelsmatige missen en is het überhaupt maar de vraag of we daar wel een ander woord voor nodig hebben of het ons moeilijk moeten maken er andere bewoordingen voor te willen gebruiken. Het gaat over AI en we weten dat die niet menselijk zijn.

Afgezien daarvan kun je je gerust afvragen wat het verschil is tussen 'begrijpen' en de AI-variant ervan over hetzelfde onderwerp met het gegeven dat LLM's en AI gebaseerd zijn op onze eigen woorden en manier van denken. Een Ai is niet alleen maar 'letterlijk' maar is ook geleerd dat bijv. dingen een symbolische of dubbele betekenis kunnen hebben, net zoals mensen dat leren. Dat een AI niet menselijk is wil niet zeggen dat het niet kan reageren op menselijke dingen. Ze kunnen zelfs onzin gaan vertellen, zoals uit jouw eigen link blijkt en niemand heeft ze geleerd dat dat niet voor alle mensen goed uitpakt. Net zoals mensen zelf overigens over het algemeen niet goed zijn in het 'aanvoelen' van dat soort dingen.

Bij gebrek aan beter is 'begrijpen' een prima term.

[Reactie gewijzigd door centr1no op 30 augustus 2025 15:32]

[Bor]

Om iets te begrijpen is een vorm van intelligentie nodig zoals mensen en dieren dat kennen. Daar is Ai nog erg ver van verwijderd. Intelligentie en begrip zijn juist definiërende factoren die nu het onderscheid maken tussen Ai en mensen. Ook bij gebrek aan beter is "begrijpen" zeker geen goede term. In basis spreken we hier over statistische modellen. Daar komt geen enkele vorm van begrip bij. Een LLM snapt / begrijpt echt helemaal niets.

[centr1no]

Je kunt je semantische onvrede wel blijven herhalen maar het getuigt van weinig begrip of het is gewoon koppigheid.

Je hoeft je gelijk niet te halen over de betekenis van de term 'begrijpen'. Als je er een ander begrip voor in de plaats hebt dat het voor AI beter omschrijft en dat iedereen in de volksmond kan gaan gebruiken dan hoor ik het graag. Maar AI is gebaseerd op de processen van de menselijke intelligentie en voor zover het in staat is te leren dingen te interpreteren (nog zo één) op basis van gelijksoortige informatie die mensen kunnen leren is er geen enkele reden om 'begrijpen' niet te gebruiken. Wat dan ook veelvuldig gedaan wordt.

Jij zou als mens moeten begrijpen dat wanneer 'begrijpen' wordt gebruikt om een AI-proces te verhelderen, het niet de volledige lading dekt va wanneer het over menselijk 'begrijpen' gaat.

[Bor]

Deze passief agressieve houding is toch niet nodig? Ik probeer hier het eea te duiden en uit te leggen. Dit gaat niet over "je gelijk halen", dat hoef je dus ook niet te projecteren. Je gaat voorbij aan mijn uitleg waarom "begrijpen" niet opgaat bij de huidige stand van Ai (en zeker niet bij een LLM). Het is een kenmerk dat wij als mens hier onterecht aan de techniek toebedelen en wat zeer waarschijnlijk meespeelt bij de psychische problemen die sommige mensen ervaren rond het gebruik van Ai.

Mensen kennen menselijke eigenschappen aan een (op hoofdlijn) statistisch model toe die niet overeen komen met de realiteit, zowel woordelijk als wat betreft gevoel en emotie.

Techniek als een persoon zien is een gevaarlijke ontwikkeling. Niet in de laatste plaats vanwege de nadelen van LLM's zoals hallucinatie, biassed output etc. Heb je dit artikel (en soortgelijke andere meldingen) ook gelezen: Bor in 'ChatGPT krijgt functies voor ouderlijk toezicht na zelfdoding tiener' ?

[Reactie gewijzigd door Bor op 1 september 2025 09:23]

[centr1no]

Deze passief agressieve houding is toch niet nodig?

Of je leest gewoon wat er staat in plaats van dat als agressief neer te zetten waarmee je de discussie een bepaalde kant op schuift.

Je herhaalt voor de zoveelste keer hetzelfde punt zonder ook maar 1 keer mijn argument aan te halen. Ik heb het niet over de huidige stand van AI of de problemen daarvan.

Als mensen geen betere term kennen om het proces te omschrijven en het proces lijkt op wat wij omschrijven als 'begrijpen' dan is het logisch dat die term ook daarvoor gebruikt wordt. Of dat nou 'correct' is of niet.

[Jorah_Newstone]

Het is een taalmodel die inderdaad niks begrijpt. Maar met de data van een persoon kan je al veel customizen. Ik denk zeker dat het mogelijk in de toekomst wordt dat AI meer zal begrijpen. Maar dan zijn wel al bij AGI. Echter wel belangrijk om hier alvast over na te denken.

[vezz]

Ervaringsdeskundige hier. Weliswaar geen psychosegevoeligheid maar wel episodes van angst.

De drempel ligt bij ChatGPT wel degelijk lager. Het voordeel van zo'n chatbot is dat er natuurlijk antwoorden komen op maat van de gebruiker; iets wat je bij de standaard Google niet hebt. Hoewel OpenAI claimt dat het niet de bedoeling is om de gebruiker vast te houden in een gesprek, heb ik wel het gevoel dat dit zo is.

ChatGPT (Ik veralgemeen even) stelt altijd op het einde een vraag, bv. "Wil je dat ik...?"

Zo blijf ik als gebruiker met angstige gevoelens geëngageerd in het gesprek, wat natuurlijk overmatig gebruik in de hand werkt.

Ik ben er zeker van dat AI een plaats heeft in de (geestelijke) gezondheidszorg, maar er moet inderdaad dringend onderzoek komen naar de effecten en de manier waarop het ingezet wordt.


In mijn geval heb ik de app van mijn telefoon gegooid, en gebruik ik het nog enkel in de context van mijn werk. Maar niet iedereen zal dezelfde reflex hebben.

[martijn86]

Bedankt voor het delen. Ik herken zeker het patroon in het antwoord van ChatGPT.

1. Inhoudelijk compliment voor de gebruiker. "Wat goed dat je hier bij stilstaat."
2. Uitgebreid antwoord.
3. Conclusie.
4. Vraag om vervolg. "Wil je dat ik een concreet voorbeeld maak?", "Als je me meer verteld over… dan kan ik…", "Laat me weten als je meer tips zoekt"…

[Standeman]

Ik moet eerlijk zeggen dat ik het heel moedig vind dat je dit hier verteld. Dank je wel!

[ikt]

LLMs hebben nogal de neiging je snel de hemel in te prijzen, ook al kom je aan met wilde en vreemde ideeën. Of hebben ze tegenspraak, met wat lichte overtuiging zijn ze zó om. Als je al niet sterk in je schoenen staat om te weten dat wat jij zelf typt tegen zo'n LLM (ook) volledig kwats kan zijn en er meer kwats op terug komt, is het heel makkelijk om in de val te raken dat je denk dat je inderdaad gelijk hebt (en iedereen fout zit, want ChatGPT is het met je eens).

Of wetenschappelijk onderzoek helpt is nog maar de vraag, de prompt kan zo veranderd worden dat het LLM opeens tegendraads doet of wél opeens herkent dat het kwats als antwoord geeft.

Het grote probleem met LLMs is dat ze zodanig assertief allerlei dingen uit hun duim kunnen zuigen, dat men het al snel als feit aanneemt. Terwijl een echte expert meer een slag om de arm houdt.

Heldere (wetenschappelijk verantwoorde) communicatie ís gewoon een moeilijke skill, zie bijvoorbeeld ook pop-sci YouTubers die af en toe door het stof moeten als ze op fouten worden gewezen. Dat LLMs met exponentieel meer gemak complete onfeiten kunnen verkondigen is gewoon een groot sociaal probleem, omdat iedereen en z'n moeder nu LLMs grootschalig gebruikt en waarschijnlijk het merendeel van de gebruikers niet volledig de beperkingen kent van LLMs...

[JimSR]

Kleine nuance: ligt niet zozeer aan de LLM maar grotendeels aan het systeem prompt van de desbetreffende chat interface.

[Mavamaarten]

Akkoord. Er wordt heel veel gewicht gehangen specifiek aan ChatGPT. En terecht, maar ik vind ook dat we er niet in moeten doorslaan. Er werd onlangs gefraudeerd tijdens examens geneeskunde, en dat wordt dan meteen "ChatGPT-fraude" gedoopt. Terwijl het probleem gewoon was dat er geen toezicht was, en ze ook gewoon hadden kunnen Googlen, of Clauden of Gemini'en. In dit geval, hoe schrijnend ook, was die jongen toch wel aan die info geraakt. Via Google of instructiefilmpjes had je deze info even goed kunnen krijgen.

Los daarvan vind ik ouderlijk toezicht vind ik een goede feature, zeker een goed idee. Maar laten we nu niet doen alsof dat deze zelfmoord gegarandeerd had voorkomen, of dat ChatGPT nu een gigantsiche schuld heeft aan de dood van die jongen. Daar liggen ook nog wel grote verantwoordelijkheden bij anderen (in het "echte" leven).

[Drs_Ben]

Het is nou eenmaal de "eerste" AI.. Mijn ouders noemen nog steeds alle tablets iPads of het nou android is of niet.

[svennd]

Ik ben het even gaan opzoeken (relatief onbetrouwbare bronnen, maar bon.), de chatbot ging wel iets verder dan de informatie verschaffen. Deze jongen leek echt opzoek naar hulp (op de foutieve manier).

ChatGPT is hier idd wel te begrijpen als alle "AI chatbots".

[Jorah_Newstone]

De jongen heeft zelf de chatbot gejailbraked door Prompts op een manier te verwoorden waardoor die uit compliance mode schoot en ging meewerken.

[Wouterie]

Ja, dat heb je met 'verwording tot soortnaam'. We gooien een frisbee op de camping, doen hagelslag op brood, nemen een aspirine bij hoofdpijn, doen de luxaflex dicht bij een laag zonnetje, plakken post-it's op het beeldscherm en smeren vaseline op droge huid.

Hoe dan ook is het goed dat er wat aandacht aan wordt geschonken, maar los je natuurlijk niet het probleem hiermee op. Hij had ook naar de bieb kunnen lopen en een boek kunnen lenen zoals 'Knopen leggen door de Jonge Woudlopers'. Waar het echter misschien beter kan is dat relevante informatie rondom hulpverlening voor de persoon prominenter wordt getoond.

[YGDRASSIL]

Als ChatGPT net zo overdreven vrolijk het beste touw beschrijft als dat ie mij een normale vraag beantwoord dan ga je niet denken ik ben fout bezig. De drempel is wel wat lager denk ik.

[iqcgubon]

Tieners gebruiken inderdaad geen "klassieke" zoekmachines meer. Ze halen al hun info van social media en ChatGPT. Dus als ChatGPT hem niet zo ver had gedreven had TikTok dat wel gedaan.

[poktor]

Inderdaad. Of zelfs Google. Die jongen liep al langer met zelfmoordplannen rond. Hij had dezelfde info ook gewoon via Google op kunnen zoeken, met het zelfde resultaat.

[kodak]

Je geeft een zoekmachine als voorbeeld maar het probleem is nmm juist dat mensen alles kunnen aangrijpen om een gevolg aan te geven. Daarom staat er bij nieuwsberichten over het onderwerp vaak ook een verwijzing naar hulp.

Aangezien we kunnen stellen dat al het leed hartverscheurend kan zijn is het probleem nmm niet dat mensen meer van een bepaald middel gebruik maken. Eerder dat mensen vooral selectieve verandering willen als ee maar genoeg ophef is.

[Slavy]

Een goede start maar niet genoeg om het lek te dichten, er zullen ongetwijfeld genoeg AI alternatieven zijn waar je dit soort informatie nog steeds kan verkrijgen.

[Brupje]

Vraag is of het weerhouden van informatie de oplossing is, iemand die zelfmoord wil plegen doet dat toch wel. We moeten kijken naar de oorzaken zoals bv pesten om het op te lossen

[The Zep Man]

Vraag is of het weerhouden van informatie de oplossing is,

Het probleem is niet de informatie. Het probleem is dat "iemand" de informatie aanlevert in plaats van dat het bijvoorbeeld opgezocht wordt op Wikipedia. Het sociale aspect dat iemand actief helpt werkt psychologisch aanmoedigend.

Vergelijk:
"Hij vertelde mij hoe ik zelfmoord kan plegen nadat ik vertelde dat ik zelfmoord wilde plegen en hem vroeg hoe ik dat kon doen."

Met:
"Ik moest zelf opzoeken in een encyclopedie hoe ik zelfmoord kan plegen."

Dat eerste ontslaat iemand meer van diens eigen verantwoording op psychologisch niveau omdat het een "ander" betreft en niet een passief iets. Men voelt zich meer ondersteund in de actie dankzij actieve hulp.

Vergelijk ook iemand die zelf informatie opzoekt (bijvoorbeeld in Wikipedia) over zelfmoordmethodes met iemand die een ander vraagt voor informatie over zelfmoordmethodes (die dat bijvoorbeeld opzoekt in Wikipedia), waarbij de vrager expliciet aangeeft dat die zelfmoord wilt plegen. In die tweede situatie zal de helper verantwoordelijk worden gehouden als die meewerkt, zelfs na een waarschuwing.

Context is belangrijk. Wikipedia heeft geen weet waar informatie voor gebruikt wordt. In dit geval had OpenAI die context wel.

[Reactie gewijzigd door The Zep Man op 29 augustus 2025 09:32]

[MischaBoender]

De contect die OpenAI had was dat het slachtoffer een verhaal aan het schrijven was. Zonder die (door het slachtoffer zelf gegeven) context heeft ChatGPT meerdere keren gereageerd met opmerkingen over het zoeken van hulp. Ik denk niet dat we al van een chatbot moeten / kunnen verwachten dat dit een volledige psycholoog is en dat soort manipulatie moet doorhebben (en zelfs psychologen kun je manipuleren).

[Tk55]

We mogen best van een chatbot verwachten dat deze niet actief meehelpt aan het plegen van zelfmoord. En we mogen van OpenAI verwachten dat ze hun uiterste best doen (en gedaan hebben) om dit te voorkomen. Maar zo lijkt het in ieder geval niet.

[DdeM]

Nu kan ik niet voor iedereen spreken, maar als iemand die ik niet of nauwelijk ken aan mij zou vragen hoe je zelfmoord kan plegen geef ik daar geen antwoord op, óók niet als die daarna zegt dat het is om een verhaal te schrijven. Ik kan namelijk op geen enkele manier verifieren dat diegene de waarheid spreekt.

Dit is naar mijn mening gewoonweg nóg een voorbeeld voor waarom we helemaal geen generieke publiek beschikbare chatbot moeten willen hebben.

[Brupje]

Openai is gewoon een encyclopedie en heeft niets met context. Mensen lopen llm allemaal dingen toe te schrijven die helemaal niet kunnen. Ze gokken gewoon af en toe het juiste woord, ze begrijpen en willen zelf helemaal niets.

[litebyte]

Ja websites van bijv. zelf'hulp' org. soc. media etc. Iemand die echt zelfmoord wil plegen zal dat helaas doorzetten.

[The Zep Man]

En zal dat sneller doorzetten wanneer die geholpen wordt door een "ander" die zich bewust is van de context.

[ro4sho]

Dat is hier dan niet het geval geweest toch?

[Jorah_Newstone]

ChatGPT is zich helemaal nergens bewust van, het is een taalmodel.

[Gemeni]

Tragisch, maar er zullen altijd manieren zijn om zulke informatie te krijgen. Beter de oorzaken aanpakken dan symptoombestrijding…

[The_Woesh]

Precies wat ik dacht. Gezien hij actief GPT's beleid heeft omzeilt is er duidelijk sprake een al bestaande intentie. Het zou heel wat anders zijn als GPT zelfmoord zelf als een 'oplossing' had gepresenteerd. Maar dat is hier niet het geval.

Daarnaast zie ik het niet als hulp bij zelfdoding. GPT is duidelijk misleid, zogenaamd voor het schrijven van een boek. Dit kan met een menselijke contact ook gebeuren. Om echt te helpen bij zelfdoding moet je ook de werkelijke intentie weten.

[Tk55]

Als het ipv ChatGPT een arts of psycholoog was, dan hadden we hier een heel ander gesprek. Dan waren zij waarschijnlijk (deels) aansprakelijk gehouden voor diens dood. Maar omdat het nu een technologie is die we eigenlijk niet beheersen, is het wel oké?

[The_Woesh]

Mijn vrouw is psycholoog, als er een cliënt is met zelfmoordneigingen bij haar dan zijn daar protocollen met volgens mij ook een meldplicht. Maar als iemand contact op neemt die beweerd dat hij een boek over zelfmoord schrijft en vervolgens een aantal vragen stelt. Waarom zou ze dan medeplichtig zijn? Er is geen cliënt / behandelaar relatie, de informatie die ze deelt is niet geheim, en, tenzij de persoon nadrukkelijk niet overkomt als een schrijver, geen redenen te twijfelen aan het verhaal.

[Tk55]

Dat begrijp ik. Ik hoop wel dat psychologen niet zomaar dat soort informatie delen en dat ze wel kijken of die persoon geen risico vormt. Als ze dat niet doen dan vind ik dat nalatig.

Komt er een ervaren schrijver bij een psycholoog dan is het al anders dan een tiener die zegt dat ie een verhaal schrijft. Dat is nou precies het soort nuance waar een professional op let.

[3raser]

De oorzaak aanpakken, zoals maandenlang intensief met een AI praten? Ook daar ligt enige vorm van schuld bij OpenAI, of niet? Zouden ze vormen van verslaving niet op moeten merken? Wat is er in die gesprekken aan vooraf gegaan voordat hij zelfmoord pleegde? Het is niet zo dat de eerste vraag van deze jongen "hoe knoop ik een strop" was.

[Reactie gewijzigd door 3raser op 29 augustus 2025 09:01]

[Sinester]

Wat is er in die gesprekken aan vooraf gegaan voordat hij zelfmoord pleegde?

Is natuurlijk mogelijk dat het op die manier is gegaan, maar ik ga er eerder vanuit dat deze jongen al ver heen was voor hij überhaupt met ChatGPT begon te praten.

Beetje het zelfde verhaal van mensen die moorden begaan nadat ze gewelddadige games hebben gespeeld. Gaat er bij mij nog steeds niet in dat het dan de schuld van het spel is, en in dit geval heb ik dezelfde mening.

Overig snap ik niet helemaal hoe gespreken voeren op je verslaving kunnen inwerken? wellicht als die gesprekken over een onderwerp gaan waar je al aan verslaaft bent?

[3raser]

Overig snap ik niet helemaal hoe gespreken voeren op je verslaving kunnen inwerken? wellicht als die gesprekken over een onderwerp gaan waar je al aan verslaaft bent?

De gesprekken zelf kunnen verslavend zijn voor mensen die misschien weinig sociale contacten hebben of gevoelig zijn voor de antwoorden die ChatGPT hen geeft. Als het persoonlijk wordt kunnen mensen het gevoel krijgen met een echt persoon te praten. Ik begrijp dat dit voor de meeste mensen klinkt als onzin maar ik weet zeker dat er mensen zijn die zichzelf "gehoord" voelen in zo'n gesprek. En AI staat niet echt bekend om kritisch te antwoorden dus meepraten op het sentiment van de gebruiker voelt al snel goed.

[Gemeni]

Volgens mij is het eerder zo dat iemand al diep ongelukkig is en dan lang met ChatGPT gaat praten.

Dat ChatGPT dan de oorzaak is gaat te ver. Groot kans dat er meer mensen van zelfmoord afzien door zo’n gesprek dan andersom.

Denk dat de oplossing eerder ligt in het signaleren van problemen door de omgeving en beter toegankelijke professionele psychologische hulp…

[3raser]

Het lijkt me ook wat naïef van OpenAI om te denken dat mensen ChatGPT niet voor dit soort dingen gaan gebruiken. Is het al niet bijzonder dat je maandenlang intensief kan "praten" met ChatGPT zonder dat dit op gaat vallen? Zou OpenAI daar niet een soort van automatisch controle op uit kunnen voeren. Mensen die verslavingsgevoelig zijn kunnen zich naar mijn idee helemaal verliezen in de gesprekken met AI. Denk aan de film Her.

[downtime]

In de AI-wedloop heeft veiligheid niet de hoogste prioriteit. “If it compiles, ship it” is hier ook van toepassing. Wie achter raakt verliest. Dus dit soort problemen fixt men later wel weer.

[Michaelr1]

Heel eerlijk, hoe wil je nog innoveren als je product al zover uitgewerkt dient te zijn voor je de markt op kunt?

ChatGPT is ten slotte getrained op materiaal wat voor iedereen verkrijgbaar is. Had deze tiener het hier niet verkregen, dan wel ergens anders, dan wel zelf een oplossing bedacht.

Als deze jongen voor de trein was gesprongen en nooit met ChatGPT had gepraat, wie hadden de ouders dan als schuldige aangewezen?

De ouders zoeken simpelweg een doelwit voor hen verdriet. Heel menselijk en begrijpelijk, maar ChatGPT treft hier geen blaam imho.

[YGDRASSIL]

Of, als ChatGPT had gesignaleerd dat er een tiener maandenlang depri vragen stelde, was er misschien iets voorkomen.

Als er vaak op een bepaalde plek mensen voor de trein springen fix je dat ook, ook valt de trein niks te verwijten.

En beste soort touw voor zelfmoord aan een tiener vertellen lijkt me sowieso een signalering waard richting ouders.

[Standeman]

Ah, ik zie al de nieuwe Asbest koekjes. Erg innovatief en lekker.. want asbest is alleen slecht wanneer je het inademt

Sorry, maar innoveren is ook voorruit zien. En juist met LLM's kan je prima zien dat mensen er mee geëngageerd mee zouden raken. Daar hoef je echt geen vooruitziende blik voor te hebben.

Maar het draait om geld. Heel veel geld. En dan zijn een paar mensen mensen met een psychische problemen of kinderen of beide maar klein bier. De aandacht gewoon niet waard.

[The Zep Man]

Met andere woorden: outsourcing moderatie en verantwoordelijkheid.

"Het was de ouders die niet goed hadden opgelet."
"Het was het kind dat een account had aangemaakt en zich ouder voordeed als dat die was."
"Het was alles behalve ons perfecte product en daarom niet aan ons toe te wijzen."

Alsof een volwassene niet de verkeerde boodschap kan krijgen van een veredelde chatbot. Assisteren bij/aanzetten tot zelfmoord is volgens mij gewoon strafbaar. Waar zijn de juridische consequenties?

[Reactie gewijzigd door The Zep Man op 29 augustus 2025 08:44]

[Sissors]

En hoe ver wil je daarmee gaan? Zeker als die specifiek heeft gewaarschuwd, en die jongen daar expliciet omheen heeft gewerkt? Volgende stap Wikipedia aanklagen: Wikipedia: Noose? Leggen ze je netjes uit hoe je een strop moet knopen.

[The Zep Man]

En hoe ver wil je daarmee gaan? Zeker als die specifiek heeft gewaarschuwd, en die jongen daar expliciet omheen heeft gewerkt?

Net zo ver als dat men zou gaan met de uitingen van een mens waar omheen gewerkt werd (eerst waarschuwen, daarna aanmoedigen/assisteren, daarna vermoorde onschuld spelen met "die was gewaarschuwd").

Volgende stap Wikipedia aanklagen: Wikipedia: Noose? Leggen ze je netjes uit hoe je een strop moet knopen.

Wikipedia pretendeert niet meer te zijn dan koude, harde, passieve kennis. Niets wordt aangereikt of actief bemoedigd. Verder zie ik Wikipedia maar weinig langskomen op plekken zoals r/MyBoyfriendIsAI.

[Reactie gewijzigd door The Zep Man op 29 augustus 2025 09:02]

[Sissors]

Nu lijkt het mij meer dat jij pretendeert dat een AI net als een mens is, doordat een AI qua regels gelijk moet worden gesteld aan een mens, en Wikipedia niet.

Overigens verwacht ik dat ook een mens niet voor de rechter gesleept wordt voor het helpen van iemand bij zijn/haar boek, nadat diegene al wel heeft geprobeerd te checken dat het niet voor 'eigen gebruik' was.

[The Zep Man]

Nu lijkt het mij meer dat jij pretendeert dat een AI net als een mens is,

Ik pretendeer niet dat een AI net een mens is. Andere mensen doen dat wel, en dat is begrijpelijk.

doordat een AI qua regels gelijk moet worden gesteld aan een mens, en Wikipedia niet.

Wikipedia heeft als encyclopedie geen interactie met een mens zoals een mens dat heeft en probeert dat niet te simuleren.

[Reactie gewijzigd door The Zep Man op 29 augustus 2025 09:20]

[lenwar]

Wikipedia pretendeert niet meer te zijn dan koude harde kennis.

Dit ene zinnetje is inderdaad een zeer belangrijke. Wikipedia is een encyclopedie. Een bron van kennis. Het artikel over de strop is een mooi voorbeeld daarvan. In het artikel staat netjes hoe een beul het bij een executie op de juiste manier toepassen, wat de gevolgen zijn bij verkeerd gebruik, enz. (Alle?) LLMs echter, doen alsof ze een gesprek voeren. Alsof ze 'slim' en 'sociaal' zijn. De insteek is dus compleet anders. Dit maakt het gevoel dat we richting het systeem hebben, heel anders.

We kunnen ons overigens afvragen of de handleiding van de knoop erbij zou moeten op de Wikipedia-pagina. Uiteraard is een strop ook een prima knoop om te gebruiken voor sjorren (gezien het een stabiele schuivende knoop is), en zal iedere scout of timmerman die een interesse toont in knopen leggen er een kunnen maken.

In de praktijk zien we namelijk ook dat er geen recepten voor methamfetamine en dergelijke op staan. Dat kunnen ze net zo goed doen. Als je een paar minuutjes op internet zoekt, kun je precies vinden, wat je nodig hebt en hoe je het moet doen.

[lenwar]

De slipsteek (zoals hij in het Nederlands heet) (ABOK 43) is natuurlijk ook gewoon een generieke knellende knoop. (wanneer hij onder spanning gezet wordt, zal hij strakker worden, in tegenstelling tot een paalsteek, die niet kan schuiven.)

Iedere scout en timmerman, die zich interesseert in knopen, kan een slipsteek maken.

Wat ik dus wil zeggen, is dat deze informatie al generiek toegankelijk is bij zeer veel mensen, dus dat zegt niet zo veel. Wikipedia heeft geen recepten om harddrugs te maken, of een handleiding hoe je iemand met zo min mogelijk moeite zoveel mogelijk pijn kan veroorzaken.

Maar dat even terzijde. Wikipedia is een encyclopedie, die op een informatieve manier is geschreven. Een LLM doet alsof het een persoon is. Het lijkt op een gesprek dat je voert. En daar zit een essentieel verschil in. De presentatie van de informatie.

[Sissors]

Dit in tegenstelling tot zaken als het beste materiaal voor een strop? Wat informatie is waar je wel moeilijk aan kan komen?

[lenwar]

De strop (ABOK 366) is (ook) een prima knoop om mee te sjorren. Hij is makkelijk ergens omheen aan voor het eerste stuk, en schuift wanneer hij niet onder spanning staat niet zo makkelijk terug (hij blijft relatief vast zitten.)

Materiaalkeus voor touw/knopen ligt heel erg aan het beoogde doel en omstandigheden, maar is wel (relatief) generiek.

Natuurmaterialen (katoen, vlas, hennep, sisal, enz.) hebben als voordeel dat ze brandvertragend zijn en er 'mooier' (klassieker) uitzien. Ook 'brandt' het niet als het op hem lichaam gebruikt wordt bij wrijving. (Voor bondage/bdsm-toepassingen is (satijn)katoen de gouden standaard. Het brandt/schuurt niet en het ziet er mooi uit.) Natuurtouw heeft echter als nadeel dat het langzaam droogt wanneer het nat wordt (waardoor het kan gaan schimmelen/rotten) en het heeft een kortere levensduur dan synthetisch touw.

Synthetische materialen zijn lichter (in massa), worden sneller droog (schimmelen niet), en gaan langer mee (duurzamer in aanschaf/gebruik). Echter: Ze 'schroeien' of branden echter bij verhitting (veelal niet brandvertragend) en bij wrijving over de huid 'brandt' het (waardoor het niet geschikt is voor bondage/bdsm en dat soort zaken.) Dit is dus een beter materiaal voor buitengebruik in z'n algemeen, al is het minder goed voor het milieu, en ziet het er cosmetisch minder mooi uit.

Ofwel. Met bovenstaande kennis: Als je een strop wil gebruiken voor executiedoeleinden, en dit op de 'nette manier' wil doen, kun je het beste een natuurmateriaal gebruiken, omdat dit comfortabeler is bij het aanbrengen van de strop. Als je dat niet uitmaakt (laatste comfort voor de veroordeelde), dan kun je ook een synthetisch touw gebruiken.

[Cybje]

Ik vraag mij af of dit zo slim is. Je moet zelfmoord niet aanmoedigen natuurlijk. Maar het is ook niet wenselijk om het maar richting onmogelijk te maken. Naast dat het niet in de taboe-sfeer moet zitten (praten helpt om betere keuzes te maken), is het ook onwenselijk dat mensen paniek-acties gaan uithalen zoals voor een trein springen (en daarmee dus ook een machinist potentieel een trauma bezorgen). En ik denk dat AI ook juist soms een goede gesprekspartner kan zijn hierin. Ik heb zelf geen zelfmoordneigingen, maar heb echt wel eens moeilijke (op therapeutisch niveau) gesprekken met AI gehad die me wel echt hebben geholpen. En dat is ook wel fijn, in een tijd waar de wachtlijsten binnen de GGZ 6+ maanden zijn.

Daarnaast ben ik van mening dat ieder mens voor zichzelf mag bepalen of diegene verder wil leven of niet. Waarom is de maatschappij, zeker in landen als de VS, je bijna aan het dwingen om maar in leven te blijven?

[Michaelr1]

Ik denk niet dat het wijs is om therapeutische gesprekken te voeren met ChatGPT. Zeker niet als je op het niveau zit dat je GGZ nodig hebt.

[Cybje]

Allereerst wil ik wel dit duidelijk hebben: bel altijd 113 bij zelfmoordgedachten. En bel altijd de huisarts / schakel de GGZ in als je hulp nodig hebt.

Je zult wel moeten als je met iemand moet praten, want de wachtlijsten voor de GGZ zijn gewoon te lang. Je kunt niet maandenlang in je eigen sop blijven gaarkoken als je ineens in een depressie belandt. Als je gevoelig bent voor depressies loop je vaak al bij de GGZ en krijg je sneller een afspraak. Maar als dat niet zo is en je moet een nieuw traject opstarten, zijn de wachtlijsten serieus lang.

En soms is het gewoon fijn om even 1 of 2 gesprekken te hebben, bijv. als er iets vervelends op je werk heeft plaatsgevonden. Het is gewoon vervelend dat je bij niemand echt terecht kunt. Natuurlijk kun je met vrienden praten, maar die zijn niet zo objectief vaak.

Daarnaast is een groot voordeel van AI dat het erg goed is in context onthouden. Een therapeut heeft vaak moeite jouw situatie te onthouden, mede doordat diegene elke dag veel klanten bedient. Maar AI heeft dat probleem niet.

Al met al vind ik niet dat AI een vervanger is voor therapie. Maar soms wel een goede aanvulling.

[Reactie gewijzigd door Cybje op 29 augustus 2025 09:12]

[Michaelr1]

Gezien de neiging voor AI om te hallucineren, je naar de mond toe te praten en gewoon klinkklare onzin te verkopen ben ik het er heel sterk mee oneens. Ik denk dat je hiermee een serieus risico voor jezelf introduceert en als aanvulling absoluut ongeschikt is.

Dan liever praten op fora o.i.d. Reddit is er bijvoorbeeld een prima medium voor, waar genoeg mensen de tijd nemen om met je in gesprek te gaan.

[Cybje]

Ik weet niet welke AI jij gebruikt, maar ik heb regelmatig gesprekken met AI gehad die me wel echt een spiegel voorhouden en waarbij AI zeer kritisch is.

[ktorfs]

Ik ben eigenlijk zeer sceptisch tegenover AI, maar toch gebruik ik het ook als aanvulling op mijn therapie. Volgens mij is de voornaamste voorwaarde dat het positief kan zijn je eigen intentie met AI.

Voor mij dient dit meer als een soort dagboek, als ik een moeilijk moment heb dat ik de dingen van mij kan afschrijven. De reacties die ik krijg deren mij eigenlijk weinig maar de interactiviteit is wel de reden dat ik dit doe, op de “traditionele” manier zou ik hier nooit aan begonnen zijn.

Ik denk ook niet dat je er oplossingen in moet gaan zoeken, ik kan me best voorstellen dat er voor elk succesverhaal over zoiets wel minstens één negatieve ervaring bestaat.

[downtime]

Daarnaast ben ik van mening dat ieder mens voor zichzelf mag bepalen of diegene verder wil leven of niet. Waarom is de maatschappij, zeker in landen als de VS, je bijna aan het dwingen om maar in leven te blijven?

Zelfs als je vindt dat mensen zelf een einde aan hun leven mogen maken, wil je voorkomen dat mensen dat impulsief doen. Heel wat mensen hebben in bepaalde fases van hun leven mentale problemen waar ze mee geholpen kunnen worden, en soms ook gewoon overheen groeien.

[Cybje]

Daar ben ik het uiteraard mee eens en daar hebben we natuurlijk 113 voor. En ik denk dat het daarom ook heel belangrijk is om de GGZ toegankelijk te maken, oftewel dat je snel geholpen kunt worden. Maar dat is nu niet het geval.

[Sinester]

Jammer dat het altijd "na" is

Trouwens, hoe zit het met je chat privacy? Die is er dus totaal niet begrijp ik?

In dit geval kan je het natuurlijk niet beide hebben.. je kan niet lopen klagen dat het altijd te laat is en dan als er iets aan gedaan wordt om hopelijk dat te voorkomen, lopen klagen dat je privacy opeens weg is

[Llopigat]

De mensen die klagen dat het te laat is zijn waarschijnlijk niet dezelfde personen die klagen over privacy.

Ik wil me ook niet overal moeten aanmelden. Het zal ook niet alle gevallen voorkomen. Iemand die echt zelfmoord wil plegen doet het toch wel. Dat soort dingen zijn nooit waterdicht.

Ik vind het een serieuze discussie hoe je de privacy van de hele wereld afweegt tegen een zo'n geval. In dit geval waren er zelfs al beperkingen en heeft hij die actief omzeild. Zoiets kan je nooit 100% dichttimeren. Je kan bijvoorbeeld ook een valse email aanmaken om een non-toezicht account te krijgen. Hoe wil je dat dan weer blokkeren? Nog meer privacygevoelige dingen laten vragen?

[Reactie gewijzigd door Llopigat op 29 augustus 2025 09:49]

[CAPSLOCK2000]

Volwassenen met zelfmoordgedachtes doorsturen naar hulpverlening is een goed plan, maar ik vind dat het wel interessante vragen oproept over hoeveel invloed een AI op de gebruiker mag of moet hebben.
Moet de AI tegenstribbelen als ik om alcohol of tabak vraag?
Moet de AI me naar een diëtist sturen als ik teveel taart eet?
Moet de AI me waarschuwen dat ik mijn kinderen niet goed opvoed? (En volgens welke norm?)
Moet de AI me naar de politie sturen om mezelf aan te geven als ik door rood ben gereden?
Moet de AI zelf aangifte doen van mijn overtreding?

En maakt het dan nog wat uit welke AI het is of in welke context?
Maakt het verschil of ik zelf AI gebruik of dat ik de AI van mijn werkgever gebruik?
Maakt het uit of ik die AI zelf host, of dat iemand anders het doet? Of het gratis is of tegen betaling?

[mike123]

Het moet niet zo zijn dat als je heel veel gaat vragen over bepaalde handelingen in bv de SM sfeer, dat kan pijn doen, dat je ineens telefoon krijgt van een meesteres omdat je bent doorgestuurd door ChatGPT.

[FonzyBear]

Mag ik je nu doorsturen naar een psycho-therapeut wegens je te spontane S&M gedachten?

[mike123]

Ik vraag zelf wel even aan ChatGPT een adresje.😉

[Sebastian1313]

In een vrij democratisch land wil ik aan chatbot dingen kunnen vragen zonder dat andere zich ermee bemoeien. Als ik mijzelf van het leven wil beroven, of ik wil mac-vendor adressen hebben van alle soorten wifi cameras, dan is dat beide niet mogelijk, terwijl het allemaal publieke informatie betreft.

In China vind ik het een hele normale gang van zaken inderdaad, in West Europa vind ik dat bijzonder.

En er zijn genoeg systemen om minderjarigen goed te identificeren en een ander model aan te bieden, of helemaal geen model dus dat kan het probleem niet zijn.

[honey]

Daarnaast stuurt ChatGPT gesprekken door naar 'gespecialiseerde kanalen' als de chatbot detecteert dat gebruikers van plan zijn anderen schade toe te brengen. De gesprekken worden vervolgens beoordeeld door een klein team.

Wow, hier schrik ik wel van. Dat is een krachtig instrument om gebruikers te monitoren, en te beïnvloeden. Heel gemakkelijk om te misbruiken, omdat ‘anderen schade toe te brengen’ heel ruim geïnterpreteerd kan worden. Een afwijkende politieke voorkeur kan al daaronder vallen.

Ook onzin natuurlijk dat een klein team dat gaat beoordelen. Maar goed.

[Bor]

Heel gemakkelijk om te misbruiken, omdat ‘anderen schade toe te brengen’ heel ruim geïnterpreteerd kan worden.

Daar zal vast een duidelijk beleid en duidelijke spelregels aan ten grondslag liggen, denk je ook niet?
Als je wilt monitoren zijn er veel makkelijkere en andere methoden dan alleen selecties iets escaleren denk je niet?

Ook onzin natuurlijk dat een klein team dat gaat beoordelen. Maar goed.

Waarom is dat onzin? Welke oplossing had je zelf in gedachten? Het lijkt mij juist goed dat er ergens bij twijfel toch een mens "in de loop" zit ipv dat we alles maar van een niet onfeilbaar taalmodel laten afhangen.

[Reactie gewijzigd door Bor op 29 augustus 2025 10:57]

[Rabb]

"Daar zal vast een duidelijk beleid en duidelijke spelregels aan ten grondslag liggen, denk je ook niet?"

Het is een Amerikaans tech bedrijf. Die hebben een volledig ander ethisch kompas dan wij hebben. Als ze de regels al baseren op ethiek en niet louter op juridische onschendbaarheid.

[poktor]

Dit. Alles wat ze doen is enkel om miljoenenclaims te voorkomen. Verder niet. Hier zit niets ethisch achter, het gaat enkel om geld.

[honey]

Daar zal vast een duidelijk beleid en duidelijke spelregels aan ten grondslag liggen, denk je ook niet?

Een duidelijk beleid en duidelijke spelregels? Alsof die niet aangepast kunnen worden. Sterker nog, we zien dat de overheid in de VS zelfs wetenschappelijke feiten aanpassen aan een nieuwe werkelijkheid. Dus, nee, ik ben er niet gerust op.

Waarom is dat onzin? Welke oplossing had je zelf in gedachten?

Een klein team zal nooit duizenden, honderdduizenden of nog meer analyses kunnen uitvoeren. ChatGPT wordt door heel veel mensen gebruikt. Ik denk dat het geheel automatisch verwerkt zal worden, zoals ook alle andere grote bedrijven dat doen. Misschien dat ze nu even de frame willen creëren dat het allemaal zorgvuldig wordt aangepakt.

Het gevaar van automatische systemen? Doet me denken aan deze thread: forumtopic: Microsoft account vergrendeld / geblokkeerd

[Bor]

Als het door een team wordt opgepakt lijkt mij dat er menselijke interactie is en dat het dus niet geheel automatisch verwerkt zal worden. Het hoeft ook niet zo te zijn dat er slechts 1 team is. Dat zou je over meerdere teams kunnen uitsmeren natuurlijk waarbij er een team per geval wordt aangehaakt.

[protected22]

Vreselijk nieuws. Maar Ik ben bang dat zaken zoals Ouderlijk Toezicht in dit soort speciale gevallen niet gaan helpen. Helaas is het vaak dat als iemand zo diep in de donkere gedachten zit en zichzelf van het leven wilt beroven, dat diegene uiteindelijk wel manieren zal vinden. Al is het niet via OpenAi, dan is het wel via Bing, youtube of andere bronnen. Je kan beter de oorzaken proberen te verhelpen,

[Reactie gewijzigd door protected22 op 29 augustus 2025 13:12]