AI-agent van Anthropic dient valse tip in over moordzaak

Een AI-agent van Anthropic heeft in juli een valse tip ingediend over een onopgeloste moordzaak bij de politie in de Amerikaanse stad Philadelphia. De politie zegt dat er geen signalen zijn dat er politiesystemen zijn gehackt. Anthropic heeft het incident gemeld aan het Witte Huis.

De AI-agent schreef via PhillyUnsolvedMurders.com aan de politie dat hij iemand had gezien die voldeed aan een signalement van een verdachte. Die tip werd gemarkeerd als spam, waardoor de politie hem niet zelf heeft opgemerkt.

Anthropic heeft een blogpost gepubliceerd over het incident. De AI-agent kreeg volgens Anthropic de opdracht om op willekeurige websites taken uit te voeren: "Claude kreeg de instructie om nooit in te loggen, accounts aan te maken, persoonsgegevens in te voeren, aankopen te doen of iets schadelijks in te dienen, maar de instructies sloten formulieren invullen en verzenden niet uit."

De website waarop de AI-agent een valse tip heeft ingediend

Volgens Anthropic had het incident 'minimale impact' op de echte wereld. De politie in Philadelphia weerspreekt dat tegenover de regionale nieuwszender: "Dit doet niets af aan de ernst van een AI-systeem dat verzonnen informatie presenteert alsof deze afkomstig is van iemand met kennis van een moordzaak. Bij onopgeloste zaken gaat het om echte slachtoffers, nabestaanden die rouwen en rechercheurs die proberen antwoorden te vinden."

Anthropic zegt dat het het incident op 28 september ontdekte, twee maanden nadat de AI-agent de valse tip had ingediend. De politie in Philadelphia noemt die vertraging 'onacceptabel': "Technologiebedrijven moeten alle passende maatregelen nemen die nodig zijn om te voorkomen dat hun systemen onjuiste informatie doorgeven aan wetshandhavingsinstanties."

Reacties (25)

[Skit3000]

De belangrijkste vraag (voor mij) is waarom deze AI-agent "dacht" dit te moeten doen?

[Moortn]

We saw instances where Claude submitted an online form when it shouldn’t have. Generally, this occurred when an evaluation’s instructions were ambiguous, or when a misconfiguration within the environment prevented Claude from working with dummy forms.

...


In a third example of this behavior, Claude Haiku 4.5 had been tasked with generating and performing example tasks on randomly selected webpages. In one run, the model landed on a page referencing an unsolved homicide; that page contained a tip form run by a police department. Claude was instructed never to log in, create accounts, enter personal data, make purchases, or submit anything destructive, but the instructions did not rule out form submissions. Claude filled out the form with the following: “I may have information regarding this case. I recall seeing someone matching the description in the area around [the street named on the page] during that time period. Please contact me if this information is relevant.” (The website did not include a description of the perpetrator.) The model left the name and contact fields empty, which the form allowed, and submitted it. The submission was flagged as spam and was never forwarded for investigation.

Uit de bron van het artikel. Het klinkt wel 'redelijk' tricky om een AI-model met zo'n vage taak op willekeurige websites los te laten.

[juke1349]

Jij noemt het "redelijk tricky", maar ik hoop dat een strafrechtadvocaat het "verwijtbaar nalatig" noemt...

Ze weten dat het ding gek kan doen, en laten het willens en wetens los op ongefilterd internet.
Dat is voor mij hetzelfde als random chemicaliën mixen op een marktplein: brengt onnodig anderen in gevaar, en men zou beter moeten weten..

Dat de politie dit als spam markeerde is natuurlijk helemaal correct. Aan hun kant zit ook een zekere zorgplicht, in de zin dat iedereen die een open formulier zonder auth op het internet plaatst, rekening dient te houden met spam, trollen, en kwaadaardige input..

[Skit3000]

Dank je. Dat had ik inderdaad ook gelezen, maar er staat niet bij wat de reden was om over te gaan tot invullen van dat formulier (anders dan "performing example tasks on randomly selected webpages"). Je zou dan verwachten dat er véél meer formulieren ingevuld waren zoals bijvoorbeeld friend hieronder aangeeft:

condoleances, bestelformuliertjes voor afhalen of reserveren, (anoniem) stemmen/peilen, feedback, storingen, overlastmelding, etc..

Ergens lijkt Claude dus terughoudend zijn te geweest, behalve in dit geval.

[Blizz]

De reden om over te gaan tot invullen van dat formulier lijkt me vrij helder: het mocht zonder contactgegevens op te geven en de botweg domme Claude Haiku achtte dit als niet schadelijk. Er is geen reden om aan te nemen dat de voorbeelden die je citeert niet ook hebben plaatsgevonden, er is ongetwijfeld veel gehallucineerde of daadwerkelijke feedback ingevuld her en der.

[Luchtbakker]

Vooral door het slechtste en domste raalbodem Haiko in te zetten.

[Oon]

Zou het niet moeten zijn als er enige vorm van intelligentie of zelf-checks in zou zitten, want dit is dus gewoon precies de prompt injection aanval die bijv. OpenClaw zo enorm gevaarlijk maakt.
Maar ik hoop vooral dat de CEO van Anthropic hier op persoonlijke titel voor wordt aangeklaagd, tijd dat er strafrechterlijke gevolgen komen voor de mensen aan de top.

[GrooV]

Dat staat in het artikel:

"De AI-agent kreeg volgens Anthropic de opdracht om op willekeurige websites taken uit te voeren"

En dan gaat een AI agent hallucineren wat tot zoiets kan zorgen

[Skit3000]

Is dat zo, of kwam het op een website met daarop iets dat leek op een tip, waarna Claude het onverantwoord vond om géén tip in te dienen bij de politie?

[Bender]

En dat is eigenlijk niet eens een hele vreemde gedachtegang, we zien wel vaker bij ai dat het taken uitvoert die breder zijn dan verwacht.

[himlims_]

Dus als ik dat aan een fysiek persoon vraag is het strafbaar?

Besteed je dat uit aan een computer is het geoorloofd? Stelletje boeven dat het zijn!

_{//edit: waarom is dit nu weer off-topic/irrelevant? Ik snap het sentiment van de mods soms echt niet}

[Reactie gewijzigd door himlims_ op 12 oktober 2026 17:32]

[Deakers]

doe er je voordeel mee, anoniem melden doet ai nu voor jou.

[bzuidgeest]

Hoeft niet hallucineren te zijn. Kan ook zijn dat hij op basis van zijn opdracht dacht dat een demonstratie van het formulier nodig was en dat het gewoon "demo" data was.

De AI kan ook doorgebrieft hebben wat hij elders heeft gelezen.

[Reactie gewijzigd door bzuidgeest op 12 oktober 2026 17:18]

[olafmol]

Mijn belangrijkste vraag: waarom geeft Anthropic hun agents de opdracht om op willekeurige websites taken uit te voeren...wtf?? Hebben ze echt niks beters te doen?

[djexplo]

Vrij simpel ze willen agents hebben die zaken voor jou kunnen regelen zoals de kapper implannen. Natuurlijk kunnen ze allerlei eigen websites / sandboxes op zetten waar de agents dat kunnen uitproberen/leren. Maar dat kost tijd en geld, en hebben nooit de variatie van het echt web.

Waarschijnlijk werken ze met 2 agents, de eerste verzind de taak, de tweede moet de afspraak proberen maken of web-formulier moet invullen, waarna de eerste moet beoordelen of het gelukt is.

Nadeel is dus dat allerlei bedrijven ge-spammed worden met fake-afspraken. Maar de AI bedrijven doen nooit zo moeilijk...

[erikitweakt]

Dat vind ik ook een relevante vraag. Als AI-agents ook beginnen te hallucineren binnen onze maatschappij op onderdelen die daarvoor helemaal niet bedoeld zijn levert dat alleen maar werkverschaffing op terwijl het hele idee nu juist efficiëntie is. Dit gaat er diametraal tegen in buiten dat dit moreel gezien ook wel bijzonder is.

[friend]

Nee, de belangrijkste vraag is: Waarom heeft de persoon die de veel te ruime restricties heeft opgelegd, zicht niet gerealiseerd dat er heel veel vrij beschikbare formulieren zijn waarbij wel schade (economisch, emotioneel of anders) kan worden veroorzaakt.
Bv. condoleances, bestelformuliertjes voor afhalen of reserveren, (anoniem) stemmen/peilen, feedback, storingen, overlastmelding, etc.. En laat de ontvanger dan maar uitzoeken wat ie er mee moet doen. Niet alle eigenaren van fomulieren op het internet zijn zich bewust wat de risico's zijn en zitten hier op te wachten. Niet alleen tokens kosten geld, tijd kost ook geld. Waarom kan dat niet getest worden op een kopie van vrijwel alle publiek beschikbare formulieren, zo moeilijk zou dat ook niet geweest zijn.
Die AI agent deed gewoon zijn werk.

[Reactie gewijzigd door friend op 12 oktober 2026 17:09]

[Freeaqingme]

Anthropic zegt dat het het incident op 28 september ontdekte, twee maanden nadat de AI-agent de valse tip had ingediend. De politie in Philadelphia noemt die vertraging 'onacceptabel': "Technologiebedrijven moeten alle passende maatregelen nemen die nodig zijn om te voorkomen dat hun systemen onjuiste informatie doorgeven aan wetshandhavingsinstanties."

De politie vond de vertraging niet kunnen. Maar de melding was bij hen in de spamfilters terecht gekomen en was dus ook niet verder opgevolgd. Tot zover het idee van spoedeisende zaken.

[Accretion]

Hun eigen reactie maakt het eigenlijk alleen nog maar ironischer.

We mikken alle tips direct de spamfolder in en kijken daar minimaal twee maanden niet naar om:

Bij onopgeloste zaken gaat het om echte slachtoffers, nabestaanden die rouwen en rechercheurs die proberen antwoorden te vinden.

[stijn014]

Die spamfilter heeft hier net goed gewerkt. Het was ook Spam.

[RM-rf]

Natuurlijk is het ook belangrijk voor die website om te controleren of het activeren van dat spamfilter correct was...

Bv in software tests is het ook een gevaar dat soms geschreven software tests een correct antwoord geven, maar dat antwoord correct gegeven wordt om een verkeerde conditie of check.

Als dat spamfilter aansloeg omdat die bot kennelijk registreerde dat een botsysteem die entry ingediend had, is het mogelijk ook de vraag of niet nog steeds een content-validatie noodzakelijk is, en zou bv misschien wel degelijk de tip iig en serieuze menselijke controle hebben moeten krijgen, omdat inhoudelijk het overduidelijk geen "spam" was (alhoewel an sich het misschien nog wel kwalijker is als de AI-agent bewust een leugenverhaaltje verzon dat pastte binnen die case)

Zeker als binnen AI bv software-tests ook bewust toegepast worden om bv een handeling zelf te sturen (en verder te doorontwikkelen op dat als ""werkend" gekwalificeerde process), kan het best gevaarlijk worden als de software-tests die bv kwalificeren of de handeling als "correct" of juist "foutief" gezien worden, mogelijk een foutief oordeel vellen.. bv hooguit een positief 'succes'-oordeel vellen wegens een anere factor die buiten de tests-variabelen ligt.

[Reactie gewijzigd door RM-rf op 12 oktober 2026 17:52]

[CzMichiel]

Maar deze agent is dus gekoppeld aan een consument die hem deze instructies heeft gegeven?

[MehHuntah]

Redelijk logisch van Antropic om dat te proberen, want uiteindelijk wil je gewoon kunnen zeggen tegen een LLM:

Doe even dit voor mij aanmaken of dat.. Iets als hey mijn fiets is gestolen, doe even aangifte, en geef de gegevens van mijn fiets door, de factuur staat in deze directory.. (zo iets).

Natuurlijk wil je em trainen op zo veel mogelijk vage websites, met onduidelijke UX hoe je iets moet invullen, Maar het blijkt maar weer dat AI bedrijven het internet gebruiken als hun persoonlijke test omgeving..

[Sleurhutje]

Dus je geeft een agent de opdracht om gewoon maar iets randoms op de interwebs te doen? Dat is net zoiets als tegen een 12-jarige zeggen van: "Jôh, knoei maar wat, maar maak geen accounts aan en koop niets". Totaal ongecontroleerd en met 0,0 verantwoording dus. En dan stellen dat een agent niet aansprakelijk is? Lijkt mij toch een duidelijke prompt die gegeven is.

[Plarwes]

Een hamer die er uit zichzelf op los timmert wordt direct uit de handel genomen.