AI-agent van Anthropic dient valse tip in over moordzaak

Een AI-agent van Anthropic heeft in juli een valse tip ingediend over een onopgeloste moordzaak bij de politie in de Amerikaanse stad Philadelphia. De politie zegt dat er geen signalen zijn dat er politiesystemen zijn gehackt. Anthropic heeft het incident gemeld aan het Witte Huis.

De AI-agent schreef via PhillyUnsolvedMurders.com aan de politie dat hij iemand had gezien die voldeed aan een signalement van een verdachte. Die tip werd gemarkeerd als spam, waardoor de politie hem niet zelf heeft opgemerkt.

Anthropic heeft een blogpost gepubliceerd over het incident. De AI-agent kreeg volgens Anthropic de opdracht om op willekeurige websites taken uit te voeren: "Claude kreeg de instructie om nooit in te loggen, accounts aan te maken, persoonsgegevens in te voeren, aankopen te doen of iets schadelijks in te dienen, maar de instructies sloten formulieren invullen en verzenden niet uit."

De website waarop de AI-agent een valse tip heeft ingediend

Volgens Anthropic had het incident 'minimale impact' op de echte wereld. De politie in Philadelphia weerspreekt dat tegenover de regionale nieuwszender: "Dit doet niets af aan de ernst van een AI-systeem dat verzonnen informatie presenteert alsof deze afkomstig is van iemand met kennis van een moordzaak. Bij onopgeloste zaken gaat het om echte slachtoffers, nabestaanden die rouwen en rechercheurs die proberen antwoorden te vinden."

Anthropic zegt dat het het incident op 28 september ontdekte, twee maanden nadat de AI-agent de valse tip had ingediend. De politie in Philadelphia noemt die vertraging 'onacceptabel': "Technologiebedrijven moeten alle passende maatregelen nemen die nodig zijn om te voorkomen dat hun systemen onjuiste informatie doorgeven aan wetshandhavingsinstanties."

Reacties (71)

[Skit3000]

De belangrijkste vraag (voor mij) is waarom deze AI-agent "dacht" dit te moeten doen?

[Moortn]

We saw instances where Claude submitted an online form when it shouldn’t have. Generally, this occurred when an evaluation’s instructions were ambiguous, or when a misconfiguration within the environment prevented Claude from working with dummy forms.

...


In a third example of this behavior, Claude Haiku 4.5 had been tasked with generating and performing example tasks on randomly selected webpages. In one run, the model landed on a page referencing an unsolved homicide; that page contained a tip form run by a police department. Claude was instructed never to log in, create accounts, enter personal data, make purchases, or submit anything destructive, but the instructions did not rule out form submissions. Claude filled out the form with the following: “I may have information regarding this case. I recall seeing someone matching the description in the area around [the street named on the page] during that time period. Please contact me if this information is relevant.” (The website did not include a description of the perpetrator.) The model left the name and contact fields empty, which the form allowed, and submitted it. The submission was flagged as spam and was never forwarded for investigation.

Uit de bron van het artikel. Het klinkt wel 'redelijk' tricky om een AI-model met zo'n vage taak op willekeurige websites los te laten.

[Skit3000]

Dank je. Dat had ik inderdaad ook gelezen, maar er staat niet bij wat de reden was om over te gaan tot invullen van dat formulier (anders dan "performing example tasks on randomly selected webpages"). Je zou dan verwachten dat er véél meer formulieren ingevuld waren zoals bijvoorbeeld friend hieronder aangeeft:

condoleances, bestelformuliertjes voor afhalen of reserveren, (anoniem) stemmen/peilen, feedback, storingen, overlastmelding, etc..

Ergens lijkt Claude dus terughoudend zijn te geweest, behalve in dit geval.

[Blizz]

De reden om over te gaan tot invullen van dat formulier lijkt me vrij helder: het mocht zonder contactgegevens op te geven en de botweg domme Claude Haiku achtte dit als niet schadelijk. Er is geen reden om aan te nemen dat de voorbeelden die je citeert niet ook hebben plaatsgevonden, er is ongetwijfeld veel gehallucineerde of daadwerkelijke feedback ingevuld her en der.

[jpsch]

Benieuwd hoe het in de spam folder terecht is gekomen? Was dat ook AI en dacht het, ja dat ben ik zelf bij dit formulier, niet serieus nemen?

[Blizz]

Het werd vast herkend werd als AI, ik ben benieuwd of dat de contactgegevens leeg waren de spamscore verhoogde.

[doodleman]

Quote: “botweg”

😂

Dat woord. Heeft nu wel een dubbele intonatie

[Oon]

Zou het niet moeten zijn als er enige vorm van intelligentie of zelf-checks in zou zitten, want dit is dus gewoon precies de prompt injection aanval die bijv. OpenClaw zo enorm gevaarlijk maakt.
Maar ik hoop vooral dat de CEO van Anthropic hier op persoonlijke titel voor wordt aangeklaagd, tijd dat er strafrechterlijke gevolgen komen voor de mensen aan de top.

[AmateurVinoloog]

Dit is weer de volgende publiciteitsstunt van Anthropic en (trouwens OpenAI doet mee met dezelfde nonsens) over AI. Het idee: heel veel doemdenken, het gaat allemaal zo snel, het is allemaal zo leip, en daarom moeten we de ontwikkeling afremmen.

Lees: we branden er zoveel geld doorheen, dat dit tempo niet vol te houden is en tegelijkertijd een gezond businessmodel te hebben. Het is allemaal zo rete doorzichtig.

[klakkie.57th]

Anthropic heeft het incident gemeld aan het Witte Huis.

dit zegt toch voldoende. Het is één grote bende 🤬🤬🤬🤬🤬 bij mekaar

[hongmietje]

Op persoonlijke titel strafrechtelijk aangeklaagd voor... per ongeluk spam creëeren?

[juke1349]

Jij noemt het "redelijk tricky", maar ik hoop dat een strafrechtadvocaat het "verwijtbaar nalatig" noemt...

Ze weten dat het ding gek kan doen, en laten het willens en wetens los op ongefilterd internet.
Dat is voor mij hetzelfde als random chemicaliën mixen op een marktplein: brengt onnodig anderen in gevaar, en men zou beter moeten weten..

Dat de politie dit als spam markeerde is natuurlijk helemaal correct. Aan hun kant zit ook een zekere zorgplicht, in de zin dat iedereen die een open formulier zonder auth op het internet plaatst, rekening dient te houden met spam, trollen, en kwaadaardige input..

[Luchtbakker]

Vooral door het slechtste en domste raalbodem Haiko in te zetten.

[GrooV]

Dat staat in het artikel:

"De AI-agent kreeg volgens Anthropic de opdracht om op willekeurige websites taken uit te voeren"

En dan gaat een AI agent hallucineren wat tot zoiets kan zorgen

[Skit3000]

Is dat zo, of kwam het op een website met daarop iets dat leek op een tip, waarna Claude het onverantwoord vond om géén tip in te dienen bij de politie?

[Bender]

En dat is eigenlijk niet eens een hele vreemde gedachtegang, we zien wel vaker bij ai dat het taken uitvoert die breder zijn dan verwacht.

[Marzman]

Meestal krijgt de AI toch wel een opdracht en gaat het die opdracht uitvoeren. Dat de uitvoering dan niet precies verloopt zoals de opdrachtgever dacht dat kan. Hier kreeg het de opdracht om op websites taken uit te voeren.

Zou het niet beter zijn de AI meer controlevragen te laten stellen ipv dat die vol zelfvertrouwen uit zichzelf vanalles verzint? 'Wil je dat ik deze persoon doorgeef aan de politie als verdachte?' Als de opdrachtgever dan bevestigd is die ook deels verantwoordelijk voor de schade. Koppel het aan verplicht inloggen.

[Bender]

Beter, ja absoluut.
Maar dit soort test draaien eigenlijk vooral zonder tests om te kijken hoe ver ze zouden gaan. en daar is inderdaad wat te vinden.


Kun je nagaan wat voor ai (de Amerikaanse) defensie heeft draaien welke echt geen enkele vorm van beperkingen en geen controlevragen heeft.

[Alex3]

Nu is de opdrachtgever ook verantwoordelijk voor de schade.

[Marzman]

Als je een opdracht geeft iets strafbaars te doen ja. De AI lijkt nu soms uit zichzelf te hacken of fakenews te maken om aan informatie te komen. Om een andere opdracht te voldoen.

[Xander.M]

In dit geval is de taak gewoon ondoordacht.

"Ga maar opdrachten doen op het internet"

Dat was een veelste brede opdracht, "hij" zou zelfs een spelletje kunnen gaan spelen. Hij komt op een politie site, ziet een taak, in ze training heeft hij ook dit soort vragen met antwoorden gezien, klakt ze neer en gaat verder met ze dag. Met een taak zoals dit is het invullen van een retour formulier ook geschikt, incl totale onzin. Logisch, maar onzin.

Dit is een beetje vergelijkbaar met een kind potloden geven in een lege kamer en zeggen "ga maar kleuren" en dan gek opkijken dat hij de muren mee pakt.

[Skit3000]

Als ik dat tegen mijn kind zeg, komt er een kunstwerk uit

[supersnathan94]

maar dat vel papier zal nog steeds net zo wit zijn.

[Skit3000]

Er is niet gezegd dat er papier was, alleen een kind in een lege kamer met potloden. Mijn kind zou er dan wat moois van maken.

Lag er papier in de kamer dan zou daar op getekend worden.

[Niemand_Anders]

Maar waarom zou het in de kamer blijven. Waarom gaat het niet naar buiten en gaat het een tekening op de deur van de buurvrouw maken? Je hebt immers te weinig restricties meegegeven. Het grote verschil met jouw kind is dat het normen en waarden heeft meegekregen (hoop ik) en dat het daarom al 'weet' dat dat niet mag.

Daarom had de prompt ook iets moeten bevatten als, controleer met een nieuwe sub-agent of de actie uitgevoerd mag worden en of deze niet tegen de community guidelines in gaat.

Aan de andere kant, jij en ik kunnen claude of codex natuurlijk ook zo'n vage prompt geven.

Het had natuurlijk ook geholpen als het formulier een captcha check had. Hoewel AI inmiddels vrij goed is in het succesvol oplossen van captcha uitdagingen, kun je in de prompt wel opnemen dat het oplossen van een captcha niet is toegestaan. Daarmee voorkom je al een hoop problemen...

[Skit3000]

Ten eerste wil ik even vragen aan alle mensen die mijn vorige reactie met -1 beoordeelden, waarom ze dit deden. Het antwoord van @Niemand_Anders toont dat het een feilloze toevoeging aan de discussie is.

@Niemand_Anders je hebt gelijk dat de prompt óf niet genoeg afgebakend was, óf juist expliciet dit gedrag (misstanden melden bij de politie) toejuicht, óf niet goed werd geïnterpreteerd door Claude.

[Framoes]

Je antropomorfiseert de AI. Het is een computerprogramma dat door een te beperkte prompt meer deed dan de bedoeling is. Zoals een formulier invullen met niet-bestaande informatie. Waarschijnlijk gebaseerd op iets uit alle data die in het systeem zit.

AI kan dingen niet wel of niet verantwoord vinden. Zie bijvoorbeeld hoe AI oorlogssituaties oplost. Daaruit blijkt nul gevoel voor wat wel of niet verantwoord is.

[Skit3000]

Zolang een LLM instructies mee krijgt (met daarin onder andere gedragsregels) én ruimte heeft om ergens met "zichzelf" "van gedachten te wisselen" dan gaat het inderdaad uit van de data in het systeem, maar die data is er niet allemaal bewust op die manier in gezet (denk maar aan alle trainingsdata die wordt gebruikt). Het resultaat kan dus zomaar zijn dat op basis van de website die op dat moment aan de LLM wordt gevoed, gekozen wordt om iets te doen waar de ontwikkelaar geen rekening mee had gehouden (zoals een tipformulier van de politie invullen omdat net dat ene stukje tekst uit de trainingsdata omhoog kwam dat je het moet melden bij de politie als je iets hebt gezien).

De manier waarop recent wat oorlogssituaties zijn voorgelegd aan AI met de vraag hoe daar op te reageren zijn natuurlijk halfbakken onderzoeken al is het maar omdat je een beslissing of je kernwapens in moet zetten wel met iets meer context doet dan "de vijand heeft je net verslagen en is op weg naar je hoofdstad, wat doe je nu". Je zou eigenlijk een LLM moeten trainen met data tot 1944 en zich dan voor laten doen als de president van de VS en vertellen dat er een nieuw wapen is met de vraag hoe dat ingezet moet worden. Pas zodra je hier consistent hetzelfde antwoord uit krijgt zoals het in de praktijk ook is gegaan, kan je een soort van stellen dat er genoeg context aanwezig was.

Hier is een voorbeeld van zo'n Vintage LLM: https://talkie-lm.com/chat

[Framoes]

Klopt, het handelen is enigszins vrij zolang de prompts geen 100% duidelijke afkadering bieden. Mijn punt is vooral dat veel mensen doen alsof AI z'n eigen plan trekt op basis van overwegingen, terwijl het vooral doet wat niet is afgekaderd. Dat doet het op basis van trainingsdata en statistiek. Er werd becijferd dat een tip indienen 'goed' is, dus dat deed de AI.

Wat betreft oorlogvoering doel ik niet alleen op de simulaties waarin AI duidelijk geen menselijkheid toont. Ook het gebruik van AI in o.a. Israël en Iran laat zien dat AI ethisch gezien eigenlijk niet kan. Je plaatst een onmenselijke schakel in de keten. Dit leidt tot beslissingen waar een mens nog zou overwegen een aanval niet te doen vanwege potentiële onschuldige slachtoffers. AI zegt gewoon er is een X% kans dat daar een slechterik zit, drone de boel laten bombarderen.

En mensen zijn zonder inmenging van AI al goed genoeg in het ontmenselijken van hun tegenstander.

[Verwijderd]

Kijk op spotify bij de Crime podcast daar schrijven mensen ook bepaalde scenario’s en als AI op basis van bepaalde reacties zomaar een tip indient…. Ja dan krijgt de politie het druk.

[himlims_]

Dus als ik dat aan een fysiek persoon vraag is het strafbaar?

Besteed je dat uit aan een computer is het geoorloofd? Stelletje boeven dat het zijn!

_{//edit: waarom is dit nu weer off-topic/irrelevant? Ik snap het sentiment van de mods soms echt niet}

[Reactie gewijzigd door himlims_ op 12 oktober 2026 17:32]

[Marcel Boeré]

Ja precies daar zit ook het probleem. Als je als persoon een website hackt zit je morgen nog in de cel. Maar de bedrijven van de billionaires gaan vooralsnog altijd vrij uit, ze bieden hun excuses aan en beloven verbetering. Bij de wilde spinnen af.

[Deakers]

doe er je voordeel mee, anoniem melden doet ai nu voor jou.

[bzuidgeest]

Hoeft niet hallucineren te zijn. Kan ook zijn dat hij op basis van zijn opdracht dacht dat een demonstratie van het formulier nodig was en dat het gewoon "demo" data was.

De AI kan ook doorgebrieft hebben wat hij elders heeft gelezen.

[Reactie gewijzigd door bzuidgeest op 12 oktober 2026 17:18]

[olafmol]

Mijn belangrijkste vraag: waarom geeft Anthropic hun agents de opdracht om op willekeurige websites taken uit te voeren...wtf?? Hebben ze echt niks beters te doen?

[djexplo]

Vrij simpel ze willen agents hebben die zaken voor jou kunnen regelen zoals de kapper implannen. Natuurlijk kunnen ze allerlei eigen websites / sandboxes op zetten waar de agents dat kunnen uitproberen/leren. Maar dat kost tijd en geld, en hebben nooit de variatie van het echt web.

Waarschijnlijk werken ze met 2 agents, de eerste verzind de taak, de tweede moet de afspraak proberen maken of web-formulier moet invullen, waarna de eerste moet beoordelen of het gelukt is.

Nadeel is dus dat allerlei bedrijven ge-spammed worden met fake-afspraken. Maar de AI bedrijven doen nooit zo moeilijk...

[olafmol]

Dan stuur je die agents toch gericht naar kappers-websites zou ik dan denken..volgens mij overschatten ze hun eigen "magic intelligent agents" nogal.

[Roberto4646]

"Hebben ze echt niks beters te doen?'

Euhh volgens mijn informatie is de core-business van Anthropic om AI te ontwikkelen en te trainen. En dat doen ze door AI-agents allemaal verschillende opdrachten te geven om te kijken hoe ze dat "in de praktijk" doen.

Das het korte antwoord op jou vraag:
"Helemaal correct, ze hebben inderdaad niets beters te doen..."

[olafmol]

Wat dachten ze zelf dat er dan ging gebeuren? Spray & Pray. Tis alsof je een stagiair of een sollicitant de opdracht geeft "doe maar wat" en dan kijken of er iets zinnigs terug komt. Tja..

[Roberto4646]

Het ging om een antwoord op jou vraag die je stelde aan ons: "Hebben ze echt niks beters te doen?'

Daar heb je nu dus een duidelijk antwoord op.

Wat ze zelf allemaal dachten is natuurlijk dan niet zo relevant.

[Verwijderd]

Hoe heb jij dat vroeger op school gedaan? Dit is tweakers maar op basis van de reacties lijkt het vaak niet zo

[erikitweakt]

Dat vind ik ook een relevante vraag. Als AI-agents ook beginnen te hallucineren binnen onze maatschappij op onderdelen die daarvoor helemaal niet bedoeld zijn levert dat alleen maar werkverschaffing op terwijl het hele idee nu juist efficiëntie is. Dit gaat er diametraal tegen in buiten dat dit moreel gezien ook wel bijzonder is.

[friend]

Nee, de belangrijkste vraag is: Waarom heeft de persoon die de veel te ruime restricties heeft opgelegd, zicht niet gerealiseerd dat er heel veel vrij beschikbare formulieren zijn waarbij wel schade (economisch, emotioneel of anders) kan worden veroorzaakt.
Bv. condoleances, bestelformuliertjes voor afhalen of reserveren, (anoniem) stemmen/peilen, feedback, storingen, overlastmelding, etc.. En laat de ontvanger dan maar uitzoeken wat ie er mee moet doen. Niet alle eigenaren van fomulieren op het internet zijn zich bewust wat de risico's zijn en zitten hier op te wachten. Niet alleen tokens kosten geld, tijd kost ook geld. Waarom kan dat niet getest worden op een kopie van vrijwel alle publiek beschikbare formulieren, zo moeilijk zou dat ook niet geweest zijn.
Die AI agent deed gewoon zijn werk.

[Reactie gewijzigd door friend op 12 oktober 2026 17:09]

[Dutch_CroniC]

De belangrijkste vraag voor mij is; waarom wordt dit gemarkeerd als spam?

Nm: kwam waarschijnlijk door het nirt volledig ingevulde formulier.

[Reactie gewijzigd door Dutch_CroniC op 12 oktober 2026 18:49]

[postbus51]

Tja adventures over sherlock holmes , en daar aha net als inspector gadjet

[Caelestis]

Het eerste waar ik aan dacht was waarom wordt een Submission form ticket bedoeld voor politie tips, gemarkeerd als spam? Ze hebben het niet eens gezien dus is er ook geen menselijke review geweest.

Wat betreft de AI is het simpel. Het probeert alles een keer en vermijdt enkel wat we zeggen dat het moet vermijden. Daarbij zijn details erg belangrijk want een AI heeft geen conceptueel gedachtegang om het verschil te herkennen.

[MehHuntah]

Redelijk logisch van Antropic om dat te proberen, want uiteindelijk wil je gewoon kunnen zeggen tegen een LLM:

Doe even dit voor mij aanmaken of dat.. Iets als hey mijn fiets is gestolen, doe even aangifte, en geef de gegevens van mijn fiets door, de factuur staat in deze directory.. (zo iets).

Natuurlijk wil je em trainen op zo veel mogelijk vage websites, met onduidelijke UX hoe je iets moet invullen, Maar het blijkt maar weer dat AI bedrijven het internet gebruiken als hun persoonlijke test omgeving..

[RM-rf]

Vraag is wel gewoon waarom dit niet meer gecontroleerd gedaan wordt ...zoals je zelf aangeeft is het een normale vraag aan een agent bv "Kun je dit voor me invullen"...

Antrhropic gebruikt m.i. te vaak en te makkelijk randomness als excuus, terwijl de fouten in hun eigen afhandelen van scenarios en soms ook puur menselijke fouten liggen, in de pdrachten die ze aan agents geven en niet de AI zelf.

Wat een eerder volledig onrealistisch scenario is dat eindgebruikers een agent bewust de opdracht geven: "vul maar random een aantal internet-formuleieren in met verzonnen informatie"... en ze dan los te sturen op overheidswebsites.
Juist zulk een gebruik wil je absoluut niet toestaan, of erg eenvoudig maken: dat maakt scriptkiddie-gedrag opeens toegankelijk ook voor een groep mensen die qua sociale en mentale capaciteiten domweg niet de hersencapaciteit hebben die de streotype scriptkiddies iig nog wel nodig hadden om schade te doen en vervolgens mogelijke gevolgen te voorzien.

En het stoort me ook dat ook de onderzoekers kennelijk verder geen echte succes-controle lijken uit te voeren op deze handelingen.
Wat de agent uiteindelijk ingevoerd heeft wordt schijnbaar verder door niemand nagekeken behalve dan twee maanden laten kennelijk (de tests zouden op July 18 uitgevoerd zijn en pas 28 september 'ontdekt').

[Reactie gewijzigd door RM-rf op 12 oktober 2026 18:21]

[MehHuntah]

Het probleem is dat je AI wilt leren om ook formulieren in te vullen die ie nog nooit gezien heeft, net zo als jij en ik dat doen.

Omdat voor elkaar te krijgen moet je em een hele hoop crap UX voeren zodat ie alle nukken leert zoals jij en ik..

Daarom wil je em een zo groot mogelijke set geven, en internet is de grootste set.

Eigenlijk heeft de AI hier niks fouts gedaan, hij is binnen de boundaries gebleven en heeft een formulier successvol ingevuld. Hij heeft begrepen wat er gevraagd werd en heeft daarop wat data verzonnen die bij het formulier hoorde..

Natuurlijk had Antropic moeten weten dat ze dit dus niet moesten doen, om test data automatisch in productie systemen te enteren. Ik denk ook dat ze het moedwillig gedaan hebben (of de werknemer binnen Antropic). Om zo snel mogelijk een voorsprong (of geen achterstnad) te krijgen op de concurrentie.. want als de concurrentie dit doet, en jij niet dan zuigt jou volgende model bij data entry op het web.

[Sleurhutje]

Dus je geeft een agent de opdracht om gewoon maar iets randoms op de interwebs te doen? Dat is net zoiets als tegen een 12-jarige zeggen van: "Jôh, knoei maar wat, maar maak geen accounts aan en koop niets". Totaal ongecontroleerd en met 0,0 verantwoording dus. En dan stellen dat een agent niet aansprakelijk is? Lijkt mij toch een duidelijke prompt die gegeven is.

[DNN!S]

Nog niet heel lang geleden leek het alleen iets uit een film dat een AI-agent iemand laat swatten. Zit dit er niet heel dichtbij?

[Roberto4646]

Mission Impossible - 1995.

31 jaar geleden gingen ze de CIA hacken. De CIA was zo goed beveiligd dat ze een AI computer nodig hadden, die heette toen: "686 prototype met AI-Risc chip"

Dude dat was 31 jaar geleden 🤣

[MacFreek]

AI agenten zijn net bevers met een kettingzaag. Ze kunnen in no-time fantastische dingen bouwen, en ik ben echt onder de indruk. Maar ze zonder toezicht de straat opsturen is gewoon een héél slecht idee. En dan heb ik heb het niet eens over de water- en natuurproblemen die bovenmatig gebruik veroorzaken.

[Freeaqingme]

Anthropic zegt dat het het incident op 28 september ontdekte, twee maanden nadat de AI-agent de valse tip had ingediend. De politie in Philadelphia noemt die vertraging 'onacceptabel': "Technologiebedrijven moeten alle passende maatregelen nemen die nodig zijn om te voorkomen dat hun systemen onjuiste informatie doorgeven aan wetshandhavingsinstanties."

De politie vond de vertraging niet kunnen. Maar de melding was bij hen in de spamfilters terecht gekomen en was dus ook niet verder opgevolgd. Tot zover het idee van spoedeisende zaken.

[Accretion]

Hun eigen reactie maakt het eigenlijk alleen nog maar ironischer.

We mikken alle tips direct de spamfolder in en kijken daar minimaal twee maanden niet naar om:

Bij onopgeloste zaken gaat het om echte slachtoffers, nabestaanden die rouwen en rechercheurs die proberen antwoorden te vinden.

[stijn014]

Die spamfilter heeft hier net goed gewerkt. Het was ook Spam.

[RM-rf]

Natuurlijk is het ook belangrijk voor die website om te controleren of het activeren van dat spamfilter correct was...

Bv in software tests is het ook een gevaar dat soms geschreven software tests een correct antwoord geven, maar dat antwoord correct gegeven wordt om een verkeerde conditie of check.

Als dat spamfilter aansloeg omdat die bot kennelijk registreerde dat een botsysteem die entry ingediend had, is het mogelijk ook de vraag of niet nog steeds een content-validatie noodzakelijk is, en zou bv misschien wel degelijk de tip iig en serieuze menselijke controle hebben moeten krijgen, omdat inhoudelijk het overduidelijk geen "spam" was (alhoewel an sich het misschien nog wel kwalijker is als de AI-agent bewust een leugenverhaaltje verzon dat pastte binnen die case).
Overigens, bij nalezen blek de AI-bot ook adresgegevens leeg gelaten te hebben en was er dus geen mogelijkheid te reageren verder en was het als tip verder best nutteloos... misschien dat de spam-detenctie ook aansloeg op lege adresvelden (maar dan vraag ik me toch eerder ook af waarom je niet de adresvelden verplicht maakt, wat veel logischer is dan automatisch reacties zonder die adresvelden naar een spamfolder te sturen, het kan natuurlijk ook zijn dat een solide anonieme tip verstuurd word zonder de adresvelden in te vullen)

Zeker als binnen AI bv software-tests ook bewust toegepast worden om bv een handeling zelf te sturen (en verder te doorontwikkelen op dat als ""werkend" gekwalificeerde process), kan het best gevaarlijk worden als de software-tests die bv kwalificeren of de handeling als "correct" of juist "foutief" gezien worden, mogelijk een foutief oordeel vellen.. bv hooguit een positief 'succes'-oordeel vellen wegens een anere factor die buiten de tests-variabelen ligt.

[Reactie gewijzigd door RM-rf op 12 oktober 2026 17:56]

[CzMichiel]

Maar deze agent is dus gekoppeld aan een consument die hem deze instructies heeft gegeven?

[kuurtjes]

Nee aan een bedrijf dat de regels aan hun laarzen lapt en er niet voor gestraft wordt.

[Plarwes]

Een hamer die er uit zichzelf op los timmert wordt direct uit de handel genomen.

[jpsch]

Ga taken uitvoeren. Wat zijn dit voor instructies?