Schreef een mens of een machine het? Zo werkt AI-detectiesoftware

Schreef een mens of een machine dit? Zo werkt AI-detectiesoftware

De afgelopen paar weken kwam de AI-detectietool Pangram meerdere keren in het nieuws. Zo heeft de Volkskrant tweets van Rob Jetten door Pangram laten controleren. Volgens de NOS en Pangram schrijven Kamerleden een kwart van hun kamervragen met AI. Hoe werkt AI-detectiesoftware precies?

De achterliggende technologie van AI-detectiesoftware komt op veel vlakken overeen met die van llm's. Ontwikkelaars trainen ook AI-detectiesoftware op een grote dataset, met één groot verschil. Waar llm's in principe getraind zijn op menselijke teksten, trainen ontwikkelaars detectiesoftware op zowel menselijke als AI-gegenereerde tekst. Vervolgens trainen ze de systemen om de twee typen tekst te onderscheiden.

Taalkundige en statistische methodes

AI-detectietools gebruiken diverse methodes om een AI-tekst te onderscheiden van een menselijke tekst. Zo gebruikt GPTZero de taalkundige methode. Deze is gebaseerd op hoe taal wordt gebruikt in een tekst, zoals de grammatica en woordkeuze.

Het idee is dat gegenereerde teksten vaak een eigen stijl en structuur hebben. Marijke Van Vlasselaer, die AI-detectiesoftware onderzoekt, vertelt aan Tweakers: "Mensen schrijven vrij chaotisch en gevarieerd, terwijl een llm doorgaans ongebruikelijke zinsconstructies niet snel zal maken."

'Mensen schrijven vrij chaotisch en gevarieerd.'

Vaak bevatten gegenereerde teksten veel herhaling, terwijl mensen meer geneigd zijn om gevarieerd te schrijven. Die variatie uit zich in lengte, toon en overgangen in de tekst. Mensen gebruiken bijvoorbeeld sneller signaalwoorden om overgangen in een tekst aan te geven. Onderzoekers noemen dit burstiness. GPTZero detecteert aan de hand van die kenmerken hoe natuurlijk een tekst overkomt en geeft dan met een score aan hoeveel van de tekst er vermoedelijk met AI geschreven is.

GPTZero gebruikt daarnaast de statistische methode om teksten te onderscheiden. Deze methode leunt op waarschijnlijkheid en patronen in een tekst. Hiervoor meet het programma de perplexiteit. Die geeft aan hoe voorspelbaar een sequentie woorden is. De schrijfstijl in AI-gegenereerde tekst is vaak voorspelbaarder dan bij menselijke tekst. Een llm baseert zich op een al bestaande dataset en mensen niet altijd. Hoe hoger de perplexiteit, hoe waarschijnlijker het is dat de tekst van een mens komt.

Methode met machinelearning

Twee andere AI-detectietools, Turnitin en Copyleaks, gebruiken de learning-based methode. Ontwikkelaars trainen een algoritme via machinelearning op grote, gelabelde datasets die bestaan uit zowel menselijke als AI-gegenereerde teksten. Het model krijgt dus een groot aantal voorbeelden voorgeschoteld waarvan vooraf bekend is of ze door een mens of door AI zijn geschreven.

Beeld: GettyImages (Photo by Peter Endig, picture alliance)

Doordat deze methode gebaseerd is op machinelearning, leert het algoritme zichzelf om automatisch patronen en kenmerken te herkennen die door een mens geschreven teksten onderscheiden van AI-teksten. Verder kan zo'n algoritme zich door deze methode ook makkelijker aanpassen aan verschillende typen tekst. Daardoor beschouwen onderzoekers het als flexibeler.

Extra technieken

In de praktijk verfijnen ontwikkelaars deze methodes met aanvullende technieken. AI-detectiesoftware kan afzonderlijke zinnen lastig beoordelen op AI-gebruik. Daarom splitst Turnitin documenten op in overlappende stukken tekst om zinnen binnen de context te kunnen beoordelen. Copyleaks weegt mee hoe gelijkmatig lettergrepen zijn verdeeld in een tekst en hoe koppeltekens voorkomen in de tekst.

Volgens Van Vlasselaer heeft het detectieprogramma Pangram de uniekste methode. "Pangram heeft een dataset van 28 miljoen AI-gegenereerde en volledig menselijk geschreven teksten. Voor elke menselijke tekst schreven de ontwikkelaars een prompt. Daarmee maken ze van diezelfde menselijke tekst een AI-genereerde tekst."

Die prompt draagt het model op om een tekst te genereren die in onderwerp, toon, stijl en lengte exact hetzelfde is als het menselijk origineel.

Beeld: Getty Images (Photo by Uli Deck, picture alliance)

Van Vlasselaer legt uit dat er dan twee datasets ontstaan: een met alleen menselijke tekst en een met AI-gegenereerde tekst. Daarboven draait een algoritme dat patronen herkent op een diepgaander niveau dan alleen de perplexiteit of burstiness. Deze methode heet mirrorprompting.

Mirrorprompting

De Belgische onderzoeker denkt dat mirrorprompting de reden is dat Pangram betrouwbaarder is dan andere detectiesoftware: "De andere oudere detectiesoftware richt zich eigenlijk alleen op de perplexiteit en burstiness. Pangram doet dat helemaal niet op die manier. Het programma heeft twee gespiegelde datasets om ook echt aan die patroonherkenning te kunnen doen."

De slechtere betrouwbaarheid van de andere methodes komt door de vooruitgang van AI-modellen zoals GPT-4o. Die kunnen steeds beter natuurlijke teksten schrijven. Daardoor kunnen modellen zoals GPTZero niet meer op alleen perplexiteit en burstiness leunen om onderscheid te maken.

Het betekent niet dat elke detectiesoftware maar één methode gebruikt. Zo gebruikt GPTZero zowel de taalkundige methode als de statistische methode en combineert Turnitin de learning-based methode met de statistische methode.

Valspositieve resultaten

Onderwijsinstellingen gebruiken de tools vaak om te controleren of studenten hun masterthesis bij elkaar hebben geprompt. De achterliggende technologie werpt echter de vraag op hoe betrouwbaar AI-detectiesoftware precies is: taalmodellen kunnen fouten maken en hallucineren.

ChatGPT-afbeelding gemaakt met de prompt 'maak een andere afbeelding van hallucineren'

Hoewel detectiesoftware overeenkomsten vertoont met llm's, is er een belangrijk verschil: detectiesoftware genereert geen tekst. "Hallucinaties ontstaan wanneer een nieuwe tekst gegenereerd wordt. Pangram genereert geen tekst, maar kent alleen labels toe via patroonherkenning en machinelearning", legt Van Vlasselaer uit.

Dat zegt weinig over de foutmarges van detectiesoftware. Als een van de tools ten onrechte een tekst van een student bestempelt als door AI geschreven (een valspositief resultaat), kan dat grote gevolgen hebben. Onderwijsinstellingen sturen studenten regelmatig naar de examencommissie voor fraude nadat detectiesoftware AI-gebruik detecteert. Onderzoek wijst echter uit dat de kans op een valspositief resultaat erg klein is. "In ons eigen onderzoek vertoonde geen van de vier geteste AI-detectoren een false positive", vertelt Van Vlasselaer.

Moby Dick en van 100 naar 0 procent

Dat de tools in de studie geen valspositieve resultaten detecteren, wil niet zeggen dat er geen risico daarop bestaat. Zo sloeg de AI-tool Research Prospect rood uit toen Sam Illingworth het 19e-eeuwse boek Moby Dick door de tool haalde. AI zou 44 procent ervan hebben geschreven.

Eerder dit jaar won de Amerikaanse student Orion Newby een rechtszaak over AI-geschreven tekst. AI-tool Turnitin gaf aan dat AI zijn tekst voor 100 procent had gegenereerd. De universiteit beschuldigde hem van fraude, maar toen hij zijn tekst door andere AI-detectiesoftware haalde, kreeg de tekst een score van 0 procent AI.

De literaire klassieker Moby Dick. Beeld: Getty Images (Craig F. Walker, The Boston Globe)

Bij (deels) AI-genereerde teksten zijn de resultaten een stuk wisselvalliger. Copyleaks, Turnitin en GPTZero zagen grote passages met AI-tekst over het hoofd. Pangram komt met afstand als winnaar uit de test: de tool herkende 97 procent van volledig AI-gegenereerde teksten en haalde een nauwkeurigheid van 92,5 procent bij deels gegenereerde teksten en AI-teksten die een taalmodel op verzoek had geprobeerd menselijker te herschrijven.

Wel heeft een tool zoals Pangram verschillende beperkingen, waarschuwt Van Vlasselaer: "AI-detectietools zijn een stuk minder betrouwbaar onder de 100 woorden, omdat er in een korte tekst te weinig patronen te herkennen zijn. Die hoge betrouwbaarheid geldt pas vanaf 250 woorden."

Het onderzoek wijst ook uit dat de detectiesoftware het ook veel minder snel oppikt als iemand taalkundig goed onderlegd is en een AI-gegenereerde tekst grondig herschrijft op grammaticaal en semantisch niveau.

Kat-en-muisspel

De onderzoekers benadrukken dat bijvoorbeeld onderwijsinstellingen niet kunnen'We gaan eerst met de studenten in gesprek.' vertrouwen op een vaste tool. AI-modellen ontwikkelen zich snel. In de toekomst kan er dus zomaar een model op de markt komen met output die detectietools niet meer effectief kunnen onderscheiden van schrijfsels van een mens. Detectiesoftware loopt altijd achter, doordat ontwikkelaars het model opnieuw moeten trainen zodra er een nieuwe versie van een llm uitkomt.

Om die reden zegt Van Vlasselaer, die zelf in het hoger onderwijs werkt, dat de uitkomst van een AI-detectietool alleen als signaal moet worden gezien: "Wij gebruiken detectiesoftware zelf als beleidsinstrument in het onderwijs, maar wel met een aantal safeguards. We gaan eerst met de studenten in gesprek. Dan vertellen we dat we patronen hebben opgemerkt van AI-gegenereerde tekst. Heeft de student nog materiaal? Heeft de student nog versiegeschiedenis? Heeft de student nog stukjes van onvoltooide tekst? Op die manier kan het helpen als signaalfunctie."

Studenten moeten zorgvuldiger omgaan met AI. Beeld: Apple

Van Vlasselaer zegt dat studenten hun gedrag kunnen wijzigen doordat ze op de hoogte zijn van controle met deze tools. "Als studenten weten dat je mogelijk gepakt kunt worden omdat je iets hebt gedaan dat niet mag, denken we dat ze zorgvuldiger zullen omgaan met AI."

_{Redactie: Lumen Heijdendael • Eindredactie: Marger Verschuur}

Reacties (40)

[tweakuwe]

Ik vind het toch bijzonder hoe het aan studenten is om hun onschuld te bewijzen, als detectie tools nog altijd zo’n grote foutmarge hebben. Het is misschien geen strafrecht, maar met de grote straffen die er op staan zou ook hier het principe van ‘onschuldig tot het tegendeel is bewezen’ moeten gelden.

Het onderzoek geeft ook zelf aan, in de abstract zelfs, dat je dit niet als enige indicatie moet gaan gebruiken. Uit het onderzoek:

These findings suggest that tools like Pangram could be considered as an initial flag for further investigation. A flagged result should trigger a more thorough review of the student’s paper content, rather than relying on an AI detection tool to draw a final conclusion.

Waar het onderzoek ook aan voorbij gaat is dat mensen (niet allemaal) steeds meer als AI gaan schrijven. De feedback die je krijgt door AI je teksten te laten verbeteren werken als feedback waar je ook van leert beter te schrijven. Daarnaast komt er ook steeds meer aandacht voor gestructureerd schrijven (denk aan de trend om op ‘B1 niveau’ te schrijven). Waardoor je juist meer false positives kan gaan krijgen.

Wat ik bij dit artikel ook wat zorgwekkend vind is dat niet duidelijk wordt gezegd dat de onderzoekscijfers echt alleen bij master scripties geldig zijn. Je mag dit niet zomaar extrapoleren. Door direct onder wat cijfers over false negatives te praten over dat het bij 250+ woorden al heel betrouwbaar wordt ga je toch impliciet een koppeling maken. De cijfers in het voorbeeld 100 en 250 woorden, zijn anekdotisch en staan echt los van de cijfers in het onderzoek. Bij een tekst van 250 woorden krijg je echt wel een stuk meer fase positives en false negatives dan bij een gehele scriptie.

Dat veranderd allemaal niets aan de resultaten van dit onderzoek, een erg goed onderzoek, maar wees wel voorzichtig in het snel conclusies trekken op basis van dit onderzoek en artikel. Ga niet blind uit van het de resultaten van Pangram (het onderzoek waarschuwt daar ook tegen).

[_Pussycat_]

Blind vertrouwen op AI is niet alleen lui — het is ronduit gevaarlijk!

[J_van_Ekris]

Ik ben dan wel geinteresseerd in de invloed van ondersteunende tools als Grammarly (spellingscontrole op steroids) dit soort scores beinvloeden. Want die is AI gebaseerd, maar stelt alleen verbteringen van stukjes tekst voor. Maar vele kleine stukjes maken een grote...

[Roberto4646]

De Nederlandse universiteiten keuren dat formeel goed. Dus lijkt mij geen probleem.

[flowerp]

Is teksten (of andere werken) op AI generatie controleren niet slechts een tijdelijk iets?

Het zal vast niet erg lang meer duren voordat nagenoeg ALLES met AI is gegenereerd. Ik voorspel dat mensen simpelweg gaan stoppen met content zelf maken.

Net zoals je eerder niet gaat controleren of een brief met een computer is geschreven en dan geprint ipv op een typemachine getikt (nagenoeg niemand gebruikt echter meer een typemachine) zal over een poosje nagenoeg elke tekst direct of indirect via de AI gedaan zijn.

De film idiocrazy gaat realiteit worden. Mensen gaan op een gegeven moment stoppen met nadenken, stoppen met creatief zijn, stoppen met onderzoeken. De AI kan alles beter, sneller en goedkoper.

[TimoDimo]

Ik denk het ook wel, dat het een tijdelijk iets is, zeker wat betreft zakelijke, louter informatieve teksten. Alleen nu zijn er nog teveel teksten die uitgespuugd worden door AI en vervolgens klakkeloos worden gebruikt. Deze AI-slop verdwijnt naarmate de AI gerichter gaat helpen en precies zal opschrijven wat we bedoelen, niet minder en vooral niet méér.

Ik denk wel dat we veel meer een gevoel aanleren om snel teksten (en plaatjes) te herkennen die AI-slop zijn, zodat we daar onze tijd niet aan verdoen. Dat soort teksten lezen we dan wel met behulp van andere AI, om het bijvoorbeeld slim samen te vatten of de punten eruit te halen die voor ons belangrijk zijn.

Creatieve en menselijke ideeën dat is waar het om draait. Als een AI dat mooi kan opschrijven en structureren, dan is dat alleen maar prettig.

Eigenlijk vind ik het ook wel weer jammer, want het heeft ook wel zijn charme, dat je de spelfouten erin ziet staan, en een zinsopbouw die een klein stukje persoonlijkheid aan de tekst geeft. Daarbij geeft het meteen aan wat het taalniveau of de inspanning van iemand is.

Dus in ieder geval voor persoonlijke, niet zakelijke teksten: zeker geen AI voor mij.

[NoTechSupport]

AI veroorzaakt veel ruis, hier in het detecteren van het niveau van een student, maar ik merk het ook op het werk. Er wordt zoveel geproduceerd, maar tot voor kort was er altijd een proces voor je iets begon te maken. Je moest collega's mee krijgen, budgetten krijgen. Nu begint iedereen direct alles te maken, zonder zich af te vragen of er al iets gelijkaardig bestaat, of hetgeen gemaakt wordt goed is (of alleen iets is dat de bedenker interesseert). Ik zie bij ons momenteel een wildgroei aan intern ontwikkelde tools. Goed management is belangrijker dan ooit om dat te beperken en in goede banen te leiden. Cultureel zijn we niet klaar voor AI.

Neemt niet weg dat AI onvermijdelijk is. Ik zou een student die geen AI gebruikt daarvoor minpunten geven. Het is een tool die je helpt om een goed product te maken. Het is als je thesis met de hand schrijven, alleen op basis van informatie uit de bibliotheek. Je toont daarmee dat je niet klaar bent voor de arbeidsmarkt. Er moet natuurlijk wel iets veranderen bij de evaluatie. Om te weten in welke mate een student het nodige niveau behaalt moet er nu gewoon beter tijdens de verdediging doorgevraagd worden. Eén optie is dat je op je thesis 1/4de van je punten krijgt en de rest op een examen over je thesis (dat kan schriftelijk en uitgebreid zijn, bvb door de prof gegenereerd op basis van AI).

[Reactie gewijzigd door NoTechSupport op 23 september 2026 18:23]

[PhilipsFan]

Je zit nog een beetje in het oude denkpatroon. Er worden veel meer tools ontwikkeld omdat dat nu makkelijker is, maar het overzicht ontbreekt.

Maar dan vergeet je dat een tool maar een tool is. Je gebruikt een tool om je werk sneller of efficienter te doen. Vroegah toen tools gekocht moesten worden, wil je een onderzoekje doen om te kijken of je een tool voor meer dingen in je bedrijf kunt gebruiken om op die manier kosten te besparen.

Nu kost tools ontwikkelen nauwelijks nog moeite. Dus elke tool die tijd heeft bespaard, heeft nut gehad. Ook zonder dat managers en coltrollers daar overzicht over hebben. En als een tool geen tijd bespaart, pleur je 'm weg en ontwikkel je een andere.

[NoTechSupport]

Daar ben ik het niet helemaal mee eens. Een tool is maar een tool, maar als niemand je werk kan overnemen als je op vakantie bent omdat jij een hele hoop tools gebruikt die niemand kent dan zijn je tools een risico voor continuïteit. Bovendien zijn die tools vaak niet zo goed getest en bekend (shadow IT).

Het is de rol van goed management om te zorgen dat de kwaliteit goed blijft, dat ze weten wat er bestaat binnen het bedrijf en dat we niet allemaal in eilandjes gaan werken zodat we elkaars werk kunnen blijven overnemen.

[Jaldea]

Het doel van je werk moet niet het gebruik van je tools zijn, het zijn slechts hulpmiddelen om het werk dat gedaan moet worden te versnellen. Een collega moet dus niet afhankelijk zijn van die tools, anders zou het bedrijf die tools beschikbaar moeten stellen of dat werk anders ingericht moeten zijn.

[HerrPino]

Is het nog steeds zo duidelijk als een AI agent de initiële tekst schrijft en een mens het in eigen woorden herverteld? Of althans zo zou ik het doen mocht ik dit 20 jaar geleden tijdens mijn studie hebben kunnen ge-/misbruiken.

[Skit3000]

Volgens mij is de betere manier om de te beoordelen tekst, te vergelijken met eerder werk dat iemand heeft geschreven in het pre-LLM tijdperk. De frauderende groep 6 basisschoolleerling pak je daar niet mee, maar over het algemeen is er van iedere persoon die op het moment enigszins in de belangstelling staat, wel tekst beschikbaar van voor 2023.

[RoKeMu]

Ik vind het heel belangrijk datviemand die een diploma haalt ook echt zijn diploma verdient heeft. Anders hebben diploma's geen waarde. Dus ook niet voor mensen die het helemaal zelf gedaan hebben.


Tegelijkertijd is AI er en gaat niet weg. Als je een onderzoek hebt gedaan en je vraagt AI je te helpen schrijven, of je gebruikt AI zelf bij je onderzoek, prima toch. Jij bent verantwoordelijk voor de inhoud, dat die klopt, en bij de verdediging moet je laten zien dat je de inhoud snapt.

Natuurlijk anders bij een samenvatting van een boek of iets dergelijks. Maar dat is meer een middelbare school activiteit waar je uiteindelijk ook een hoop proefwerken moet doen zonder AI naast je.

Vraag me ook af, hoeveel % van je diploma gehaald kan worden met AI. Mijn gevoel zegt niet veel omdat het eindverslag slechts beperkt meetelt in je 4 of 5 jarige studie.

[vrije_vogel]

Duidelijk geen AI. :-)

[beerten]

Ik denk dat studenten heel snel een AI tool ontwikkelen dat AI teksten menselijk maakt.

[Roberto4646]

Misschien kunnen die studenten zich beter gaan richten op hun eigen studie

[FrostyPeet]

Laat je studenten de tussenstappen in hun scriptie opslaan en meesturen. Dan krijg je de opbouw te zien. De denk- en correctiestappen. Bespreek de tussenstappen met je student of deze nog op het juiste spoor zit.

Scheelt hoop gedoe.

[squareware]

En kan dit ook lokaal gedraaid worden? Of voeden we de ai's verder met tekst, zodat het ergens als trainingsdata gebruikt kan worden.