De BoerBurgerBeweging gebruikt als een van de weinige Tweede Kamer-partijen in Nederland kunstmatige intelligentie bij het schrijven van zijn verkiezingsprogramma. De partij licht aan Tweakers toe hoe dat precies werkt.
Het was een opmerkelijk bericht, vorige maand in NRC. Toen zei BBB-medeoprichter en -campagneleider Henk Vermeer in een duo-interview dat de partij 'ChatGPT gebruikt voor het verkiezingsprogramma'. "Alle rapporten die we relevant vinden, al onze debatbijdragen verwerken we erin", zei Vermeer. Het interview ging niet over tech, maar vooral over duurzaamheid en de rol van boeren en het artikel ging dan ook niet veel dieper in op de opvallende quote. Maar wat betekent 'ChatGPT gebruikt voor het verkiezingsprogramma' nou precies?
Vermeer benadrukt tegen Tweakers dat ChatGPT niet gebruikt wordt voor het daadwerkelijk schrijven van het verkiezingsprogramma; een eigen, lokaal gehoste versie van het large language model geeft in principe op basis van een eigen database intern informatie weer die gebruikt kan worden voor het schrijven van het verkiezingsprogramma.
Vermeer zegt: "We zijn een kleine organisatie en gebruiken deze tool om snel op te kunnen zoeken wat we de afgelopen jaren hebben gezegd." Hieronder vallen onder meer eerdere verkiezingsprogramma's, debattranscripties en Kamervragen en moties waar Caroline van der Plas bij betrokken was. Hij gaat verder: "Dat is in principe wat Google ook zou doen, aangezien transcripties van bijvoorbeeld debatten gewoon openbaar zijn. ChatGPT is daarentegen slimmer en kan ook alleen uit onze eigen gegevens informatie verzamelen."
Hallucineren
In verschillende media, waaronder BNR en de NOS, werd over de BBB-variant van ChatGPT geschreven en gesproken, maar volgens Bart Luttels, maker van de betreffende ChatGPT-variant en lid van de programmacommissie van de BBB, was lang niet al die informatie correct. Zo paste hij naar eigen zeggen verschillende 'trucjes' toe om ervoor te zorgen dat de kunstmatige intelligentie geen informatie zou verzinnen, bijvoorbeeld door de chatbot te dwingen om puur inhoudelijk en feitelijk te reageren. "ChatGPT kan heel creatief zijn, maar dat kun je ook uitzetten." Verder vermeldt de aangepaste versie van ChatGPT volgens hem altijd bronnen bij de gegeven antwoorden, op voorwaarde dat de vragen specifiek over de BBB gaan.
Via een interne website kunnen programmacommissieleden vervolgens vragen stellen aan 'ChatGPT'. Luttels stelde daarvoor een handleiding samen; de prompts die BBB-leden invoeren moeten specifiek de partij vermelden en aan bepaalde structuren voldoen. "Als je bijvoorbeeld vraagt 'wat vond Caroline van der Plas over het stikstofbeleid', dan zoekt de tool in onze eigen data. Als je Caroline niet specifiek noemt en juist een algemene vraag stelt, dan kan de tool gaan zoeken in de gebruikelijke OpenAI-database." In dat geval kan de informatie mogelijk niet kloppen, zo erkent hij, maar omdat er geen bronvermelding bij staat, is het voor de gebruikers duidelijk dat dit niet op basis van eigen data is geconcludeerd.
Vermeer voegt daaraan toe dat deze informatie niet per se wordt uitgesloten, aangezien de reguliere versie van ChatGPT volgens hem kan helpen als geheugensteuntje. "De chatbot kan bijvoorbeeld bepaalde argumenten voor en tegen een stelling genereren. Die gebruiken we dan om zelf een bredere kijk op een onderwerp te krijgen." Alle informatie die in het verkiezingsprogramma wordt verwerkt, wordt altijd door Vermeer, Van der Plas en beleidsmedewerkers bekeken en gecontroleerd op fouten. Volgens Vermeer en Luttels zijn er tot dusver geen fouten als resultaat van het gebruik van ChatGPT geconstateerd, al verkeert het schrijven van het aankomende verkiezingsprogramma nog in een vrij vroeg stadium.
Twee keer ChatGPT en LangChain
Luttels treedt nog verder in detail over het gebruikte systeem. "We gebruiken ChatGPT in twee stappen van het proces. Eerst heb ik alle data, de enkele duizenden pdf-pagina's, door ChatGPT opnieuw laten structureren." Bepaalde aanpassingen, bijvoorbeeld stukken dikgedrukt maken of punten op een bepaalde manier gebruiken, maken het volgens hem gemakkelijker voor de AI om de informatie te 'begrijpen'.
BBB gebruikt LangChain om een eigen lokale ChatGPT-instance te hosten.
Hij vult aan: "Vervolgens zorgt ChatGPT voor antwoorden op onze vragen. Daarvoor moet onze database gekoppeld worden aan de tool, wat via opensourceprogramma LangChain gebeurt. Hiermee kunnen het taalmodel, ons interne vragenportaal waar partijleden hun vragen invoeren en de database gekoppeld worden." LangChain is een framework op basis van Python waarmee gebruikers software met llm-integratie kunnen bouwen.
Hij legt ook uit dat er van een externe vectordatabase gebruikgemaakt wordt. Deze specifieke manier van dataverzoeken verwerken, gebeurt in een speciale database waar datapunten als vectors worden opgeslagen en moet ervoor zorgen dat de vragentool nog sneller met antwoorden komt. "Zelfs de betaalde versie van OpenAI's taalmodel heeft een beperkte snelheid en kan maar een bepaald aantal woorden tegelijkertijd verwerken. Met een vectordatabase rek je de limiet aanzienlijk uit."
"We maken wel gebruik van de rekenkracht van OpenAI om de vragen te verwerken. Omdat we direct betalen voor api-verzoeken wordt onze ingevoerde data in tegenstelling tot bij de reguliere versie van ChatGPT niet met het bedrijf gedeeld." Hij benadrukt net als Vermeer dat het om openbare documenten gaat, dus over het eventueel 'lekken' van de ingevoerde documenten maakt de partij zich geen zorgen.
Hoe zit het met andere partijen?
Alleen Volt gebruikt verder ChatGPT om standpunten op te zoeken.
Tweakers vroeg aan alle andere huidige partijen die nu een zetel in de Tweede Kamer hebben of zij een vorm van ChatGPT gebruiken bij het schrijven van het verkiezingsprogramma. Volt lijkt op basis van de reacties de enige andere Nederlandse politieke partij die intern gebruikgemaakt van een ChatGPT-tool om informatie over standpunten op te zoeken. Ook zegt een woordvoerder dat soms deelonderwerpen ingevoerd worden in de chatbot om de verschillende stukken informatie automatisch tot één tekst te combineren. Volt erkent dat het taalmodel fouten kan maken en dat teksten daarom nooit een-op-een gepubliceerd worden. De partij zegt zich aan de zelfgeformuleerde regels omtrent het gebruik van kunstmatige intelligentie te houden.
Verder zeggen Forum voor Democratie, JA21, de Partij voor de Dieren, D66 en de SP allemaal geen kunstmatige intelligentie te gebruiken bij het schrijven van het verkiezingsprogramma. De VVD, PVV, ChristenUnie en BIJ1 hebben een ontvangstbevestiging teruggestuurd, maar hebben voor publicatie van dit artikel niet gereageerd. Alle overige partijen uit de Tweede Kamer hebben überhaupt niet verduidelijkt of zij kunstmatige intelligentie toepassen bij het schrijven van het verkiezingsprogramma.