Zo verliep de modelontwikkeling voor de Taalscan van de Belastingdienst

De blauwe envelop is bij de meeste Nederlanders bekend. Het is vaak het startsein voor het betalen van de belastingen. Soms komt het echter voor dat de brief in de blauwe envelop niet voor iedereen even begrijpelijk is. Anders gezegd: het taalgebruik ervan sluit niet altijd aan bij de lezer. Er wordt hard aan gewerkt om dit te verbeteren, mede met de inzet van gepromoveerd computertaalkundige Oele, die als business analist bij de Belastingdienst werkt. Hij ontwikkelde samen met zijn team de Taalscan van de dienst: een tool waarmee brieven van de Belastingdienst worden getoetst op jargon, ingewikkelde zinnen en onjuist taalniveau.

Na het doorlopen van een basisopleiding in zowel de taalwetenschap als moderne en historische letterkunde heeft Oele zich gespecialiseerd in computationele taalkunde. “Ik ben altijd een bèta met alfa-interesse geweest en begon me tijdens mijn studie wis- en natuurkunde steeds meer te interesseren in de fundamentele rol van taal als kennisdrager. Daarom switchte ik na enige tijd naar de opleiding Nederlandse taal- en letterkunde, waar ik gefascineerd raakte door vraagstukken op het snijvlak van taal, logica en semantiek.”

“Hierna kreeg ik de kans om bij een uitgeverij van woordenboeken promotieonderzoek te doen naar de structuur van het mentale lexicon, via de ontwikkeling van een morfologische gegevensbank. Dit was rond de millenniumwisseling, toen pc’s razend krachtig werden waardoor grootschalige dataverrijking mogelijk werd. Er werkte een heel team aan de realisatie van een nieuwe generatie lexicografische voorzieningen. Dit was een mooie tijd.”

TweakersxBelastindienstxartikels_foto1

Oele kon zijn taal- en IT-kennis perfect combineren bij de Belastingdienst: “Het mooie van ons werk is dat het invloed heeft op heel veel belastingbetalers. Onze afdeling kan bijdragen aan een nog slimmer georganiseerd proces van belastingheffing. Het feit dat de brieven van de Belastingdienst begrijpelijker worden, waardoor meer mensen de brieven zonder hulp kunnen snappen, ervaar ik als een zeer motiverend aspect van mijn werk.”

Berekening taalscore

"De inzet van taalmodellen en technologie om brieven van de Belastingdienst begrijpelijker te maken, speelt een belangrijke rol."De inzet van taalmodellen en technologie om brieven van de Belastingdienst begrijpelijker te maken, speelt een belangrijke rol. Hierbij wordt gebruikgemaakt van automatische tekstanalyse en begripsdata om een taalscore te berekenen die aangeeft in hoeverre de brieven van de Belastingdienst voor de gemiddelde burger zijn te volgen.

Oele: “We maken gebruik van een wetenschappelijke methode voor tekstbeoordeling die wordt aangeduid als de LiNT-score (Leesbaarheidsindex voor Nederlandse teksten, red.). In de kern gaat het om een formule die met behulp van bepaalde tekstkenmerken voorspelt hoe begrijpelijk teksten zijn voor leerlingen op verschillende schoolniveaus. Dit is goed te generaliseren voor volwassenen. De hiervoor benodigde tekstkenmerken baseren we op andere analysetools, zoals Frog en Alpino. Hiermee kun je automatisch tekstkenmerken verzamelen, waaronder de woordsoort en grammaticale relaties. Onze Taalscan heeft inmiddels ook extra functies, zoals het automatisch herkennen van kopjes en het opsporen van call to action-zinnen die de lezers duidelijk vertellen wat er van hen wordt verwacht. In sommige bestaande brieven is dit handelingsperspectief onduidelijk of staat het er gewoon niet in.”

Bij de verwerking van brieven door de Taalscan doorloopt de tekst uit het aangeleverde bestand een hele reeks analysestappen. Tekstkenmerken worden grammaticaal geanalyseerd, waarbij de pipeline ervoor zorgt dat het soms complexe template van de modelbrief in lopende tekst wordt omgezet en elke zin of opgesomd item op een nieuwe regel komt te staan. Hierna worden alle woorden met behulp van Frog van een pos-tag (part-of-speech) voorzien die aangeeft wat de woordsoort is en wat gegeven de context de meest waarschijnlijke verbuigingsvorm is. Vervolgens zorgt Alpino, een state-of-the-art dependency parser voor het Nederlands, voor de herkenning van woordgroepen en grammaticale relaties, zoals het lijdend voorwerp van een specifiek werkwoord, en de toekenning van dependency-lengtes. Dat laatste is de afstand tussen head en dependent binnen de systematiek van universal dependencies.

Tot slot berekent de Tscan-module voor ongeveer honderd tekstkenmerken hoe vaak ze voorkomen en bepaalt de Taalscan-applicatie aan de hand van vier belangrijke tekstkenmerken, waaronder woordfrequentie en afhankelijkheidslengte, hoe moeilijk de tekst is te lezen. Deze LiNT-gebaseerde taalscore vormt de basis voor de toekenning van een van de vier taalniveaus: hoe lager het taalniveau, hoe eenvoudiger de tekst is te volgen.

BERT en Bertje

“Een heel leuk aspect van mijn werk is dat ik afgelopen twee jaar ook een aantal stageprojecten mocht opzetten voor scriptiestudenten”, vertelt Oele. “Die heb ik ingezet om te onderzoeken of deep learning een betere techniek voor het opsporen van bepaalde tekstkenmerken is dan andere detectiemethoden. Het is erg leuk om slimme jonge mensen op weg te helpen bij een spannend probleem uit de computationele taalkunde en vervolgens een hele scriptie terug te krijgen waarin de student de onderzoeksresultaten en methodes op een rijtje zet en het winnende model bekendmaakt. Ik werk dan met plezier een avond door om de analyses te bekijken en verbetersuggesties aan te reiken voor de verslaglegging. Een van die studenten heeft zelfs de tweede prijs gewonnen voor scripties op het gebied van toegepaste taalkunde.”

TweakersxBelastindienstxartikel2xfoto2

“Af en toe grinnik ik in mezelf om het idee dat zulk onderzoek bij de Belastingdienst plaatsvindt”, vervolgt Oele. “Misschien is het niet echt de plek waar je dit zou verwachten, maar vanwege de enorme schaal waarmee wij brieven produceren is dit toch heel nuttig. Bovendien zijn bijna alle studenten die ik heb begeleid, uiteindelijk bij ons doorgestroomd naar een baan als reguliere datascientist.”

“Af en toe grinnik ik in mezelf om het idee dat zulk onderzoek bij de Belastingdienst plaatsvindt”

Twee scriptiestudenten hebben vanuit een verschillend perspectief onderzoek gedaan naar de herkenning van onduidelijk geformuleerde handelingsperspectieven door de inzet van deep learning. Oele: “Dat kan uiteindelijk de bruikbaarheid van de Taalscan vergroten, omdat we dan kunnen aangeven waar er mogelijk een opdracht staat die niet goed is geformuleerd of volgens de richtlijnen onduidelijk is. Wij maken hiervoor gebruik van BERT-modellen (Bidirectional Encoder Representations from Transformers), in verschillende varianten, zoals Bertje en robBERT (de Nederlandstalige versie van het taalmodel RoBERTa, red.). Deze modellen worden getraind om calls to actions te herkennen.”

Python

Het afgelopen jaar heeft de Belastingdienst een groot programma opgezet om de kwaliteit van de modelbrieven zowel op inhoudelijke als vormtechnische aspecten te verbeteren. Oele: “In de pilotfase is onderzocht of de LiNT-score ook geschikt is voor het opsporen van moeilijke zinnen. Dit leverde een Excel-document met gebruikersfeedback op. Die hebben we gebruikt om de herkenningsmethodiek te verfijnen. Bovendien maken we nu gebruik van een visueel rapport als antwoord op de behoefte om de tekstfeedback overzichtelijker aan te bieden. Zo kunnen we nu in een oogopslag zien wat er nog aan de tekst moet gebeuren.”

De huidige uitdaging waar de Belastingdienst voor staat, is het integreren van dit beoordelingsproces in een eindgebruikersapplicatie. Daarmee zijn redacteuren zelf in staat om rapporten te genereren, zonder afhankelijk te zijn van het ontwikkelteam van de taalscan.

Oele: “Voor de overstap naar een nieuw ontwikkelplatform hadden we goedkeuring nodig. Hiervoor hadden we sterke argumenten: voor een hoog prioritair project was een webservice nodig die gebruik kon maken van Python-based programmatuur voor tekstanalyse. Uiteindelijk kregen we groen licht om dit nieuwe platform in te zetten. Om deze toestemming te verkrijgen, moesten we overstappen van de oude tekstanalysemethode, gebaseerd op academische NLP-modules (Natural Language Processing: de toepassing van algoritmen en modellen op tekst en spraak om menselijke taal te begrijpen en te genereren, red.) in de LaMachine-suite, naar spaCy. Deze overstap was noodzakelijk omdat de eerdere toolset niet langer kon worden onderhouden en moeilijk was te integreren, namelijk alleen als Docker-image. spaCy is een standaardpackage binnen Python dat vergelijkbare tekstanalysemogelijkheden biedt, maar technisch beter in elkaar zit en beter kan worden onderhouden.”

Een groot voordeel van deze overstap is de aanzienlijk verbeterde snelheid van het beoordelingsproces. Waar eerder tot wel vijf minuten wachttijd voor een rapport niet ongebruikelijk was, kan dit nu binnen enkele seconden worden voltooid. “Wat de inzet van BERT-modellen betreft: ze zijn momenteel nog niet geïntegreerd in ons nieuwe systeem, maar er wordt getest met de mogelijkheid om ze toe te voegen. Dit bevindt zich echter nog in de experimentele fase en er moeten nog enkele hordes worden genomen voordat ze daadwerkelijk kunnen worden ingezet.”

Academische sfeer met de dynamiek van een IT-bedrijf

Oele werkt nu vijf jaar bij de Belastingdienst en waardeert de organisatie als werkgever. “Ik werk bij een bedrijfsonderdeel waarin veel analytics-specialisten samenkomen. Mijn werkgever biedt ons een omgeving om samen te werken aan tal van vernieuwende oplossingen. We staan daarnaast in nauw contact met andere afdelingen die betrokken zijn bij belastingheffing en serviceverlening; daarom begrijpen we de moeilijkheden waarmee deze afdelingen hebben te maken. Zo kunnen we goed nadenken over het toepassen van analytics om deze uitdagingen aan te pakken. De mogelijkheid om nieuwe technologieën in te zetten en te controleren of dit op verantwoorde wijze gebeurt, is intellectueel uitdagend. Dit vergt een consciëntieuze onderzoekshouding, wat onze afdeling een academische sfeer geeft, al voel je hier ook wel de dynamiek van een IT-bedrijf.“

Meer weten over werken bij de Belastingdienst en ben je benieuwd of er vacatures uitstaan die passen bij jouw profiel? Kijk dan hier.

Dit artikel is geen redactioneel artikel, maar gesponsord en tot stand gekomen dankzij de Belastingdienst en Tweakers Partners. Tweakers Partners is de afdeling binnen Tweakers die verantwoordelijk is voor commerciële samenwerkingen, winacties en Tweakers events zoals meet-ups, Developers Summit, Testfest en meer. Bekijk hier het overzicht van alle acties en events. Mocht je ideeën met ons willen delen over deze vorm van adverteren, dan horen wij dat graag. Hierover kun je met ons in gesprek via [Discussie] Reclame algemeen].