Door: Tom Dullaart
Kwalitatieve en – voor de burger – leesbare bestuurlijke stukken produceren blijkt voor meerdere gemeenten een uitdaging te zijn. Niet elke ambtenaar stelt regelmatig stukken op die in de besluitvorming terechtkomen en daardoor loopt de ervaring van de stellers uiteen. Er worden
door de steller mogelijk fouten gemaakt, waardoor de stukken achteraf gecontroleerd dienen te worden en bestuurlijke stukken achteraf verbeteren is vaak een arbeidsintensief proces waar veel mensen bij betrokken zijn. Bovendien wordt er vaak complex en ambtelijk taalgebruik gehanteerd, waardoor veel burgers weinig aan de stukken hebben. De stukken inhoudelijk juist opstellen voor de besluitvormer is een zeer complexe taak en het wordt nog lastiger wanneer er rekening gehouden dient te worden met de toegankelijkheid van het taalniveau. Een oplossing die kan helpen om dit proces te stroomlijnen terwijl de stukken kwalitatief op een vergelijkbaar, of zelfs hoger niveau komen, zou daarom voor veel gemeenten erg interessant kunnen zijn.
Uit deze behoefte is het idee ontstaan om te verkennen of ChatGPT een oplossing kan bieden voor dit probleem. KBenP Digitale Overheid heeft deze behoefte vastgesteld en vormgegeven als stageopdracht. Tom Dullaart, een ICT student aan de Haagse Hogeschool, is voor zijn afstudeeropdracht met de zoektocht naar het antwoord op deze vraag aan de slag gegaan.
Het voornaamste doel van de opdracht was om te onderzoeken of bestuurlijke stukken met GenAI (Generatieve Artificial Intelligence) bewerkt konden worden en welke risico’s hierbij zouden komen kijken. Daarom is er onder andere een test uitgevoerd in de praktijk binnen de gemeenten Hilversum en Geldrop-Mierlo. Hiervoor zijn er door allebei deze gemeenten een aantal bestuurlijke stukken beschikbaar gesteld om te bewerken met ChatGPT. Daarmee kon er verkend worden op welke fronten er winsten haalbaar zijn door gebruik te maken van dit soort GenAI.
Momenteel blijkt uit de testresultaten dat de stukken die door ChatGPT bewerkt zijn veelbelovende resultaten tonen wat de verbetering van de leesbaarheid betreft. Dit is fijn voor de burger omdat het de stukken toegankelijker maakt. De uitvoer is wel inconsistent en neigt op bepaalde aspecten, zoals het volgen van het sjabloon (dat meegegeven was), nog weleens fout te gaan. Daardoor is onder de testgebruikers uit de gemeenten die meededen geconcludeerd dat ChatGPT nu nog niet betrouwbaar genoeg is om ongecontroleerd de stukken te laten corrigeren, maar het taalmodel toont potentie.
ChatGPT blijkt, met toegevoegde instructies, goed in staat te zijn om de leesbaarheid van stukken te verbeteren en ambtelijk taalgebruik te vermijden. De teksten die door ChatGPT uitgewerkt worden zijn correct, maar soms worden ze te eenvoudig uitgewerkt en zijn ze niet compleet. Er worden dan hele regels, of zelfs alinea’s weggelaten en dat is een probleem dat in alle testrondes naar voren kwam. Ook heeft ChatGPT onvoldoende ‘gevoel’ voor juridisch taalgebruik of nuances en soms betekent dit dat stukken tekst hun betekenis verliezen wanneer er gepoogd wordt om de leesbaarheid te vergroten.
De wereld van GenAI modellen is turbulent en verandert nu nog van koers. Een voorbeeld hiervan is dat demissionair staatssecretaris digitalisering Alexandra van Huffelen recent in een kamerbrief aangegeven heeft wat het voorlopige standpunt is rondom het gebruik van GenAI door rijksorganisaties. Hierin wordt aangegeven dat het gebruik van GenAI niet uitgesloten wordt, maar dat er per casus, een risicoanalyse opgesteld dient te worden in de vorm van een Data Protection Impact Assesment (DPIA4) en een algoritme impactassessment, zoals het Impact Assessment Mensenrechten en Algoritmes (IAMA5).
Ook gaat de voorkeur naar open source GenAI. Dit heeft te maken met het invoeren van de Wet open overheid (Woo) en het stimuleren van transparantie in bredere zin. Er gaat daarbij een sterke voorkeur uit naar gecontracteerde diensten. Uiteraard dient er ook voor open source
GenAI een risicoanalyse te worden uitgevoerd zoals eerder vermeld.
Dit allemaal betekent dat het niet per se onmogelijk is om gebruik te maken van bijvoorbeeld ChatGPT binnen overheidsorganisaties. Wel betekent het dat het niet zomaar gebruikt kan worden voordat er, voor de beoogde doelstelling, in kaart gebracht is of het een risico vormt. ChatGPT is dan ook voor overheidstoepassingen niet per se de meest geschikte oplossing. Een alternatief zou kunnen zijn om GPT-NL te overwegen. GPT-NL wordt gebouwd in opdracht van de Nederlandse overheid met als doel om een alternatief te bieden voor ChatGPT dat transparant en open source is. Zo zou Nederland minder afhankelijk worden van commerciële partijen waarbij er belangenverstrengeling zou kunnen ontstaan wat betreft de verwerking en
geheimhouding van gebruikersdata bijvoorbeeld.
Uiteindelijk is uit de testresultaten het beeld ontstaan dat ChatGPT van pas kan komen door snel stukken te herschrijven op een manier die toegankelijker is voor een grotere groep mensen. Wel zal iemand achteraf moeten controleren of er geen ongewenste inhoudelijke
aanpassingen gemaakt zijn aan de stukken. Zo kan ChatGPT een nuttige bijdrage leveren aan de kwaliteit en leesbaarheid van de stukken. Winst voor de burger dus!
Wil je meer weten over dit onderwerp, of ben je benieuwd naar de rapportage van Tom? Neem dan even contact op met tom.dullaart@kbenp.nl
