'Bij AI moet je de randen van het speelveld kunnen opzoeken'
Hoe wordt Artificial Intelligence ingezet door de rijksoverheid en wat zijn daarbij kansen en waarmee moet je voorzichtig zijn? Topambtenaar Jannine van den Berg, divisiedirecteur Gevangeniswezen en Vreemdelingenbewaring bij Dienst Justitiële Inrichtingen (DJI), deelt haar ervaringen met onder meer celinspecties door een robothond en de inzet van AI voor gedragsherkenning.
Het is niet de enige vorm van AI-ondersteuning aan de operationele kant van een penitentiaire inrichting (PI): de centrale meldkamer van DJI gebruikt AI bijvoorbeeld om camerabeelden te analyseren in de openbare ruimtes binnen PI’s, zoals gangen en afdelingen. De AI herkent afwijkende bewegingen en gedrag, zodat DJI geweld (tussen gevangenen of tbs’ers, of tegen medewerkers) eerder kan zien aankomen. Een ander voorbeeld is dossierdoorzoeking, om sneller en efficiënter te kunnen werken. Ook experimenteert DJI met een speech-to-text-programma, ontwikkeld door onderzoeksorganisatie TNO.
Ethical Charter
Mooie ontwikkelingen vindt Jannine. ‘Tegelijkertijd vraagt het gebruik van AI om de nodige zorgvuldigheid, vooral als het om privacy gaat. Inherent aan gevangenen en tbs’ers is dat zij minder privacy en autonomie hebben. Daardoor moet je ervoor waken dat hun privacy en autonomie niet in het gedrang komen. Bij een celinspectie met een robothond kunnen gevangenen of tbs’ers bijvoorbeeld niet een gesprek aangaan. Is het dan wel ethisch verantwoord dat er geen mens bij te pas komt? Omdat we meer van dit soort ethische vragen in beeld willen hebben, stellen we dit najaar ons algemeen ethisch beleid vast in een Ethical Charter.’
Ze benadrukt dat alle AI-toepassingen van DJI volgens de Europese AI-verordening (of “AI Act”) onder het ”laagrisico van AI” vallen. ‘Daar kiezen we heel bewust voor. We zouden de beoordeling van een verlofaanvraag van een gedetineerde bijvoorbeeld al met AI kunnen uitvoeren om zo de DJI-medewerker te ondersteunen. Maar we hebben ervoor gekozen om stapsgewijs op te schalen in termen van risico. Daarom hebben we eerst ook een mensenrechtentoets op die AI-toepassing uitgevoerd, samen met onze CDO (Chief Data Officer), ethici van JenV, onze collega’s van de directe Informatievoorziening en de externe ontwikkelaar. Daarbij zijn we tot de conclusie gekomen dat dit mogelijk onder hoogrisico AI kon vallen. Daarom hebben we nu de EU AI Office eerst om een second opinion gevraagd.’
Spagaat
Voorzichtigheid vooropstellen leidt ook tot dilemma’s, benadrukt ze: ‘DJI voorziet bijvoorbeeld dat AI problemen kan veroorzaken bij de identificatie van personen. Hoe weet je straks nog dat je de juiste persoon voor je hebt? Door het klonen van stemmen en beeldmanipulaties is dat misschien niet zeker. Daar wil je snel op kunnen inspelen en een antwoord op hebben. Maar daar zit vervolgens weer een risico in: als je te snel handelt, mis je de basis van privacy. Wij merken die spagaat wel.’
Randen opzoeken
Ze besluit: ‘Ik vind écht dat we de randen van dat speelveld moeten opzoeken. We kunnen het ons niet veroorloven om té voorzichtig te zijn in het gebruik van AI. Want dan loop je achter de feiten aan.’