Een bestuurssecretaris bij een onderwijsinstelling zoekt het AI-beleid op voor de planning-en-controlcyclus. Het document is vorig jaar vastgesteld. Er staat een tool in die de leverancier inmiddels heeft hernoemd, Copilot Chat staat er niet in terwijl het sinds de uitrol van Microsoft 365 voor iedereen aanstaat, en over de transcriptietool waar drie teams mee werken staat niets. Niemand heeft het beleid overtreden. Het beleid is alleen niet meegegaan.
Hoe vaak je een AI-beleid herziet, is daarom de verkeerde vraag als je er een getal op verwacht. Je herziet bij een aanleiding, en minimaal één keer per jaar als die aanleiding uitblijft. De rest van dit stuk gaat over wat een aanleiding is, en welke drie cijfers je erbij pakt.
Wat vraagt de wet, en wat niet?
De AVG noemt geen termijn voor beleid. Artikel 24 vraagt dat de maatregelen van een organisatie worden geëvalueerd en indien nodig geactualiseerd. Artikel 32 vraagt om een procedure om de doeltreffendheid van maatregelen op gezette tijdstippen te testen, te beoordelen en te evalueren. Welke tijdstippen dat zijn, bepaal je zelf, en je legt vast waarom dat ritme past bij het risico.
De AI Act voegt daar geen herzieningstermijn aan toe. Wel een aantal data waarop verplichtingen gaan gelden, en wie een toepassing heeft die daaronder valt, heeft daarmee een aanleiding met een datum. Welke data dat zijn en wat ze voor een werkgever betekenen, staat in de AI Act voor werkgevers.
Voor het ritme betekent dit: een vaste kalender is verdedigbaar, maar alleen een kalender is te weinig. Wie eens per jaar kijkt en verder niets, mist elf maanden lang wat er verandert.
Welke aanleidingen wegen zwaarder dan de kalender?
AI-diensten veranderen sneller dan beleid. Een chatbot krijgt geheugen, een vergadertool gaat samenvatten, een leverancier voegt koppelingen toe of wijzigt wat er met invoer gebeurt. Elk van die veranderingen kan een status in je beleid onjuist maken zonder dat er in je organisatie iets is gebeurd.
| Aanleiding | Wat je bekijkt | Wat er meestal verandert |
|---|---|---|
| Een tool zonder besluit wordt gebruikt en groeit | Wat de tool doet, welke gegevens erin gaan, welk account | Een nieuwe regel in het beleid, met een status |
| De leverancier wijzigt functies of voorwaarden | Of de status en de voorwaarde nog passen bij de nieuwe versie | De voorwaarde, soms de status |
| Een nieuwe licentie of voorkeursroute | Welke tools daardoor overbodig zijn, en of mensen dat ook vinden | De voorkeursroute en de statussen eromheen |
| Een incident of bijna-incident | Welke afspraak ontbrak of niet uitvoerbaar was | De afspraak, en vaak het alternatief |
| Reorganisatie, overname, nieuwe afdeling | Welk gebruik er binnenkomt dat het beleid niet kent | De lijst met tools en de eigenaren |
| Een datum uit de AI Act of sectorregels | Of een toepassing onder nieuwe verplichtingen valt | De classificatie en wat daarbij hoort |
Het eerste type aanleiding is het vaakst aan de orde en wordt het vaakst gemist, omdat een beleidsdocument niet kan zien welke tools worden geopend. Wie dat wil weten, moet de lijst uit het beleid naast het werkelijke gebruik leggen. Hoe je dat doet zonder personen te volgen, staat in AI-gebruik meten.
Welke drie cijfers bekijk je bij een herziening?
Een herziening die alleen het document herleest, vindt alleen wat er al in staat. De cijfers laten zien wat er buiten het document gebeurt.
Het aandeel AI-gebruik via toegestane tools, met de trend. Dit is het cijfer dat beleid en praktijk aan elkaar knoopt. Stijgt het, dan doen de besluiten en de communicatie erover hun werk. Daalt het terwijl het totale gebruik groeit, dan groeit het gebruik om het beleid heen, en dan is een herziening niet optioneel.
De tools zonder besluit die echt worden gebruikt. Niet de hele lijst van wat ooit één keer is geopend, maar de tools met terugkerend gebruik waarover de organisatie nog niets heeft gezegd. Elke regel in die lijst is een vraag die medewerkers nu zelf beantwoorden.
De meldingen en wat erna gebeurde. Als het besluit verschijnt op het moment dat iemand een tool opent, kun je tellen hoe vaak een melding is getoond, hoe vaak het alternatief is geopend en hoe vaak iemand toch is doorgegaan. Een melding die in de meeste gevallen wordt weggeklikt, zegt zelden iets over de mensen en meestal iets over de tool: het alternatief doet niet wat zij nodig hebben, of het risico is kleiner dan het beleid aannam.
Alle drie de cijfers zijn te meten zonder gebruikers-id. BeeSensible telt welke AI-tools worden geopend (alleen het domein, hooguit één keer per dag per apparaat), toont het aandeel via toegestane tools met de trend en de tools zonder besluit met gebruik, en telt per status hoe vaak een melding is getoond en wat erna gebeurde. Zo ziet het register eruit waarmee je die vergelijking maakt:
