Een bestuursvergadering van een woningcorporatie. Op de slide van IT staat één getal, groot: 12.400 prompts dit kwartaal, een verdubbeling. Een bestuurder vraagt of dat goed nieuws is. Het wordt stil, want niemand weet of die 12.400 van tweehonderd collega's komen of van vijf.
Dat is het probleem met de meeste KPI's voor AI-gebruik: ze tellen iets, maar beantwoorden geen vraag. Een bruikbare KPI meet de organisatie, niet de persoon, en geeft een richting. Acht cijfers doen dat werk, en het aantal prompts hoort daar niet bij.
Wat maakt een cijfer een KPI voor AI-gebruik?
Drie eisen. Het cijfer beantwoordt een vraag die het bestuur echt heeft: gebruiken we het, loopt het via de afgesproken route, werken onze afspraken. Het heeft een richting, want een momentopname zegt weinig en een trend zegt veel. En het gaat over de organisatie, zodat er geen persoon in zit en de meting geen toezicht wordt.
Die derde eis is geen beperking achteraf maar een ontwerpkeuze vooraf. De AVG vraagt een vooraf omschreven doel, en "weten of ons AI-gebruik via toegestane tools loopt" is zo'n doel. "Weten wie ChatGPT opent" is een ander doel, met andere eisen en een ondernemingsraad die instemmingsrecht heeft. Welke cijfers er überhaupt zijn, en hoe de meting zonder personen werkt, staat uitgewerkt in AI-gebruik meten. Dit stuk zet ze als KPI's naast elkaar.
Welke acht KPI's zeggen iets?
| KPI | Wat hij zegt | Wat hij niet zegt | Zonder gebruikers-id? |
|---|---|---|---|
| Aandeel werkplekken dat AI gebruikt | Is het gebruik breed of bij een paar mensen | Hoe intensief, met welke tool | Ja, per apparaat geteld |
| Dagelijks, wekelijks, af en toe | Zit AI in het werk of is het proberen | Welke taak | Ja, de categorie wordt op het apparaat bepaald |
| Tools in gebruik, en hoeveel zonder besluit | Hoe groot de werkvoorraad van het beleid is | Of die tools risico opleveren | Ja, alleen het domein |
| Aandeel via toegestane tools, met trend | Volgt de praktijk het beleid | Waarom wel of niet | Ja |
| Bezoeken aan niet-toegestane tools | Of een besluit in de praktijk landt | Wat daar is ingevoerd | Ja, hooguit één telling per apparaat per dag |
| Uitkomst na een melding | Of het alternatief goed genoeg is | Wie doorging | Ja, geteld per uitkomst |
| Gebruikscategorieën | Waar AI in het werk zit | Wat er precies is gevraagd | Ja, alleen de categorie telt |
| Aandeel gevoelige markeringen afgehandeld | Of mensen op het moment zelf bijsturen | Wat er stond | Ja, zonder inhoud |
De eerste twee beantwoorden de investeringsvraag: is er iets gebeurd met de licenties en de training. De middelste vier beantwoorden de beleidsvraag: weten we welke tools, is erover besloten, en volgt de praktijk het besluit. De laatste twee gaan over het gedrag op het moment zelf, en dat is het deel waar training en afspraken pas zichtbaar worden.
Waarom zegt promptvolume zo weinig?
Terug naar de 12.400. Eén analist die tweehonderd prompts per week stuurt en tien collega's die niets doen, leveren hetzelfde kwartaaltotaal op als tweehonderd collega's met één prompt per week. De eerste corporatie heeft een enthousiasteling, de tweede heeft AI in het werk zitten. Het volume ziet het verschil niet, en de bestuurder wilde juist dat verschil weten.
Er zit nog een tweede probleem in. Promptvolume beloont het verkeerde. Wie het als hoofdcijfer op de slide zet, krijgt een organisatie die meer prompt, niet een organisatie die verstandiger met AI werkt. Het aandeel via toegestane tools beloont wel het juiste: mensen die de afgesproken route nemen. Houd het promptvolume als trend in de bijlage, en laat het van de slide.
Hoe ziet dat eruit in een bestuursverslag?
De corporatie uit de opening verving de slide een kwartaal later. Ruim de helft van de werkplekken opent minstens wekelijks een AI-tool. Elf tools zijn in gebruik; over drie daarvan was nog geen besluit, waaronder een tool die huurdersbrieven herschrijft. Het aandeel via toegestane tools staat op 64 procent, vorig kwartaal 58. Na een melding kiest twee derde het alternatief.
Geen van die cijfers is een incident. Samen vertellen ze wat er gebeurt: het gebruik groeit, het beleid trekt bij, en er zijn drie besluiten te nemen waarvan er één urgent is omdat die tool persoonsgegevens van huurders te zien krijgt. Dat is een bestuursgesprek van tien minuten, met een richting erin.
De laatste KPI uit de tabel komt van een andere laag: niet welke tools worden geopend, maar wat er op het moment van typen met gevoelige gegevens gebeurt. Zo ziet die laag eruit, in aantallen en zonder dat er iemand aan hangt:
