Grip op AI
Blog
AI-governance 8 min leestijd

Welke gegevens heb je echt nodig om AI-gebruik te meten?

Een proxylog bevat elke URL, elke gebruiker en elk tijdstip. Voor de vraag welke AI-tools in gebruik zijn, heb je daar vier velden van nodig, en de gebruiker is er geen van. Dataminimalisatie toegepast op meten.

Abstracte spiraal met datapunten in teal
Snel antwoord

Om AI-gebruik te meten heb je vier gegevens nodig: het domein van de dienst, de dag waarop hij is geopend, een telling, en een categorie (waarvoor AI wordt gebruikt, of hoe vaak). Daarmee beantwoord je welke tools in gebruik zijn, of daar een besluit over is genomen, en of het gebruik naar toegestane tools beweegt. Wat je niet nodig hebt: een gebruikers-id, de inhoud van de prompt, het pad achter het domein en het tijdstip op de seconde. Die vier voegen niets toe aan de governancevraag en maken van een telling een registratie van personen. Dataminimalisatie is hier geen beperking van de meting maar de inrichting ervan.

01

Domein, dag, aantal en categorie beantwoorden de governancevraag volledig

02

Een gebruikers-id voegt niets toe aan de vraag welke tools in gebruik zijn

03

Het pad achter het domein en de inhoud van de prompt horen niet in een meting

04

Het tijdstip op de seconde maakt een telling in een kleine groep herleidbaar

05

Wat je niet vastlegt, hoef je ook niet te beveiligen, te bewaren of te verantwoorden

Een IT-beheerder bij een ingenieursbureau krijgt van de directie de vraag hoeveel AI er in huis wordt gebruikt. Hij heeft de proxylogs: elke URL, elke gebruiker, elk tijdstip, terug tot vorig jaar. Hij kan de vraag beantwoorden. Alleen heeft hij daarvoor een bestand in handen dat veel meer zegt dan wat er is gevraagd.

De vraag heeft vier velden nodig: het domein van de dienst, de dag, een telling, en een categorie. De gebruiker zit er niet bij. Alles wat de proxylog verder bevat is niet alleen overbodig, het verandert het karakter van de meting.

Welke vraag beantwoord je eigenlijk?

Voordat je gegevens kiest, is het goed om de vraag precies te stellen. In de praktijk zijn het er drie. Welke AI-diensten worden in de organisatie geopend? Is daar een besluit over genomen? En beweegt het gebruik naar de tools die we hebben aangewezen, of ervandaan?

Alle drie gaan over diensten en over de organisatie als geheel. In geen van de drie komt een persoon voor. Dat is geen toevallige formulering; het is de reden dat meten en volgen twee verschillende dingen zijn, zoals AI-monitoring versus medewerkersmonitoring uitwerkt. Welke cijfers daaruit de moeite waard zijn voor een bestuur staat in AI-gebruik meten.

Er is één vraag die wel om een persoon vraagt: wie deed dit, bij een concreet incident. Dat is een onderzoeksvraag met een eigen procedure en een eigen grondslag. Stop hem niet in de meting, want dan draagt de meting voortaan de eisen van het onderzoek.

Wat betekent dataminimalisatie bij een meting?

De AVG vraagt in artikel 5 lid 1 onder c dat persoonsgegevens toereikend, ter zake dienend en beperkt zijn tot wat noodzakelijk is voor het doel. Meestal wordt dat gelezen als een rem: verzamel minder. Bij een meting werkt het beter andersom. Begin bij het doel, bepaal welke velden dat doel nodig heeft, en leg alleen die vast.

Dan blijkt iets prettigs. Een meting die alleen domein, dag, aantal en categorie bevat, zegt niets over een persoon. Je hoeft hem niet te beveiligen als personeelsdossier, niet kort te bewaren, en niet te verantwoorden als registratie van gedrag. Wat je niet vastlegt, kan ook niet lekken of worden opgevraagd.

Welke gegevens heb je nodig, en welke niet?

GegevenNodig?Waarom
Registreerbaar domein van de dienstJaZegt welke tool het is, en koppelt de waarneming aan een besluit in het register
Dag van de waarnemingJaMaakt een trend mogelijk: deze week, vorige maand, na een besluit
Aantal (telling)JaHoe breed een tool wordt gebruikt, en of dat groeit
Categorie: gebruiksdoel of frequentieklasseJa, als tellingZegt waar AI in het werk zit en of het proberen of routine is
Status van de tool in het registerJaKomt niet uit de meting maar uit het besluit; samen geven ze het aandeel via toegestane tools
Gebruikers-id of e-mailadresNeeVoegt niets toe aan de drie vragen, maakt van een telling een gedragsregistratie
Inhoud van de promptNeeZegt iets over de persoon en de klant, niets over de tool
Pad achter het domeinNeeBevat vaak een gespreks-id of een stuk van de vraag
Tijdstip op de secondeNeeEen dag volstaat voor de trend; seconden maken een kleine groep herleidbaar
AfdelingAlleen met ondergrensBruikbaar voor gerichte hulp, maar een afdeling van drie is een persoon

De rechterkolom is de kern. Bij elk veld dat je toevoegt hoort het antwoord op de vraag welke van de drie governancevragen er beter van wordt. Is dat antwoord "geen", dan gaat het veld eruit.

Waarom is het pad erger dan het lijkt?

Het domein chatgpt.com zegt dat iemand ChatGPT opende. Het volledige adres daarachter bevat bij veel AI-tools een gespreks-id, en bij zoekgerichte tools soms de vraag zelf. Wie "alleen de URL" logt, logt daarmee welk gesprek iemand voerde, en soms waarover.

Dat is het verschil tussen een telling en een dossier, verpakt in één veld dat er onschuldig uitziet. Het registreerbare domein is genoeg om te weten of een dienst wordt gebruikt. De rest van het adres zegt iets over de persoon.

Hoe ziet dat eruit in de praktijk?

Het ingenieursbureau kiest voor de vier velden. Na een maand ziet het beeld er zo uit: Copilot is de meest geopende tool, maar niet de enige. ChatGPT en Perplexity komen dagelijks voor, en er staan drie gespecialiseerde tools tussen die niemand kende: een tool die tekeningen samenvat, een vertaaltool en een transcriptietool voor vergaderingen. Over twee daarvan is nog geen besluit genomen, simpelweg omdat ze nog in geen enkel overzicht stonden.

Niemand hoeft te weten wie ze opende. De tekeningentool verwerkt tekeningen van klanten, dus daar komt een besluit. De transcriptietool verwerkt stemmen en namen, dus daar ook. De rest wacht. Over drie maanden kijkt de beheerder of het gebruik naar de aangewezen tools is verschoven. Dat alles zonder één naam in het bestand.

Het laat ook zien waarom een eenmalige inventarisatie snel achterloopt: de drie onbekende tools zaten in geen enkele vragenlijst, omdat niemand wist dat hij ernaar moest vragen.

Hoe past dit in de inrichting van BeeSensible?

De extensie merkt op wanneer iemand een AI-tool opent en meldt alleen het registreerbare domein, hooguit één keer per dag per apparaat, zonder gebruikers-id, zonder pad en zonder pagina-inhoud. Hoe vaak iemand AI gebruikt (dagelijks, wekelijks, af en toe) wordt op het apparaat zelf bepaald en één keer per maand als anonieme telling per categorie gemeld. Voor de vraag waarvoor AI wordt gebruikt wordt in de cloudmodus alleen de eerste prompt van een gesprek ingedeeld in één van zeven categorieën, waarna de tekst wordt weggegooid en alleen de categorie telt.

In het dashboard leest dat als cijfers over de organisatie: welke tools, hoeveel, welk aandeel via toegestane tools, en wat er gebeurde na een melding. Nergens een uitsplitsing per medewerker.

Detections over timeLast 30 days
12,438+18% vs the previous period
Detections by platform
ChatGPT
ChatGPT
78% adjusted
8,124
Gmail
81% adjusted
3,210
Gemini
74% adjusted
812
Most encountered data types
Name
4,212
Email address
2,930
Credit card
1,486
Account number
1,104
Diagnosis
612
SensitiveHighly sensitive
BeeSensible-dashboard: geaggregeerde detecties en topbronnen, zonder individuele medewerkers te volgen.

Inzicht per afdeling staat standaard uit. Wie het aanzet, ziet een afdeling pas vanaf vijf personen en zeven dagen; kleinere afdelingen vallen samen in "Overig". Dat is de ondergrens uit de tabel, ingebouwd in plaats van afgesproken. De volledige afweging, ook over wat geaggregeerde cijfers wel en niet kunnen beloven, staat in AI-governance zonder medewerkers te monitoren en op de onderwerppagina over AI-governance. Hoe het register van tools en besluiten eruitziet, staat op de pagina over AI-tools.

Wat vraag je aan een leverancier of aan je eigen log?

Loop de tabel langs en stel per veld dezelfde vraag: wordt dit vastgelegd, en zo ja, waarvoor? Let vooral op drie antwoorden. Een gebruikers-id "voor de deduplicatie" kan meestal op het apparaat worden opgelost. Een volledige URL "voor het gemak" is het pad uit de alinea hierboven. En een export "voor de support" is de plek waar een telling alsnog per persoon leesbaar wordt.

Dezelfde vragen gelden voor je eigen proxylog. Die bevat waarschijnlijk alles uit de tabel, inclusief de rechterkolom. Dat is geen reden om hem weg te doen; het is een reden om er geen meting van AI-gebruik van te maken, maar die meting apart in te richten met de vier velden die ze nodig heeft.

Pak voor je volgende meting de tabel erbij en streep alles door wat geen van de drie vragen beantwoordt. Wat overblijft is genoeg voor de directie, en het is het eerste wat je de ondernemingsraad laat zien.

FAQ

Veelgestelde vragen

Kun je AI-gebruik meten zonder gebruikers-id?

Ja. De vragen die een organisatie wil beantwoorden gaan over tools en over de organisatie: welke diensten worden geopend, hoe vaak, en welk deel daarvan via toegestane tools loopt. Geen van die vragen heeft een persoon nodig. Een gebruikers-id voegt alleen de mogelijkheid toe om iemand aan te spreken, en dat is een andere vraag met een andere grondslag.

Waarom is het pad achter het domein een probleem?

Omdat het pad bij veel AI-tools een gespreks-id bevat, en soms een deel van de vraag. Wie het volledige adres vastlegt, legt daarmee vast wélk gesprek iemand voerde en kan dat later koppelen. Voor de vraag of de dienst wordt gebruikt is het registreerbare domein genoeg: chatgpt.com zegt wat je wilt weten, de rest zegt iets over de persoon.

Is een telling per dag niet te grof?

Voor de governancevraag niet. Of een dienst op een dag is geopend, hoe veel apparaten dat deden, en hoe dat per week verschuift, is precies het beeld dat je nodig hebt om te besluiten en om te zien of een besluit landt. Een tijdstip op de seconde voegt daar niets aan toe, en maakt een telling in een klein team wel herleidbaar tot één persoon.

Wat is het verschil tussen een telling en een gedragsregistratie?

Een telling zegt dat iets is gebeurd en hoe vaak: dit domein, deze dag, zo veel keer. Een gedragsregistratie zegt wie het deed. Technisch is het verschil één veld in de database, juridisch is het het verschil tussen organisatiecijfers en een verwerking van persoonsgegevens over medewerkers, met alles wat daarbij hoort aan grondslag, transparantie en medezeggenschap.

Hoe legt BeeSensible dit vast?

De extensie meldt alleen het registreerbare domein van een AI-tool, hooguit één keer per dag per apparaat, zonder gebruikers-id, zonder pad en zonder pagina-inhoud. Hoe vaak iemand AI gebruikt wordt op het apparaat zelf bepaald en als anonieme telling per categorie gemeld. Het dashboard kent nergens een uitsplitsing per medewerker.

Portret van Rens Timmermans van BeeSensible

Liever iemand die het laat zien?

Rens, BeeSensible

Ik geef je graag een rondleiding van twintig minuten. Laat je gegevens achter, dan zoek ik een moment dat jou uitkomt. Bellen of mailen mag natuurlijk ook.

Liever eerst iemand spreken? Plan een call.

Wil je een live demo, of een offerte voor 100+ gebruikers? Laat je gegevens achter en we nemen binnen één werkdag contact op.