De financieel directeur van een provincie loopt langs de werkplek van de beheerder. Vorig jaar zijn zeshonderd Copilot-licenties gekocht; hoeveel worden er gebruikt? De beheerder opent het beheercentrum en heeft binnen een minuut een getal: in de afgelopen dertig dagen heeft ruim een derde van de gebruikers met een licentie Copilot in minstens één app gebruikt. De tweede vraag komt meteen: en wat doet de rest?
Die tweede vraag kan het rapport niet beantwoorden. Copilot-gebruik meet je daarom in twee lagen: wat Microsoft laat zien over de licenties, en wat er in de organisatie aan AI-gebruik plaatsvindt, met Copilot als één van de tools. De eerste laag heb je al. De tweede moet je organiseren, en dat kan zonder één persoon te volgen.
Wat laat het Microsoft 365-beheercentrum zien?
Het beheercentrum heeft gebruiksrapporten voor Microsoft 365 Copilot. Die tonen per periode hoeveel gebruikers een licentie hebben, hoeveel daarvan Copilot hebben gebruikt, en in welke apps dat gebeurde: Teams, Word, Excel, PowerPoint, Outlook en Copilot Chat. Er is een detailweergave per gebruiker met de laatste activiteit per app; of daar namen staan of afgeschermde waarden, hangt af van een instelling in het beheercentrum. Microsoft past de indeling van deze rapporten geregeld aan, dus welke kolommen je precies ziet, kan verschuiven.
Voor drie vragen is dat genoeg. Hoeveel van de licenties zijn in een periode gebruikt, en wat kost het deel dat niet is gebruikt? In welke apps zit het gebruik, en is Copilot in Teams wel geland maar in Excel niet? En groeit het gebruik na een training, of zakt het weer terug? Dat zijn licentievragen, en het rapport is er goed in.
Wat laat het niet zien?
Alles wat niet Copilot is. Het rapport gaat over één dienst in de eigen tenant, en kan per definitie niets zeggen over ChatGPT, Perplexity, Gamma of de transcriptietool die een afdeling zelf heeft gevonden. Ook de consumentenversie van Copilot, geopend zonder werkaccount, valt erbuiten, want die hoort niet bij de tenant.
Daar komt bij dat "actief" alleen zegt dat iemand Copilot in de periode heeft gebruikt. Niet waarvoor, niet of het hielp, en niet of diezelfde persoon een uur later voor hetzelfde werk een andere tool opende. De tweederde zonder Copilot-gebruik uit de openingsscène zijn dus niet per se mensen zonder AI-gebruik. Het rapport weet dat gewoon niet.
| Vraag | Gebruiksrapport van Microsoft | Waarneming van al het AI-gebruik |
|---|---|---|
| Hoeveel licenties zijn gebruikt? | Ja | Nee |
| In welke Microsoft-app? | Ja | Nee, alleen het domein |
| Welke AI-tools zijn er naast Copilot in gebruik? | Nee | Ja |
| Wordt de consumentenversie van Copilot gebruikt? | Nee | Ja, als aparte regel |
| Welk aandeel van het AI-gebruik loopt via toegestane tools? | Nee | Ja |
| Wie was het? | Per gebruiker, tenzij afgeschermd | Nooit |
Waarom zijn een ongebruikte licentie en een onbekende tool hetzelfde probleem?
Terug naar de provincie. De waarneming die naast het rapport wordt gelegd, laat zien dat ChatGPT in de browser op meer apparaten wordt geopend dan Copilot, dat Perplexity bij de juristen dagelijks openstaat, en dat een transcriptietool voor vergaderingen in gebruik is waarover nooit iets is besloten. De ruim zestig procent zonder Copilot-gebruik blijkt voor een flink deel wel AI te gebruiken, alleen ergens anders.
Dat is één bevinding, van twee kanten bekeken. Wie naar de licenties kijkt, ziet onderbenutting. Wie naar de tools kijkt, ziet gebruik zonder besluit. Allebei zeggen ze dat de voorkeursroute niet de route in de praktijk is, en waarom mensen naast Copilot andere tools kiezen is de vraag die daarna komt. Een trainingsronde over Copilot lost dat niet op als Perplexity iets doet wat Copilot voor de juristen niet doet.
Hoe leg je de twee naast elkaar zonder personen te volgen?
Met drie afspraken die je vooraf maakt. De eerste: de waarneming van AI-gebruik telt per tool en per dag, zonder gebruikers-id. "Dit domein is vandaag op dit apparaat geopend" is genoeg om te weten hoeveel tools er zijn en hoe het gebruik verschuift, en te weinig om iemand aan te wijzen. Welke cijfers je dan overhoudt, en welke je kunt laten liggen, staat in AI-gebruik meten.
De tweede: het Microsoft-rapport gebruik je op organisatieniveau, met afgeschermde namen. De licentievraag heeft geen namen nodig, en een overzicht per persoon van wie Copilot wanneer gebruikte, valt al snel onder medewerkersmonitoring, met eisen aan doel en noodzaak en een rol voor de ondernemingsraad. Het onderscheid tussen die twee soorten meting staat in AI-monitoring versus medewerkersmonitoring.
De derde: het doel staat op papier voordat je meet. "Weten of de Copilot-licenties worden benut en of Copilot de voorkeursroute voor AI-gebruik is geworden" is een doel waar de cijfers bij passen. "Zien wie het beleid niet volgt" is dat niet, en dat is dan ook wat de cijfers niet kunnen.
BeeSensible levert de tweede laag. De extensie merkt op wanneer iemand een AI-tool opent en meldt alleen het domein, hooguit één keer per dag per apparaat, zonder gebruikers-id en zonder inhoud; Copilot staat daarin als gewone regel, en de consumentenversie en Microsoft 365 Copilot zijn in de catalogus aparte regels met een eigen risicoscore. Het scherm Risico toont het aandeel van het AI-gebruik dat via toegestane tools loopt, met de trend, en welke tools nog geen besluit hebben; nergens in het dashboard bestaat een uitsplitsing per medewerker. Wat de module verder doet staat op de productpagina.
