Pilot met data-agent: sjabloon voor opdracht, acceptatietest met 50 vragen en vijf meetpunten om te stoppen

Het GlowByte BI-team, voortbouwend op het materiaal van FanRuan over datagenten, stelt dat het kopen van een tool eenvoudig is, maar dat het opzetten van een pad van een bedrijfstaak naar een werkend scenario moeilijk is. Ze schetsen zes stappen voor een pilot: het selecteren van een testbaar scenario op basis van frequentie, kosten van fouten, datagrenzen en het bestaan van een referentiestandaard; het formaliseren van een briefing met velden zoals metrieken, bronnen, afwijkingsdrempels en acceptatiecriteria; het strikt voorbereiden van data voor het scenario, met controle van vijf vragen over metriekberekening, databron, toegangsrechten, update-timing en begrip van bedrijfstermen door het model; het uitvoeren van acceptatie met 30-50 echte vragen uit het afgelopen kwartaal, waarbij antwoorden worden gecategoriseerd als nauwkeurige treffers, plausibele maar onjuiste antwoorden en weigeringen, met als vereiste nul plausibele onjuiste antwoorden voor kernmetrieken; het plaatsen van menselijke controlepunten op basis van kosten van fouten en omkeerbaarheid, met definiëring van wie het scenario kan stoppen; en het meten van de bedrijfsvoering na twee maanden met vijf metrieken: aandeel geaccepteerde antwoorden, vrijgekomen tijd, reactietijd, aantal nieuwe uitzonderingen per week en aandeel weigeringen, dat merkbaar maar niet groeiend moet zijn. Ze benadrukken de noodzaak van een benoemde scenario-eigenaar vanuit de business, niet vanuit IT of een externe integrator. Na een pilot blijven er zes artefacten over, waardoor het tweede scenario goedkoper wordt. De pilot is geen technologietest, maar een test van het vermogen van het bedrijf om taken te stellen en het scenario te onderhouden.