Pilote d'agent de données : modèle de cahier des charges, recette avec 50 questions et cinq métriques pour l'arrêter

L'équipe BI de GlowByte, s'appuyant sur les documents de FanRuan concernant les agents de données, soutient qu'acheter un outil est facile, mais qu'établir un chemin allant d'une tâche métier à un scénario fonctionnel est difficile. Ils décrivent six étapes pour un pilote : sélectionner un scénario testable en fonction de la fréquence, du coût de l'erreur, des limites des données et de l'existence d'une norme de référence ; formaliser un cahier des charges avec des champs tels que les métriques, les sources, les seuils d'écart et les critères d'acceptation ; préparer les données strictement pour le scénario, en vérifiant cinq questions concernant le calcul des métriques, la source des données, les droits d'accès, le calendrier de mise à jour et la compréhension des termes métier par le modèle ; réaliser l'acceptation en utilisant 30 à 50 questions réelles du dernier trimestre, en catégorisant les réponses en correspondances exactes, plausibles mais incorrectes, et refus, exigeant zéro réponse plausible mais incorrecte pour les métriques clés ; placer des points de contrôle humains en fonction du coût de l'erreur et de la réversibilité, en définissant qui peut arrêter le scénario ; et mesurer les opérations après deux mois en utilisant cinq métriques : la part de réponses acceptées, le temps libéré, le temps de réaction, le nombre de nouvelles exceptions par semaine et la part de refus, qui devrait être notable mais non croissante. Ils soulignent la nécessité d'un propriétaire de scénario nommé du côté métier, pas de l'informatique ni d'un intégrateur externe. Après un pilote, six artefacts restent, rendant le deuxième scénario moins coûteux. Le pilote n'est pas un test de technologie mais un test de la capacité de l'entreprise à définir des tâches et à maintenir le scénario.