Transformer les 73 commentaires de révision du patron en jeu de données : créer un jumeau numérique d'un relecteur
OpenAI
Un développeur dans une grande organisation a automatisé les rapports de faisabilité informatique à l'aide d'un pipeline de modèles de langage à grande échelle (LLM) et a dû faire face à une révision comportant 73 commentaires de son manager. Plutôt que de corriger manuellement, il a extrait les commentaires des fichiers DOCX, les a regroupés avec un LLM en 16 modèles et 6 catégories, et a constitué une liste de contrôle basée sur des règles. L'intégration de cette liste dans le pipeline en tant qu'étape de validation distincte et le marquage de la source de chaque affirmation (provenant du brief, d'une estimation ou d'une hypothèse) ont considérablement réduit les corrections répétées. Le lot suivant de documents est passé sans commentaires récurrents.
Un employé d'une grande organisation rédige des études de faisabilité technique pour des projets d'IA, une tâche qu'il avait automatisée avec un agent LLM qui rassemble les documents du projet, extrait le texte, remplit un JSON structuré et génère un DOCX à partir d'un modèle. Après avoir soumis neuf rapports, son manager les lui a retournés avec 73 commentaires, dont beaucoup étaient répétitifs et liés à des sources manquantes, des affirmations non étayées et des contradictions. Il a utilisé Python pour extraire les commentaires des fichiers DOCX, puis a fait regrouper par un LLM les 73 commentaires en 16 modèles répartis en 6 groupes, notamment le respect du brief, le soutien factuel, les limites de compétence, les choix architecturaux, la profondeur des questions et le franchissement d'étapes. Il a identifié que presque tous les commentaires étaient de nature épistémologique – exigeant un statut clair des affirmations, car le LLM produit un texte uniformément confiant. Il a apporté trois modifications au pipeline : marquer chaque affirmation comme [B] (issu du brief), [E] (estimation d'expert) ou [D] (hypothèse) ; ajouter une checklist comme étape distincte du pipeline ; et stocker la checklist dans la mémoire persistante de l'agent. Les quatre documents suivants ont été acceptés sans commentaires répétés, et seuls de nouveaux problèmes de fond subsistaient. L'auteur reconnaît la petite taille de l'échantillon et que l'effet provient en partie du marquage des sources lui-même, non pas pour contourner le relecteur mais pour formaliser ses normes de qualité implicites.
Source: Habr — хаб ИИ —
original