Convirtiendo los 73 comentarios de revisión del jefe en un conjunto de datos: creando un gemelo digital de un revisor
OpenAI
Un desarrollador en una gran organización automatizó informes de viabilidad de TI utilizando un pipeline de modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) y se enfrentó a una revisión con 73 comentarios de su gerente. En lugar de corregir manualmente, extrajeron los comentarios de archivos DOCX, los agruparon con un LLM en 16 patrones y 6 grupos, y construyeron una lista de verificación de reglas. Integrar la lista en el pipeline como un paso de validación separado y marcar la fuente de cada declaración (del brief, la estimación o la suposición) redujo drásticamente las correcciones repetidas. El siguiente lote de documentos pasó sin comentarios recurrentes.
Un empleado de una gran organización redacta informes de viabilidad técnica para proyectos de inteligencia artificial, una tarea que había automatizado con un agente de LLM que recopila documentos del proyecto, extrae texto, completa un JSON estructurado y genera un DOCX a partir de una plantilla. Tras presentar nueve informes, su gerente se los devolvió con 73 comentarios, muchos repetitivos y relacionados con fuentes faltantes, afirmaciones sin respaldo y contradicciones. Usó Python para extraer los comentarios de los archivos DOCX y luego hizo que un LLM agrupara los 73 comentarios en 16 patrones dentro de 6 grupos, incluyendo el cumplimiento del encargo, el respaldo probatorio, los límites de competencia, las decisiones arquitectónicas, la profundidad de las preguntas y los puntos de control por fases. Identificó que casi todos los comentarios eran de naturaleza epistemológica, exigiendo un estatus claro de las afirmaciones, ya que el LLM produce un texto uniformemente seguro. Realizó tres cambios en el flujo de trabajo: marcar cada afirmación como [B] si proviene del encargo, [E] si es una estimación experta o [D] si es una suposición; añadir una lista de verificación como paso separado en el flujo; y almacenar la lista de verificación en la memoria persistente del agente. Los siguientes cuatro documentos pasaron sin comentarios repetidos, y solo quedaron nuevos problemas sustantivos. El autor reconoce el tamaño reducido de la muestra y que el efecto proviene en parte del propio marcado de fuentes, no para eludir al revisor, sino para formalizar los estándares de calidad implícitos del revisor.
Fuente: Habr — хаб ИИ —
original