스팬에서 에이전트 시나리오로: 추적에 GenAI 뷰를 추가한 이유
OpenAI
Proto Observability Platform은 피드, 단계 그래프, 호출 그래프, 채팅의 네 가지 모드를 갖춘 전용 GenAI 추적 뷰를 도입했습니다. 각 모드는 순차적 실행에서 사용자에게 보이는 결과까지 에이전트 동작에 대한 다른 질문에 답합니다. 이 설계는 반복된 컨텍스트, 숨겨진 오류, 토큰 계산 문제와 같은 GenAI 계측의 실제 결함에 의해 주도되었습니다.
Proto Observability Platform은 트레이스에 GenAI 뷰를 추가하여 단순한 스팬 트리로는 에이전트 로직을 재구성하기 어려운 문제를 해결했습니다. 이 뷰는 네 가지 모드를 제공합니다. 작업을 시간 순서대로 타이밍과 함께 보여주는 피드(feed), 반복 작업을 축약하여 에이전트의 루프를 드러내는 단계 그래프(step graph), 각 호출을 고유한 인자와 상태와 함께 개별적으로 표시하는 콜 그래프(call graph), 그리고 잠재적으로 반복되는 메시지 히스토리에서 사용자 대화를 재구성하는 채팅 모드입니다. 개발자들은 몇 가지 실제 문제를 발견했습니다. 모든 모델 호출에 전체 대화 히스토리가 전송되어 중복이 발생했고, 운송 스팬(transport span)은 단순 합산 시 타이밍을 왜곡할 수 있었습니다. 구조화된 도구 결과에는 작업 상태가 성공으로 보여도 오류가 포함될 수 있어 오류 모델을 표시 모델과 분리했습니다. 또한 토큰 소비는 누적적이거나 작업별로 다를 수 있어 집계 전에 신중한 의미론적 감지가 필요했습니다. 이 표현은 각 모드가 답하는 질문과 관련 없는 세부 사항을 의도적으로 숨기지만, 원시 속성은 검증을 위해 계속 제공됩니다.
출처: Habr — хаб ИИ —
원문