Von Spannen zum Agentenszenario: Warum wir eine GenAI-Ansicht des Traces hinzugefügt haben
OpenAI
Die Proto-Beobachtbarkeitsplattform hat eine eigene GenAI-Trace-Ansicht mit vier Modi eingeführt: Feed, Schrittdiagramm, Aufrufdiagramm und Chat. Jeder Modus beantwortet eine andere Frage zum Agentenverhalten, von sequenzieller Ausführung bis zu benutzersichtbaren Ergebnissen. Das Design wurde durch echte Defekte in der GenAI-Instrumentierung vorangetrieben, wie wiederholter Kontext, verborgene Fehler und Token-Zählungsprobleme.
Die Proto Observability Platform hat eine GenAI-Ansicht für Traces hinzugefügt, um die Schwierigkeit zu adressieren, Agentenlogik aus einem einfachen Spannenbaum zu rekonstruieren. Die Ansicht hat vier Modi: einen Feed, der Operationen in chronologischer Reihenfolge mit Timing anzeigt, einen Schrittgraphen, der wiederholte Operationen zusammenfasst, um die Schleife des Agenten zu offenbaren, einen Aufrufgraphen, der jeden einzelnen Aufruf mit seinen einzigartigen Argumenten und Status zeigt, sowie einen Chat-Modus, der die Konversation des Benutzers aus potenziell wiederholter Nachrichtenhistorie rekonstruiert. Die Entwickler stießen auf mehrere reale Probleme: Vollständige Konversationshistorien wurden bei jedem Modellaufruf gesendet, was zu Duplikaten führte; Transportspsannen konnten die Zeitmessung verzerren, wenn sie naiv summiert wurden; strukturierte Tool-Ergebnisse könnten Fehler enthalten, selbst wenn der Operationsstatus erfolgreich schien, daher wurde das Fehlermodell vom Anzeigemodell getrennt; und der Token-Verbrauch konnte kumulativ oder pro Operation sein, was eine sorgfältige Semantikdetektion vor der Aggregation erforderte. Die Darstellung verbirgt absichtlich Details, die für die Frage, die jeder Modus beantwortet, nicht relevant sind, während rohe Attribute für die Überprüfung verfügbar bleiben.
Quelle: Habr — хаб ИИ —
Original