Dari Span hingga Skenario Agen: Mengapa Kami Menambahkan Tampilan GenAI pada Trace
OpenAI
Proto Observability Platform telah memperkenalkan tampilan trace GenAI khusus dengan empat mode: feed, grafik langkah, grafik panggilan, dan obrolan. Setiap mode menjawab pertanyaan berbeda tentang perilaku agen, dari eksekusi berurutan hingga hasil yang terlihat pengguna. Desain ini didorong oleh cacat nyata dalam instrumentasi GenAI, seperti konteks berulang, kesalahan tersembunyi, dan masalah penghitungan token.
Proto Observability Platform menambahkan tampilan GenAI untuk trace, mengatasi kesulitan dalam merekonstruksi logika agen dari pohon span yang sederhana. Tampilan ini memiliki empat mode: feed yang menunjukkan operasi dalam urutan kronologis dengan waktu, grafik langkah yang menggabungkan operasi berulang untuk mengungkap loop agen, grafik panggilan yang menunjukkan setiap pemanggilan individual dengan argumen dan statusnya yang unik, dan mode obrolan yang merekonstruksi percakapan pengguna dari riwayat pesan yang mungkin berulang. Para pengembang menemukan beberapa masalah dunia nyata: riwayat percakapan lengkap dikirim dengan setiap panggilan model, yang menyebabkan duplikat; span transportasi dapat mendistorsi waktu jika dijumlahkan secara naif; hasil alat terstruktur mungkin mengandung kesalahan bahkan ketika status operasi tampak sukses, sehingga model kesalahan dipisahkan dari model tampilan; dan konsumsi token bisa bersifat kumulatif atau per operasi, yang memerlukan deteksi semantik yang cermat sebelum agregasi. Representasi ini sengaja menyembunyikan detail yang tidak relevan dengan pertanyaan yang dijawab oleh setiap mode, sementara atribut mentah tetap tersedia untuk verifikasi.
Sumber: Habr — хаб ИИ —
asli