Span'lardan Ajan Senaryosuna: Trace'e Neden GenAI Görünümü Ekledik
OpenAI
Proto Gözlemlenebilirlik Platformu, dört modlu özel bir GenAI trace görünümü ekledi: besleme, adım grafiği, çağrı grafiği ve sohbet. Her mod, ajan davranışı hakkında sıralı yürütmeden kullanıcı görünür sonuçlarına kadar farklı bir soruyu yanıtlar. Tasarım, tekrarlanan bağlam, gizli hatalar ve token sayma sorunları gibi GenAI enstrümantasyonundaki gerçek kusurlardan kaynaklandı.
Proto Observability Platform, izlemeler için bir GenAI görünümü ekleyerek, basit bir span ağacından aracı mantığını yeniden oluşturmanın zorluğunu ele aldı. Görünümün dört modu var: işlemleri kronolojik sırada ve zamanlamalarla gösteren bir akış, tekrarlanan işlemleri birleştirerek aracının döngüsünü ortaya çıkaran bir adım grafiği, her bir çağrıyı benzersiz argümanları ve durumuyla gösteren bir çağrı grafiği ve potansiyel olarak tekrarlanan mesaj geçmişinden kullanıcının konuşmasını yeniden oluşturan bir sohbet modu. Geliştiriciler birkaç gerçek dünya sorunuyla karşılaştı: her model çağrısıyla birlikte tam konuşma geçmişleri gönderildi ve bu da tekrarlara yol açtı; taşıma spanları, saf bir şekilde toplanırsa zamanlamayı bozabilir; yapılandırılmış araç sonuçları, işlem durumu başarılı görünse bile hatalar içerebilir, bu nedenle hata modeli görüntüleme modelinden ayrıldı; ve belirteç tüketimi kümülatif veya işlem başına olabilir, bu da toplama öncesinde dikkatli anlamsal tespit gerektirir. Bu gösterim, her modun yanıtladığı soruyla ilgili olmayan ayrıntıları bilinçli olarak gizlerken, ham öznitelikler doğrulama için kullanılabilir durumda kalır.
Kaynak: Habr — хаб ИИ —
orijinal