Amazon Bedrock AgentCore Gözlemlenebilirlik ile Üretim Ajanlarını Optimize Etme
Amazon/AWS
AWS ML blogundaki bu yazı, yapay zeka ajanlarının üretime geçtikten sonra karşılaştığı performans ve bellek sorunlarını ele alıyor. Amazon CloudWatch ile Amazon Bedrock AgentCore Gözlemlenebilirliğini kullanarak darboğazları ve bellek sızıntılarını tespit etmek için rehberlik sağlıyor ve izleme ile optimizasyon için en iyi uygulamaları sunuyor.
Bu yazı, hata ayıklama ajanlarıyla ilgili bir serinin 2. bölümüdür ve doğru çalışan ancak kötü performans gösteren ajanlara odaklanmaktadır. Senaryo 3, performans darboğazlarını kapsar: belirtiler arasında kademeli gecikme artışları, P95 yanıt sürelerinin eşik değerleri aşması ancak düşük hata oranları yer alır. Teşhis için CloudWatch'ta yüksek gecikmeli çağrıları sorgulayın, OpenTelemetry izleri aracılığıyla istek zaman çizelgesini analiz edin ve bellek alma gecikmesini (200 ms'nin altında olmalıdır) ve araç çağırma gecikmesini kontrol edin. Kök nedenler arasında yavaş araç yürütme, aşırı belirteç üretimi ve sıralı işleme yer alır. Çözümler arasında önbelleğe alma, bağlantı havuzu oluşturma, veritabanı indeksleme, kısalık için istem optimizasyonu ve bağımsız araç çağrılarını paralel çalıştırma bulunur. Senaryo 4, uzun süreli oturumlarda bellek sorunlarını ele alır; burada bellek kullanımı sınırsız bir şekilde büyür, belirteç sınırlarına ve oturum hatalarına yol açar. Bunu belirlemek için yüksek bellek kullanımına sahip uzun oturumları sorgulayın, bellek çıkarma modellerini inceleyin ve çıkarma hatalarını kontrol edin. Kök nedenler arasında yanlış yapılandırılmış ayarlar yer alır; çözümler bellek birleştirme, ad alanı şablonları ve eventExpiryDuration ayarını içerir. Yazı, kapsamlı enstrümantasyon, CloudWatch alarmları, panolar ve proaktif izleme için AgentCore Değerlendiricileri ve İçgörüleri kullanma dahil olmak üzere üretimde en iyi uygulamalarla sona erer.
Kaynak: AWS ML blog —
orijinal