SageMaker AI ve Bedrock AgentCore ile Ajan Odaklı İş Akışları Oluşturma

Ajanlık iş akışları oluştururken karşılaşılan yaygın bir zorluk, yönetilen temel modelleri kendi maliyet optimize edilmiş veya alan adına özgü modellerinizle karıştırmak ve ajan çerçevesini yeniden yazmaktır. Bu yazı, Amazon SageMaker AI üzerindeki OpenAI uyumlu uç noktaları Amazon Bedrock AgentCore çalışma zamanı ve yönetilen dağıtımıyla nasıl birleştireceğinizi gösterir. Mimari, üç model barındırma yolunu tek bir Amazon Bedrock AgentCore kapsayıcısı üzerinden bağlar: niyet sınıflandırma ve yönlendirme için bir orkestratör ajanı (Bedrock üzerinde Claude Haiku 4.5), bütçe dağılımları için bir bütçe ajanı (Bedrock üzerinde Claude Sonnet 4.6) ve araç çağırma kullanarak hisse senedi analizi için bir finansal analiz ajanı (Amazon SageMaker AI üzerinde Qwen 3.5 9B). Dağıtım, uzun süreli oturumlar için otomatik olarak yenilenen taşıyıcı belirteçleri, Strands Agents'ın 'ajanları araç olarak kullanma' desenini kullanmayı ve bedrock-agentcore-starter-toolkit ile dağıtımı içerir. Önemli bir zorluk, Amazon Bedrock AgentCore çalışma zamanının ajanları otomatik olarak OpenTelemetry ile enstrümante etmesi, ancak SageMaker OpenAI uyumlu uç noktaların otomatik belirteç telemetrisi almamasıdır. Çözüm, SageMaker ajan çağrısını saran gen_ai.chat yayılımlarını manuel olarak yaymak ve belirteç kullanımını Strands' AgentResult.metrics.accumulated_usage'dan çıkarmaktır. Ayrıca, vLLM akış yanıtlarında varsayılan olarak bir kullanım parçası içermediğinden stream_options: {"include_usage": True} ayarlanmalıdır. Yazı ayrıca adım adım yapılandırmayı, örnek iz çıktısını, önemli çıkarımları ve deseni ince ayarlı modellerle genişletmeyi, çıkarım bileşenleriyle A/B testini ve maliyet bilinçli yönlendirmeyi kapsar.