Amazon SageMaker Python SDK'sine LLM Optimizasyon Araçları Entegre Edildi
Amazon Web Services
Amazon SageMaker Python SDK sürüm 3 artık üretken yapay zeka çıkarım önerilerini içeriyor ve kullanıcıların uç noktaları karşılaştırmasına, dağıtım önerileri oluşturmasına ve not defterlerinden doğrudan dağıtım yapmasına olanak tanıyor. sagemaker.serve.ai_inference_recommender paketi altında sunulan yeni yetenekler, çıkarım optimizasyonunu otomatikleştirir ve mevcut iş akışlarıyla entegre olur.
Amazon SageMaker Python SDK v3, büyük dil modellerinin dağıtımını optimize etmeyi sağlayan üretken yapay zeka çıkarım önerileri sunar. Hizmet, canlı uç noktaları sentetik veya gerçek trafiğe karşı kıyaslar, iş hacmini, ilk belirtece kadar geçen süreyi (TTFT) ve gecikmeyi ölçer ve maliyet-performans dengesine dayalı sıralı dağıtım önerileri üretir. Kullanıcılar, en üst sıradaki yapılandırmayı doğrudan bir Amazon SageMaker gerçek zamanlı uç noktasına dağıtabilir. sagemaker.serve.ai_inference_recommender paketinde 3.17.0 sürümünden itibaren kullanılabilen yeni SDK arayüzü, ModelBuilder.from_jumpstart_config, start_benchmark, generate_deployment_recommendations ve deploy gibi işlemleri içerir. Yazı, uçtan uca bir iş akışını göstermektedir: öneri üretme, sonuçları yorumlama, dağıtım, kıyaslama ve LMI ile vLLM gibi çerçeveleri karşılaştırma. Ayrıca, temel metriklerin nasıl okunacağını, performans hedeflerine göre yapılandırmalar arasında nasıl seçim yapılacağını ve ModelBuilder.from_recommendation_job kullanarak önceden çalıştırılmış bir öneri işinden nasıl dağıtım yapılacağını açıklar.
Kaynak: AWS ML blog —
orijinal