تحديث أمازون سيج ميكر بايثون إس دي كي يدمج أدوات تحسين نماذج اللغة الكبيرة

أحدث إصدار من Amazon SageMaker Python SDK v3 تقديم توصيات استدلال الذكاء الاصطناعي التوليدي، مما يتيح للمستخدمين تحسين نشر نماذج اللغة الكبيرة. تقوم الخدمة بقياس أداء نقاط النهاية الحية مقابل حركة مرور اصطناعية أو حقيقية، وتقيس الإنتاجية، والوقت حتى أول رمز (TTFT)، وزمن الاستجابة، وتولد توصيات نشر مرتبة بناءً على مفاضلات التكلفة والأداء. يمكن للمستخدمين نشر التكوين الأعلى ترتيبًا مباشرةً إلى نقطة نهاية Amazon SageMaker في الوقت الفعلي. تتضمن واجهة SDK الجديدة، المتاحة في حزمة sagemaker.serve.ai_inference_recommender بدءًا من الإصدار 3.17.0، عمليات مثل ModelBuilder.from_jumpstart_config و start_benchmark و generate_deployment_recommendations و deploy. يوضح المنشور سير عمل شامل من البداية إلى النهاية: توليد التوصيات، تفسير النتائج، النشر، قياس الأداء، ومقارنة الأطر مثل LMI و vLLM. كما يشرح كيفية قراءة المقاييس الرئيسية والاختيار بين التكوينات بناءً على أهداف الأداء، وكيفية النشر من وظيفة توصية تم تشغيلها مسبقًا باستخدام ModelBuilder.from_recommendation_job.