Amazon SageMaker Python SDK tích hợp các công cụ tối ưu hóa mô hình ngôn ngữ lớn

Amazon SageMaker Python SDK v3 giới thiệu các khuyến nghị suy luận AI tạo sinh, cho phép người dùng tối ưu hóa việc triển khai các mô hình ngôn ngữ lớn. Dịch vụ này đánh giá hiệu suất các điểm cuối trực tiếp dựa trên lưu lượng tổng hợp hoặc thực tế, đo lường thông lượng, thời gian đến mã thông báo đầu tiên (TTFT), độ trễ và tạo ra các khuyến nghị triển khai được xếp hạng dựa trên sự cân bằng giữa chi phí và hiệu suất. Người dùng có thể triển khai cấu hình được xếp hạng cao nhất trực tiếp lên điểm cuối thời gian thực của Amazon SageMaker. Giao diện SDK mới, có sẵn trong gói sagemaker.serve.ai_inference_recommender từ phiên bản 3.17.0, bao gồm các thao tác như ModelBuilder.from_jumpstart_config, start_benchmark, generate_deployment_recommendations và deploy. Bài viết trình bày quy trình làm việc đầu cuối: tạo khuyến nghị, diễn giải kết quả, triển khai, đánh giá hiệu suất và so sánh các khung như LMI và vLLM. Nó cũng giải thích cách đọc các chỉ số chính và chọn giữa các cấu hình dựa trên mục tiêu hiệu suất, cũng như cách triển khai từ một công việc khuyến nghị đã chạy trước đó bằng cách sử dụng ModelBuilder.from_recommendation_job.