Amazon SageMaker Python SDK integriert Optimierungstools für große Sprachmodelle

Das Amazon SageMaker Python SDK v3 führt Empfehlungen für generative KI-Inferenz ein, die es Nutzern ermöglichen, die Bereitstellung großer Sprachmodelle zu optimieren. Der Dienst benchmarkt Live-Endpunkte mit synthetischem oder echtem Datenverkehr, misst Durchsatz, Zeit bis zum ersten Token (Time-to-First-Token, TTFT) und Latenz und generiert nach Kosten-Leistungs-Abwägungen sortierte Bereitstellungsempfehlungen. Nutzer können die am besten bewertete Konfiguration direkt auf einem Amazon SageMaker-Echtzeit-Endpunkt bereitstellen. Die neue SDK-Schnittstelle, verfügbar im Paket „sagemaker.serve.ai_inference_recommender“ ab Version 3.17.0, umfasst Operationen wie ModelBuilder.from_jumpstart_config, start_benchmark, generate_deployment_recommendations und deploy. Der Beitrag demonstriert einen End-to-End-Workflow: Empfehlungen generieren, Ergebnisse interpretieren, bereitstellen, benchmarken und Frameworks wie LMI und vLLM vergleichen. Er erklärt außerdem, wie man wichtige Kennzahlen liest und zwischen Konfigurationen basierend auf Leistungszielen wählt, sowie wie man aus einem zuvor ausgeführten Empfehlungsauftrag mithilfe von ModelBuilder.from_recommendation_job bereitstellt.