Amazon SageMaker Python SDK sisältää nyt LLM-optimointityökalut

Amazon SageMaker Python SDK:n versio 3 tuo mukanaan generatiiviseen tekoälyyn liittyvät inferenssisuositukset, joiden avulla käyttäjät voivat optimoida suurten kielimallien käyttöönoton. Palvelu vertailee live-päätepisteitä synteettistä tai todellista liikennettä vasten, mittaa suorituskykyä, aikaa ensimmäiseen merkkiin (TTFT) ja viivettä, sekä tuottaa järjestettyjä käyttöönottosuosituksia kustannus- ja suorituskykynäkökohtien perusteella. Käyttäjät voivat ottaa käyttöön parhaiten sijoittuneen konfiguraation suoraan Amazon SageMakerin reaaliaikaisena päätepisteenä. Uusi SDK-rajapinta, joka on saatavilla sagemaker.serve.ai_inference_recommender-paketissa versiosta 3.17.0 alkaen, sisältää toimintoja kuten ModelBuilder.from_jumpstart_config, start_benchmark, generate_deployment_recommendations ja deploy. Artikkelissa esitellään kattava työnkulku: suositusten tuottaminen, tulosten tulkitseminen, käyttöönotto, vertailuanalyysi sekä kehysten, kuten LMI:n ja vLLM:n, vertailu. Siinä selitetään myös, miten lukea keskeisiä mittareita ja valita konfiguraatioiden välillä suorituskykytavoitteiden perusteella, sekä miten ottaa käyttöön aiemmin suoritetusta suositustyöstä käyttämällä ModelBuilder.from_recommendation_job -menetelmää.