Tiện ích bổ sung SageMaker AI Spaces mang JupyterLab và Code Editor được quản lý lên Amazon EKS

Tiện ích bổ sung SageMaker AI Spaces dành cho Amazon Elastic Kubernetes Service (EKS) cho phép chạy các môi trường phát triển tích hợp (IDE) tương tác như JupyterLab và Code Editor ngay trên các cụm EKS hiện có, giúp loại bỏ nhu cầu phải chuyển sang JupyterHub độc lập hoặc dùng laptop cá nhân. Nhờ đó, người dùng không còn phải lo mất quyền truy cập vào các node GPU, bộ nhớ dùng chung và các vai trò Identity and Access Management (IAM). Trong khi việc thiết lập một JupyterHub độc lập thông thường mất từ 3 đến 5 ngày, thì với tiện ích bổ sung này, một nhà khoa học dữ liệu có thể khởi chạy một Space được cấu hình đầy đủ chỉ trong khoảng năm phút. Giải pháp này vận hành trên một cụm EKS duy nhất, bao gồm các lớp phụ trách truy cập mạng, định tuyến và tính toán/lưu trữ, với sự tham gia của Route 53, Application Load Balancer (ALB), Traefik, Key Management Service (KMS) để mã hóa JSON Web Token (JWT), Elastic Block Store (EBS) cho các volume lưu trữ bền vững, cùng Elastic File System (EFS)/FSx cho bộ nhớ dùng chung. Việc hợp nhất hạ tầng theo cách này có thể giúp tăng mức sử dụng GPU lên tới 30%, đồng thời tránh được chi phí duy trì một môi trường GPU hoạt động liên tục vốn có thể lên tới hàng nghìn đô la mỗi tháng. Bài viết hướng dẫn từng bước cài đặt tiện ích bổ sung này, thiết lập các điều kiện tiên quyết như vai trò IAM, AWS Load Balancer Controller, chứng chỉ Transport Layer Security (TLS), khóa KMS và cấu hình AWS Systems Manager (SSM). Người dùng có thể truy cập Spaces thông qua một URL được ký trước (presigned URL) ngay trên trình duyệt, hoặc từ VS Code qua kết nối SSH-over-SSM. Bài viết cũng đề cập đến việc chuyển đổi các nhóm người dùng sang phương thức đăng nhập OpenID Connect thông qua Amazon Cognito.