AWS Giới thiệu Giới hạn Tốc độ cho Lưu lượng AI trên Cổng AgentCore

Amazon Web Services (AWS) đã công bố một tính năng để cấu hình giới hạn tốc độ cho lưu lượng AI trên cổng AgentCore của mình. Khả năng này được thiết kế để giúp các tổ chức quản lý khối lượng yêu cầu gửi đến các mô hình AI, ngăn chặn tình trạng quá tải và kiểm soát chi phí. Cổng AgentCore hoạt động như một điểm truy cập tập trung cho các lệnh gọi mô hình AI, và tính năng giới hạn tốc độ mới cho phép kiểm soát chi tiết lưu lượng AI. Quản trị viên có thể thiết lập các chính sách để xác định tốc độ yêu cầu tối đa trên mỗi máy khách hoặc API, đảm bảo sử dụng công bằng và ổn định hệ thống. Điều này đặc biệt hữu ích cho các doanh nghiệp triển khai nhiều ứng dụng AI và cần phân bổ tài nguyên một cách hiệu quả. Tính năng này là một phần trong chiến lược AI rộng lớn hơn của AWS nhằm cung cấp cơ sở hạ tầng mạnh mẽ cho các khối lượng công việc AI.