RouteLLM

Microsoft công bố kiến trúc định tuyến tác tử LLM trên AKS, cắt giảm chi phí tới 85%

Microsoft đã công bố một kiến trúc tham chiếu cho việc định tuyến lưu lượng tác tử trên Azure Kubernetes Service (AKS), kết hợp RouteLLM để định tuyến ngữ nghĩa, agentgateway cho quản trị, và Kubernetes Gateway API Inference Extension để cân bằng tải có nhận biết GPU. Thiết kế này nhắm đến các khối lượng công việc tác tử, nơi nhiều lời gọi LLM không yêu cầu các mô hình tiên tiến, có thể tiết kiệm tới 85% chi phí. Tuy nhiên, mức tiết kiệm phụ thuộc vào việc hiệu chỉnh cặp mô hình và độ trưởng thành của các thành phần.

Microsoft OpenAI RouteLLM