Xây dựng môi trường doanh nghiệp cho AI tác nhân

Intel đã thực hiện hàng nghìn thí nghiệm với khối lượng công việc AI tác nhân và rút ra năm bài học cho các nhà lãnh đạo doanh nghiệp. Họ lập luận rằng AI tác nhân là một vấn đề hệ thống lớn hơn, không chỉ đơn thuần là suy luận (inference), và hầu hết các khung thử nghiệm (harness) hiện tại không đo lường được hiệu suất tổng thể của hệ thống. Năng lực nên được lập kế hoạch dựa trên mật độ tác nhân trên mỗi lõi ảo (vCPU), không phải số lượng tác nhân. Giám sát độ trễ tác vụ tác nhân (phân vị thứ 95) hữu ích hơn so với việc sử dụng trung bình CPU. Các hệ thống lưu trữ tác nhân nên mặc định mở rộng quy mô ngang (scale-out), dành việc mở rộng quy mô dọc (scale-up) cho các khối lượng công việc có tính toán tác nhân nặng hơn. Intel đã mở rộng Terminal-Bench để đánh giá hiệu năng của khối lượng công việc AI tác nhân, sử dụng phương pháp phát lại ghi lại (record-replay) xác định các phản hồi từ mô hình ngôn ngữ lớn (LLM) để tách biệt hiệu suất tác nhân khỏi sự biến thiên của LLM. Các tác vụ bao gồm biên dịch (compilation), kiểm thử (testing), thao tác cơ sở dữ liệu (database operations), v.v. Việc triển khai AI tác nhân nên tiến hành theo ba giai đoạn: lập kế hoạch theo mật độ tác nhân, áp dụng khả năng quan sát (observability) mới tập trung vào độ trễ phân vị thứ 95, và mặc định mở rộng quy mô ngang. Bài báo cũng xác định các vai trò trong doanh nghiệp đối với AI tác nhân: các nhà lãnh đạo chịu trách nhiệm cải thiện thời gian chu kỳ (cycle time), năng suất (productivity) và quản lý chi phí (cost management).