Từ Token đến Tác vụ: Cách AI Tác nhân Dịch chuyển Trọng tâm Hạ tầng
Arm
AI tác nhân (agentic AI) đang chuyển trọng tâm từ sinh token sang thực thi các quy trình làm việc hoàn chỉnh. Trong mô hình mới này, các chỉ số chính không phải là tốc độ mô hình mà là chi phí tác vụ, độ trễ gọi công cụ và thời gian khởi động môi trường sandbox. Bộ xử lý trung tâm (CPU) và nút chính (head node) đóng vai trò quan trọng trong việc điều phối. Các chuẩn đánh giá truyền thống nhấn mạnh vào thông lượng token không còn phản ánh hiệu suất thực tế.
Agentic AI đang biến đổi yêu cầu về hạ tầng: chỉ số chính không còn là số lượng token được sinh ra, mà là hoàn thành thành công toàn bộ tác vụ. Không giống như chatbot đơn giản, quy trình agentic bao gồm lập kế hoạch, truy xuất ngữ cảnh, gọi công cụ và gọi giao diện lập trình ứng dụng (API), thực thi mã trong môi trường sandbox, xác minh kết quả và đo xa. Các chuẩn đánh giá truyền thống như thông lượng token và thời gian đến token đầu tiên không còn phản ánh hiệu năng thực tế. Thay vào đó, cần có các chỉ số quy trình: chi phí thực thi tác vụ, độ trễ gọi công cụ, thời gian khởi động sandbox và số lượng agent trên mỗi nút. Bộ xử lý trung tâm (CPU) và nút chính, quản lý định tuyến, chuẩn bị ngữ cảnh, chính sách và đo xa, đóng vai trò then chốt trong việc điều phối. Nút chính trở thành trung tâm điều khiển chiến lược cho hệ thống AI không đồng nhất. Arm coi đây là cơ hội nền tảng và đề xuất chip CPU Arm AGI của riêng mình, tối ưu hóa cho việc phối hợp các hành động xung quanh mô hình: quản lý bộ nhớ, tìm kiếm, công cụ, API, môi trường runtime, sandbox và khả năng quan sát. Mục tiêu không phải là thay thế bộ xử lý đồ họa (GPU), mà là làm cho toàn bộ hệ thống không đồng nhất hiệu quả hơn bằng cách tối ưu hóa toàn bộ đồ thị tác vụ, không chỉ luồng token. Các chuẩn đánh giá trong tương lai nên đánh giá mức độ nhanh chóng, chính xác, an toàn và hiệu quả mà hệ thống hoàn thành các tác vụ.
Nguồn: InfoQ 中国 —
bản gốc