Pokee AI ra mắt Pokee-Isaac 28B: mô hình tác tử có ngữ cảnh 10 triệu token hoạt động trong ranh giới khách hàng

Pokee AI đã phát hành Pokee-Isaac 28B, một mô hình nền tảng chỉ dành cho văn bản với 28 tỷ tham số, có cửa sổ ngữ cảnh 10 triệu token, nhắm đến các ngành được quản lý và các ứng dụng trên thiết bị nơi dữ liệu không thể rời khỏi ranh giới của khách hàng. Mô hình này được cấp phép, không phải là mã nguồn mở, và được phục vụ thông qua API tương thích OpenAI hoặc triển khai trong VPC, tại chỗ hoặc trên thiết bị, với hỗ trợ ngay từ ngày đầu cho vLLM và SGLang. Trên RULER, Isaac đạt 93,3% ở mức 10 triệu token, vượt qua mọi đường cơ sở khi vượt quá 2 triệu ngữ cảnh. Nó dẫn đầu BFCL v4 với 70,94 và τ³-bench với trung bình 0,662, đứng thứ hai trên Terminal-Bench 2.1 với 65,1% và thứ ba trên MCP-Atlas với độ phủ 74,59% nhưng ít lượt hơn. Trong các bài kiểm tra độ an toàn DTAP, Isaac ghi nhận tỷ lệ tấn công thành công kết hợp thấp nhất là 35,6% trong khi vẫn duy trì tỷ lệ thành công lành tính là 82,5%. Kết quả hiệu suất bao gồm TTFT là 23,6 giây ở 1 triệu token và 72,9 giây ở 10 triệu token trên một GPU lớp B200, với thông lượng prefill đạt 137.200 token/giây. Giá tạm thời là 0,15 đô la/1,00 đô la cho mỗi triệu token đầu vào/đầu ra. Isaac cũng chạy hoàn toàn trên thiết bị trên Intel Arc Pro B70, Core Ultra Series 3 và Qualcomm Snapdragon X2 Elite.