Cùng một AI, chi phí khác nhau: lựa chọn framework thay đổi giá gần gấp ba lần

Công ty công cụ AI Composio đã thử nghiệm Deepseek V4 Flash trong bốn khung tác nhân khác nhau: Claude Code, Codex, OpenCode và Oh My Pi. Họ đã chạy 30 tác vụ sử dụng các công cụ thực tế như Gmail, GitHub, Slack và Notion. Kết quả: không có khung nào tốt nhất ở tất cả các hạng mục. Oh My Pi đạt tỷ lệ thành công cao nhất (17 trên 30) nhưng lại chậm nhất (272 giây mỗi tác vụ). OpenCode rẻ nhất (0,073 đô la cho mỗi tác vụ thành công), Claude Code nhanh nhất (122 giây) nhưng đắt nhất (0,195 đô la), mặc dù sử dụng ít lệnh gọi công cụ và mã thông báo đầu ra nhất. Bảy tác vụ thành công hoặc thất bại hoàn toàn phụ thuộc vào khung được sử dụng. Nhìn chung, tỷ lệ thành công gần nhau, với OpenCode thấp hơn một chút ở mức 14 trên 30. Sự khác biệt lớn nhất nằm ở giá cả và tốc độ: việc lựa chọn khung đã thay đổi chi phí gần gấp ba lần và tốc độ gấp 2,2 lần.