Hóa đơn AI gây sốc, các giám đốc điều hành đang suy nghĩ lại về toàn bộ vấn đề AI này

Một cuộc khảo sát của KPMG với hơn 2.000 giám đốc điều hành cấp cao tại 20 quốc gia cho thấy 29% gặp khó khăn trong việc hiểu chi phí vận hành khi mở rộng triển khai trí tuệ nhân tạo (AI) trong doanh nghiệp, và gần một nửa đang điều chỉnh lại lộ trình triển khai khi chi phí vượt quá giá trị kỳ vọng. Các nhà cung cấp như Anthropic, OpenAI, và GitHub đã chuyển từ đăng ký phí cố định sang tính phí dựa trên mức sử dụng theo token, gây ra sốc hóa đơn. Nghiên cứu của Gartner chỉ ra rằng chi phí lập trình hỗ trợ AI cho mỗi nhà phát triển có thể vượt quá mức lương trung bình toàn cầu vào năm 2028, đặc biệt ở các khu vực có mức lương thấp hơn. Một công cụ mã nguồn mở do một kỹ sư của Netflix tạo ra giúp cắt giảm đầu vào dư thừa (như lược đồ cơ sở dữ liệu và nhật ký) gửi đến các mô hình ngôn ngữ lớn (LLM), giúp người dùng tiết kiệm hàng trăm nghìn đô la chi phí token. Công cụ này sử dụng 'squasher' để loại bỏ sự dài dòng không cần thiết trước khi gửi.