Cách giảm chi phí LLM tới 70 lần: Kinh nghiệm chuyển từ Claude Sonnet sang Qwen 3.5 Flash

JobPath ban đầu sử dụng Claude Sonnet để cấu trúc các danh sách việc làm thô thành các thẻ có cấu trúc, tốn khoảng 2.000 USD/tháng. Để cắt giảm chi phí, họ đã đánh giá các lựa chọn thay thế bằng một bộ đánh giá gồm 50 vị trí tuyển dụng thực tế, được chấm điểm mù bởi Opus. Họ chọn Qwen 3.5 Flash với giá 0,0007 USD mỗi vị trí (30 USD/tháng), với chất lượng giảm từ 4,48 xuống 4,06. Các mô hình giá rẻ cho thấy vấn đề về kỷ luật: gọi công cụ rỗng với HTTP 200, sai kiểu trường, lỗi chính tả trong tên trường và nhầm lẫn mức lương. Họ thêm một lớp bảo vệ: thử lại, ép kiểu, kiểm tra mức lương tối đa và dự phòng thẻ một phần. Một bài học quan trọng là lỗi thanh toán nên dừng toàn bộ quy trình ngay lập tức; một lần, một khóa chết đã gây ra 16.000 cuộc gọi lãng phí qua đêm. Đối với các hành động quan trọng của người dùng, họ sử dụng cơ chế đóng khi thất bại (fail-closed) với các nhà cung cấp dự phòng. Các tính năng tương tác và chính vẫn dùng mô hình cao cấp. Chi phí trung bình hàng tháng giảm xuống còn khoảng 30 USD mà không có phàn nàn nào từ người dùng.