Trí tuệ nhân tạo Tự lái: luồng nhiệm vụ được chấp nhận tăng gấp mười ba lần

Nhóm nghiên cứu đã xây dựng một quy trình phi công AI tự động hóa, đưa các nhiệm vụ từ YouTrack đến giai đoạn xác minh trong giao diện đồ họa 2D/3D trực tiếp. Trước khi có hệ thống này, dự án chỉ chấp nhận dưới 5 nhiệm vụ mỗi tuần; sau đó, con số tăng lên khoảng 60, với AI xử lý ba phần tư trong số đó. Số yêu cầu mới cũng tăng gần gấp ba lần, một phần do người dùng bắt đầu báo cáo sự cố khi các bản sửa lỗi được xử lý nhanh chóng. Thời gian trung bình để có bản sửa lỗi đầu tiên giảm từ gần ba ngày xuống dưới một ngày. Nhóm đã xử lý một lượng tồn đọng hơn 700 nhiệm vụ, trong đó có 144 nhiệm vụ tồn tại hơn chín tháng, và gần hai phần ba số đó được chấp nhận. Tuy nhiên, tỷ lệ mở lại tăng từ khoảng 11% lên mức cao hơn, thường do các minh chứng do AI tạo ra không thuyết phục. Để đối phó, họ đã thêm một bước kiểm toán độc lập, từ chối khoảng một phần ba số lần chạy và phát hiện các nhiệm vụ bị hiểu sai. Hệ thống đã chạy tổng cộng 869 giờ trong gần tám tuần, tương đương khoảng 2,8 kỹ sư toàn thời gian. Chi phí thuê bao hàng tháng khoảng 500 đô la, trong khi giá theo token tương đương sẽ là khoảng 5.700 đô la. Claude rẻ hơn nhưng kém nghiêm ngặt hơn, trong khi Codex đắt hơn nhưng tốt hơn trong việc xác minh giao diện đồ họa. Nhóm dự định chuyển Codex sang vai trò phi công GUI và sử dụng một mô hình đơn giản hơn cho việc kiểm toán.