AI-Autopilot: Arus Tugas yang Diterima Tumbuh Tiga Belas Kali Lipat

Tim tersebut membangun pipeline autopilot AI yang mengambil tugas dari YouTrack hingga verifikasi dalam GUI 2D/3D langsung. Sebelum autopilot, proyek menerima kurang dari 5 tugas per minggu; setelahnya, sekitar 60, dengan AI menangani tiga perempatnya. Pengiriman tiket baru juga meningkat hampir tiga kali lipat, sebagian karena pengguna mulai melaporkan masalah sekarang setelah perbaikan cepat. Waktu rata-rata untuk perbaikan pertama turun dari hampir tiga hari menjadi kurang dari satu. Tim membersihkan tunggakan lebih dari 700 tugas, mengambil 144 yang berumur lebih dari sembilan bulan, dan hampir dua pertiganya diterima. Namun, tingkat pembukaan kembali naik dari sekitar 11% ke tingkat yang lebih tinggi, seringkali karena bukti yang dihasilkan AI tidak meyakinkan. Sebagai tanggapan, mereka memperkenalkan proses audit independen, yang menolak pekerjaan dalam sekitar sepertiga dari proses dan menangkap tugas yang salah interpretasi. Sistem berjalan selama 869 jam selama hampir delapan minggu, setara dengan sekitar 2,8 insinyur penuh waktu. Biaya langganan bulanan sekitar $500, sementara harga berbasis token yang setara akan sekitar $5700. Claude lebih murah tetapi kurang ketat, sedangkan Codex lebih mahal tetapi lebih baik dalam verifikasi GUI. Tim berencana untuk memindahkan Codex ke peran pilot GUI dan menggunakan model yang lebih sederhana untuk audit.