время до первого исправления сократилось с почти трех дней до менее одного. Команда расчистила бэклог из более чем 700 задач, взяв 144 задачи, возраст которых превышал девять месяцев, и почти две трети из них были приняты. Однако уровень повторного открытия вырос с примерно 11% до более высоких значений, часто потому, что сгенерированные ИИ доказательства были неубедительными. В ответ на это они внедрили независимую проверку, которая отклоняла работу примерно в трети прогонов и выявляла неправильно понятые задачи. Система работала 869 часов в течение почти восьми недель, что эквивалентно примерно 2,8 инженерам полной занятости. Ежемесячная подписка стоила около 500 долларов, в то время как эквивалентная цена на основе токенов составила бы около 5700 долларов. Claude был дешевле, но менее строгим, а Codex — дороже, но лучше в проверке графического интерфейса. Команда планирует перевести Codex на роль пилота в графическом интерфейсе и использовать более простую модель для аудита.