Tekoäly-ohjausautomaatti: hyväksyttyjen tehtävien määrä kolmetoistakertaistui

Tiimi rakensi tekoälyllä toimivan autopilottiputken, joka vie tehtävät YouTrackista aina lopputarkistukseen asti reaaliaikaisessa 2D/3D-käyttöliittymässä. Ennen autopilottia projektiin hyväksyttiin alle viisi tehtävää viikossa; sen jälkeen noin 60, ja tekoäly hoiti kolme neljäsosaa niistä. Myös uusien tiketöintien määrä kasvoi lähes kolminkertaiseksi, osittain siksi, että käyttäjät alkoivat ilmoittaa ongelmista nyt kun korjaukset olivat nopeita. Mediaaniaika ensimmäiseen korjaukseen putosi lähes kolmesta päivästä alle yhteen päivään. Tiimi selvitti yli 700 tehtävän ruuhkan, joista 144 oli yli yhdeksän kuukautta vanhoja, ja lähes kaksi kolmasosaa niistä hyväksyttiin. Uudelleenavausten määrä kuitenkin nousi noin 11 prosentista korkeammaksi, usein siksi, että tekoälyn tuottamat todisteet eivät olleet vakuuttavia. Vastauksena tähän he ottivat käyttöön riippumattoman tarkastuskierroksen, joka hylkäsi työn noin kolmasosassa ajoista ja poimi väärinymmärretyt tehtävät. Järjestelmä toimi 869 tuntia lähes kahdeksan viikon aikana, mikä vastaa noin 2,8 kokopäiväistä insinööriä. Kuukausitilaus maksoi noin 500 dollaria, kun taas vastaava token-pohjainen hinnoittelu olisi ollut noin 5700 dollaria. Claude oli halvempi mutta vähemmän tarkka, kun taas Codex oli kalliimpi mutta parempi GUI-tarkistuksissa. Tiimi suunnittelee siirtävänsä Codexin GUI-ohjaajan rooliin ja käyttävänsä yksinkertaisempaa mallia tarkastukseen.