Mallien reititys: Yksinkertaista, kunnes todellisuus iskee vastaan

Reititys tekoälymallien välillä on petollisen monimutkaista. Testeissä, joissa käytettiin 417 tehtävää AppWorld Test Challengessa CodeAct-agentilla, GPT-4.1 maksoi 155 dollaria (0,37 dollaria per tehtävä), kun taas Claude Sonnet maksoi 79 dollaria (0,19 dollaria per tehtävä), vaikka GPT-4.1:n hinnoittelu per merkki on alhaisempi. Ero johtui välimuistista: Sonnetin alhaisempi välimuistin lukunopeushinnoittelu antoi sille suuren edun agenttityökuormissa, joissa kontekstia käytetään uudelleen. Tehtävien vaikeustaso on usein näkymätön reitityshetkellä, ja reitittimien on tasapainotettava samanaikaisesti kustannuksia, laatua, viivettä, vaatimustenmukaisuutta ja luotettavuutta. Viive riippuu infrastruktuuritekijöistä, kuten laitteistosta ja välimuistin tilasta, ei ainoastaan mallin koosta. Kirjoittajat rakensivat reitittimen, joka käsittelee reititystä optimointiongelmana eikä luokitteluna, tuottaen kustannus-tarkkuusrintaman. Konfiguraatio 1 saavutti 84 prosentin tarkkuuden 93 dollarilla ja 83 sekunnissa, vähentäen kustannuksia 21 prosenttia ja viivettä 9 prosenttia verrattuna pelkän Opuksen käyttöön, ja tarkkuuden lasku oli vain 4 prosenttia. Tavanomainen vaikeustasoon perustuva reititin (teal timantti) saavutti samanlaisen tarkkuuden mutta korkeammilla kustannuksilla. Optimointi on kevyt: noin 6 millisekuntia ja 2 kilotavua muistia per tehtävä.