Sama tekoäly, eri kustannukset: Kehysvalinta muuttaa hinnan lähes kolminkertaiseksi

Tekoälytyökaluja kehittävä yritys Composio testasi Deepseek V4 Flash -mallia neljässä eri agenttikehyksessä: Claude Code, Codex, OpenCode ja Oh My Pi. He suorittivat 30 tehtävää käyttäen oikeita työkaluja, kuten Gmailia, GitHubia, Slackia ja Notionia. Tuloksena oli, ettei yksikään kehys ollut paras kaikissa kategorioissa. Oh My Pi saavutti korkeimman onnistumisasteen (17/30), mutta oli hitain (272 sekuntia tehtävää kohti). OpenCode oli halvin (0,073 dollaria onnistunutta tehtävää kohti), Claude Code oli nopein (122 sekuntia), mutta kallein (0,195 dollaria), vaikka se käytti vähiten työkalujen kutsuja ja lähtömerkkejä. Seitsemän tehtävän onnistuminen tai epäonnistuminen riippui yksinomaan käytetystä kehyksestä. Kokonaisuudessaan onnistumisasteet olivat lähellä toisiaan, OpenCoden jäädessä hieman jälkeen 14/30. Suurimmat erot olivat hinnassa ja nopeudessa: kehyksen valinta muutti kustannuksia lähes kolminkertaisesti ja nopeutta 2,2-kertaisesti.