Zelfde AI, verschillende kosten: de keuze van het framework verandert de prijs bijna drievoudig

Het AI-toolingbedrijf Composio testte Deepseek V4 Flash in vier verschillende agentframeworks: Claude Code, Codex, OpenCode en Oh My Pi. Ze voerden 30 taken uit met behulp van echte tools zoals Gmail, GitHub, Slack en Notion. Het resultaat: geen enkel framework was in alle categorieën het beste. Oh My Pi behaalde het hoogste slagingspercentage (17 van de 30), maar was het langzaamst (272 seconden per taak). OpenCode was het goedkoopst (0,073 dollar per succesvolle taak), Claude Code was het snelst (122 seconden) maar het duurst (0,195 dollar), ondanks dat het de minste toolcalls en outputtokens gebruikte. Zeven taken slaagden of faalden uitsluitend afhankelijk van het gebruikte framework. Over het geheel genomen lagen de slagingspercentages dicht bij elkaar, met OpenCode iets lager op 14 van de 30. De grootste verschillen zaten in prijs en snelheid: de keuze van het framework veranderde de kosten bijna drievoudig en de snelheid met 2,2 keer.