동일한 AI, 다른 비용: 프레임워크 선택에 따라 가격이 거의 3배 차이

AI 도구 회사인 Composio는 Deepseek V4 Flash를 Claude Code, Codex, OpenCode, Oh My Pi라는 네 가지 에이전트 프레임워크에서 테스트했습니다. Gmail, GitHub, Slack, Notion과 같은 실제 도구를 사용하여 30개의 작업을 실행했습니다. 결과는 모든 범주에서 최고인 프레임워크는 없었습니다. Oh My Pi는 가장 높은 성공률(30개 중 17개)을 달성했지만 가장 느렸습니다(작업당 272초). OpenCode는 가장 저렴했고(성공적인 작업당 0.073달러), Claude Code는 가장 빨랐지만(122초) 가장 비쌌으며(0.195달러), 가장 적은 도구 호출과 출력 토큰을 사용했음에도 불구하고 그랬습니다. 7개의 작업은 사용된 프레임워크에 따라서만 성공하거나 실패했습니다. 전반적으로 성공률은 비슷했으며, OpenCode가 30개 중 14개로 약간 낮았습니다. 가장 큰 차이는 가격과 속도였습니다. 프레임워크 선택에 따라 비용은 거의 3배, 속도는 2.2배까지 달라졌습니다.