SupabaseがEvalsをオープンソース化：実際のタスクでAIコーディングエージェントをベンチマーク

Supabaseは、AIエージェントがSupabaseを使ってどの程度うまく構築できるかをテストするためのベンチマークとフレームワークであるSupabase Evalsをオープンソース化しました。これは、Claude Code、Codex、OpenCodeなどのコーディングエージェントを、スキーマの構築、失敗したEdge Functionのデバッグ、壊れたRLSポリシーの修正などの実際のタスクに対して実行し、その結果をスコアリングします。このベンチマークは、supabase.com/evalsの公開リーダーボードと、毎日監視される内部回帰スイートを支えています。このフレームワークはApache-2.0ライセンスで利用可能で、pnpmを使用してローカルで実行できます。シナリオは、製品（データベース、認証、ストレージ）やトピック（RLS、セキュリティ）などの次元をカバーし、それぞれが実際のコンテナ化されたSupabaseスタックに対して実行されます。スコアリングは、決定的なチェックとLLM-as-a-judgeを組み合わせ、エージェントには1回の再試行が許可されます。主な発見としては、Opus 5やKimi K3などのトップモデルは支援なしで100%のスコアを達成した一方で、スキルが小規模モデルのギャップを埋めるのに役立ったことが挙げられます。弱点には、宣言型スキーマではなく手書きのマイグレーション、手動での認証検証、エージェント間でのドキュメント使用の一貫性の欠如などがあります。