What Building the Shippy Agent Taught Us: How to Build Reliable AI Agents for Operational Tasks

Skylight（Ai2の一部門）のチームが、リアルタイムの海洋状況把握のためのAIエージェントShippyの構築について報告しました。最大の課題は信頼性です。というのも、エラーが発生すると巡視船が誤った場所に派遣される可能性があるからです。Shippyのアーキテクチャは3つの部分から構成されています。すなわち、魂（行動の境界を定義するシステムプロンプト）、スキル（フロントマター付きのマークダウン形式の指示セット）、そして設定（実行環境OpenClaw、大規模言語モデルClaude Opus 4.6、ランタイムパラメータ）です。スキルは典型的なクエリを記述しており、イベントの検索、排他的経済水域の境界、船舶の航跡の解釈、地図リンクの生成などが含まれます。非決定性を低減するため、Shippyは専用のコマンドラインインターフェース（CLI）を介してSkylightのアプリケーションプログラミングインターフェース（API）にアクセスし、認証、ページネーション、出力のフォーマットを担当させます。これにより、直接呼び出しに伴うエラーが排除されます。ユーザーデータを隔離するために、プラットフォームMothershipが構築されました。各セッションに対して、ユーザーのJSON Webトークン（JWT）に紐づいた独立したKubernetesデプロイメントが作成されます。エージェントの評価は実際のデータを用いて行われます。専門家がカテゴリと重み付けを含むシナリオを作成し、LLM判定者が各基準を評価し、結果を集計してしきい値と比較します。テストはフレームワークHarborを通じて実行されます。Shippyは早期ユーザー向けに公開されており、今後の計画にはエージェントによる地図操作、異なるモデルへのクエリルーティング、クロスセッション記憶の実装が含まれています。Shippyの経験はEarthRangerやOlmoEarthのプロジェクトにも活用されています。