What Building the Shippy Agent Taught Us: How to Build Reliable AI Agents for Operational Tasks
Allen Institute for AI
Anthropic
The Skylight (Ai2) team shared their experience developing Shippy, an AI agent for maritime awareness. The main challenge is ensuring reliability under high-stakes conditions. Shippy's architecture includes a "soul" (system prompt), skills (markdown files), and configuration. For determinism, the agent uses a CLI instead of direct API calls. Each user works in an isolated session via the Mothership platform. Agent evaluation is conducted on live data using custom scenarios; Shippy is open for testing by early users.
Tim Skylight (divisi Ai2) mengumumkan pembuatan Shippy, agen AI untuk kesadaran maritim secara real-time. Tantangan utamanya adalah keandalan: kesalahan dapat mengirim kapal patroli ke tempat yang salah. Arsitektur Shippy terdiri dari tiga bagian: soul (prompt sistem yang menetapkan batasan perilaku), skills (kumpulan instruksi dalam format markdown dengan frontmatter), dan configuration (lingkungan eksekusi OpenClaw, Large Language Model Claude Opus 4.6, parameter runtime). Skills menjelaskan permintaan umum: pencarian peristiwa, batas zona ekonomi eksklusif, interpretasi jalur kapal, pembuatan tautan ke peta. Untuk mengurangi ketidakpastian, Shippy mengakses API Skylight melalui Command Line Interface (CLI) khusus yang menangani autentikasi, paginasi, dan pemformatan keluaran. Ini menghilangkan kesalahan yang biasa terjadi pada panggilan langsung. Untuk mengisolasi data pengguna, dibangun platform Mothership: setiap sesi dibuatkan penyebaran Kubernetes terpisah yang terikat dengan JSON Web Token (JWT) pengguna. Evaluasi agen dilakukan pada data langsung: para ahli menulis skenario dengan kategori dan bobot, LLM-judge mengevaluasi setiap kriteria, hasilnya diagregasi dan dibandingkan dengan ambang batas. Pengujian dijalankan melalui kerangka kerja Harbor. Shippy terbuka untuk pengguna awal, rencana ke depan meliputi kontrol peta melalui agen, perutean permintaan ke berbagai model, dan memori lintas sesi. Pengalaman Shippy juga digunakan untuk proyek EarthRanger dan OlmoEarth.
Sumber: Hugging Face blog —
asli