Wat Shippy ons leerde over het bouwen van betrouwbare AI-agenten voor operationele taken
Allen Institute for AI
Anthropic
Het Skylight-team bij Ai2 bouwde Shippy, een AI-agent voor real-time domeinbewustzijn in de maritieme sector. De belangrijkste uitdagingen waren het waarborgen van betrouwbaarheid, correct gebruik van hulpmiddelen en isolatie van gebruikersgegevens. Shippy maakt gebruik van een deterministische CLI-tool, gesandboxde sessies via Mothership en een aangepast evaluatiesysteem met rubrieken van domeinexperts.
Het Skylight-team van Ai2 heeft Shippy gebouwd, een AI-agent voor real-time maritiem domeinbewustzijn, met focus op betrouwbaarheid. Shippy bestaat uit drie delen: soul (systeemprompt), skills (Markdown-bestanden die taken specificeren) en config (runtime-instellingen). Skills zijn gewone Markdown-bestanden die voldoen aan de agent-skills-specificatie die wordt gebruikt door Claude Code en Codex. In plaats van de API rechtstreeks aan te roepen, gebruikt Shippy een speciaal gebouwde CLI (Skylight CLI) die authenticatie, paginering en gestructureerde output afhandelt. Gebruikerssessies worden geïsoleerd via Mothership, dat per sessie een speciale Kubernetes-implementatie inricht. Het evaluatiesysteem gebruikt domeinexperts om scenario's en rubrics te schrijven, waarbij de agent wordt beoordeeld op live data met een LLM als beoordelaar. Shippy gebruikt momenteel Claude Opus 4.6 als zijn LLM. Toekomstplannen omvatten agent-gestuurde UI-bediening, modelroutering en cross-thread-geheugen.
Bron: Hugging Face blog —
origineel