Enrutamiento de modelos: ¿sencillo? Hasta que te topas con la realidad

El enrutamiento entre modelos de IA no es solo un problema de clasificación, sino un desafío de optimización de sistemas. Factores del mundo real como el almacenamiento en caché, la infraestructura, la latencia y el cumplimiento normativo dominan, lo que convierte a las hojas de precios y la dificultad de las tareas en guías deficientes.

OpenAI Anthropic

Lo que construir Shippy nos enseñó sobre cómo construir agentes de IA fiables para tareas operativas

El equipo de Skylight en Ai2 construyó Shippy, un agente de IA para el conocimiento del dominio marítimo en tiempo real. Los principales desafíos fueron garantizar la fiabilidad, el uso correcto de las herramientas y el aislamiento de los datos del usuario. Shippy utiliza una herramienta CLI determinista, sesiones aisladas mediante Mothership y un sistema de evaluación personalizado con rúbricas de expertos en la materia.

Allen Institute for AI Anthropic