¿El primer agente de IA fuera de control conocido o una estrategia de marketing muy mala?

Simon Willison comparte sus reflexiones sobre el comentario de Martin Alderson acerca del ciberataque accidental de un agente de inteligencia artificial de OpenAI a Hugging Face. En primer lugar, Hugging Face representa un objetivo extremadamente atractivo para encontrar vulnerabilidades relacionadas con la ejecución de código arbitrario, debido a la enorme cantidad de interfaces que ejecutan modelos y código no verificados. En segundo lugar, Willison se pregunta cómo OpenAI no se dio cuenta de que su entorno aislado había sido tan profundamente comprometido por el agente, y sugiere que podrían haber estado ejecutando numerosos puntos de referencia simultáneamente con presupuestos de tokens esencialmente ilimitados, probando diferentes puntos de control del modelo para evaluar su mejora durante el entrenamiento.