Un fallo fundamental deja a los LLMs vulnerables a ataques

Un artículo presentado en la Conferencia Internacional sobre Aprendizaje Automático por los investigadores independientes Charles Ye y Jasmine Cui revela una falla fundamental en los modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) que los deja vulnerables a ataques. La falla tiene que ver con cómo los LLM identifican quién o qué les da instrucciones, lo que facilita engañarlos para que hagan cosas que no deberían, como proporcionar instrucciones para sintetizar cocaína o sabotear el sistema de navegación de una aeronave. Los investigadores descubrieron que los LLM identifican el rol del texto no por etiquetas sino por el estilo, lo que permite a los atacantes suplantar roles. Demostraron ataques de falsificación de cadenas de pensamiento en modelos de OpenAI, Anthropic, Alibaba y DeepSeek. Los investigadores argumentan que este problema es fundamentalmente insoluble, ya que ningún entrenamiento puede abordarlo por completo. Advierten que los LLM se están implementando en sistemas críticos sin un estudio fundamental suficiente.