Los Modelos de IA de Peso Abierto se Acercan a los de Frontera, Pero la Brecha de Seguridad Persiste
OpenAI
Anthropic
xAI
Google DeepMind
Un nuevo informe de la organización sin fines de lucro de seguridad de IA SaferAI revela que el modelo de peso abierto chino GLM-5.2 está solo a meses de distancia de los modelos de frontera en capacidades de cibernética y biología, pero carece de protecciones de seguridad. Mientras que los modelos de frontera como Claude Opus 4.7 rechazan la mayoría de las tareas dañinas, GLM-5.2 no rechazó ninguna, lo que resalta la creciente brecha de seguridad en la IA de peso abierto.
La evaluación de SaferAI sobre el modelo de pesos abiertos GLM-5.2 de Z.ai reveló que no rechazó ninguna de las tareas de ciberataques ofensivos o biología de doble uso, mientras que Claude Opus 4.7 de Anthropic se negó tan consistentemente que SaferAI no pudo completar el benchmark CyberGym. Los desarrolladores de frontera dependen de salvaguardas como clasificadores y entrenamiento de rechazo, pero estas no se aplican a los modelos de pesos abiertos que los usuarios pueden modificar libremente. El director ejecutivo de SaferAI, Henry Papadatos, enfatizó que la capacidad no es lo mismo que el riesgo y que las medidas de seguridad deben ser consideradas. Sugirió que el filtrado de datos de preentrenamiento podría ayudar, aunque es menos práctico para la ciberseguridad. Opus 5 de Anthropic restringe selectivamente cierta asistencia en ciberseguridad, como no buscar vulnerabilidades en software compilado. SaferAI señaló que Z.ai no publicó un marco de seguridad o una evaluación de riesgos para GLM-5.2. La política de IA china se centra más en contenido político que en riesgos catastróficos, según Graham Webster de Stanford. Los defensores argumentan que los pesos abiertos ayudan a la defensa, como cuando Hugging Face utilizó GLM-5.2 contra la brecha de OpenAI, pero Papadatos cree que las capacidades peligrosas no deberían ser de código abierto.
Fuente: TechCrunch AI —
original