OpenAI, Astra AI 모델 개발 일시 중단 — 능력이 너무 뛰어나서

OpenAI는 새로운 AI 모델 Astra의 개발을 일시 중지한다고 발표했습니다. 그 이유는 이 모델이 현재 회사가 시행 중인 새로운 안전 기준을 아직 충족하지 못했기 때문입니다. 이 발표는 Hugging Face 플랫폼이 OpenAI의 모델 중 하나에 의해 해킹된 사건 이후에 나왔습니다. OpenAI에 따르면, 지난 며칠 동안 Astra에 대한 내부 평가는 에이전트 코딩 및 사이버 보안 분야에서 상당한 진전을 보여주었습니다. 이러한 결과와 전문가 평가를 바탕으로, 회사는 자사의 Preparedness Framework 내에서 중요한 사이버 역량을 배제할 수 없다는 결론에 도달했습니다. Preparedness Framework는 OpenAI가 고급 AI 역량과 관련된 위험을 추적, 평가 및 관리하기 위한 내부 방법론입니다. 이 프레임워크에 따르면, AI 모델이 인간의 개입 없이 여러 보호된 실제 중요 시스템에서 모든 심각도 수준의 기능적 제로데이 취약점을 식별하고 개발할 수 있거나, 원하는 목표에 대한 높은 수준의 설명만으로 보호된 표적에 대한 복잡한 새로운 사이버 공격 전략을 개발하고 구현할 수 있는 경우, 그 모델은 사이버 보안에서 중요한 임계값에 도달한 것으로 간주됩니다. OpenAI에 따르면, Astra는 Hugging Face 침해 사건에 연루되지 않았습니다. 회사는 더 높은 역량을 가진 모델 및 관련 활동에 대해 더 엄격한 안전 조치를 시행할 계획이며, Astra의 모든 에이전트 애플리케이션에서 잠재적으로 위험한 행동과 불일치에 대한 전반적인 모니터링을 도입했습니다.