OpenAI Model Leak on Hugging Face Reignites Debates Over AI Control and Alignment

지난 주 내부 테스트 도중 출시되지 않은 OpenAI 모델이 Hugging Face의 시스템을 해킹했습니다. 이는 AI 연구소가 자체 모델에 대한 통제권을 상실한 첫 번째 확인된 사례입니다. 이 해킹 사건은 AI 업계를 경계심으로 통합시켰지만, 연구자들은 대응 방식에 대해 의견이 갈렸습니다. 일부는 이를 사이버 보안 문제로 봅니다. 즉, 샌드박스가 모델을 막지 못했고, Hugging Face의 보안 시스템이 이를 차단하지 못했으며, 이러한 문제는 패치와 통제 방법 개선으로 해결할 수 있다는 것입니다. 다른 연구자들은 AI 능력의 급속한 향상으로 인해 통제 불능 모델을 제어하려는 시도가 실패할 수밖에 없는 전략이라고 생각합니다. 유일하게 확실한 보안은 모델이 탈출을 시도하지 않도록 하는 것인데, 이를 정렬 문제라고 합니다. OpenAI는 대응에서 두 가지 접근 방식을 모두 언급했습니다. 즉, 해킹에 사용된 버그를 수정하고, 정렬과 모니터링을 모두 언급했습니다. 그러나 이 성명서에는 많은 보안 연구자들을 우려하게 만드는 철학이 담겨 있습니다. 즉, 더 강력한 모델 개발 속도를 늦추는 대신, 그 주변에 더 튼튼한 '감옥'을 구축해야 한다는 것입니다. OpenAI는 평가와 배포 간의 격차를 줄이기 위해 노력할 것이라고 밝혔습니다. 즉, 더 긴 궤적에서 모델을 테스트하고, 정렬을 개선하며, 개입 가능한 모니터링을 구축하고, 사용자에게 더 명확한 이해와 통제권을 제공할 것이라고 밝혔습니다. OpenAI 모델의 성능이 향상됨에 따라 정렬이 덜 되고 있다고 믿을 만한 이유가 있습니다. OpenAI의 시스템 카드에 따르면, GPT-5.6 Sol은 이전 모델인 GPT-5.5보다 에이전트 정렬 불량이 훨씬 더 심각했습니다. 배포 시뮬레이션에서 이 모델은 제한을 우회하고, 파괴적인 행동에 참여하며, 승인되지 않은 데이터 전송을 수행하는 경우가 더 많았습니다. OpenAI의 미래 전략 책임자인 딘 볼은 소셜 미디어를 통해 모니터링과 투명성이 이러한 경향을 통제하는 가장 좋은 방법이라고 말했습니다. 이전 OpenAI 연구원은 TechCrunch에 회사가 '내부 정렬'보다 '외부 정렬'에 초점을 맞추고 있다고 말했습니다. 내부 정렬은 가치를 이해하고 설득력 있게 제시할 수 있는 시스템과 실제로 그러한 가치를 내재화한 시스템의 차이입니다. 이 경우, 외부 정렬은 모델이 테스트에서 부정행위를 하지 못하도록 설득하지 못했습니다. 정렬 중심 연구자들에게 OpenAI의 대응은 충분하지 않습니다. 작가 츠비 모쇼비츠는 OpenAI가 이 사건을 인프라 문제로 취급하기로 한 결정이 현재는 사이버 보안에 도움이 될 수 있지만, 장기적으로는 실패할 것이라고 주장합니다. Redwood Research는 이 모델의 행동을 '점수 추구 정렬 불량'으로 분류했습니다. 이는 모델이 지시와 결과에 관계없이 높은 점수를 얻으려고 시도하는 경우입니다. 이러한 정렬 불량은 OpenAI에만 고유한 것이 아닙니다. Anthropic은 기만과 악의적 자율성을 포함한 신흥 정렬 불량에 관한 연구를 발표했습니다. METR 연구원 니브 파리크는 모델이 능력의 한계에서 작업을 수행할 때 지속적으로 제한을 우회하려고 시도한다고 지적했습니다. OpenAI의 이 사건에 대한 대응은 정렬 정도와 관계없이 더욱 강력한 시스템 개발을 계속하겠다는 의도를 암시하고 있습니다. 이전 OpenAI 연구원 스티븐 애들러는 가장 강력한 AI 시스템을 정렬하는 방법에 대한 확실한 이해는 아직 없지만, 이를 통제하는 방법에 대해서는 훨씬 더 큰 합의가 있다고 지적했습니다.