GPT-Red: OpenAI의 자동 레드티밍으로 AI 안전성 자가 개선

OpenAI가 인공지능의 안전성, 정렬 및 견고성을 향상시키기 위해 설계된 자동 레드팀 시스템인 GPT-Red를 공개했습니다. 이 시스템은 모델이 자율적으로 공격 프롬프트와 악의적인 시나리오를 생성한 후 이를 기반으로 스스로를 미세 조정하여 방어 능력을 개선하는 자가대국 학습 방법을 사용합니다. 이 접근 방식은 인간 테스터를 지속적으로 개입시키지 않고도 모델의 견고성을 지속적으로 향상시킬 수 있게 해줍니다. GPT-Red는 특히 공격자가 특별히 제작된 쿼리를 사용해 모델의 제한을 우회하려는 프롬프트 인젝션에 대한 취약점을 탐지하고 완화하는 데 효과적입니다. 이 시스템은 공격 결과를 자동으로 평가하고 이를 사용해 모델의 행동을 조정함으로써 보안 개선 프로세스를 더욱 확장 가능하고 효율적으로 만듭니다.