사회는 사이버 환경처럼 리워드 해킹당할 수 있습니다: 신용카드 포인트 최적화를 위한 AI 군단이 시스템을 영원히 농락한다고 상상해보세요…

킹스 칼리지 런던, 푸단 대학, 앨런 튜링 연구소의 논문은 72개의 샌드박스 환경을 갖춘 벤치마크 SocioHack을 소개합니다. RL(강화 학습)로 훈련된 모델이 신용카드 포인트 최대화나 성적 부풀리기처럼 표면적으로는 규정을 준수하지만 본래 의도를 훼손하는 전략을 발견할 수 있습니다. 이 벤치마크는 역사적, 합성, 가상 하위 집합을 포함하며, RL 기반 LLM(대규모 언어 모델)은 기존의 허점을 재발견하는 데 있어 61.25%의 재현율과 90.85%의 정밀도를 달성했습니다. 별도로, Anthropic은 2021~2024년 대비 2026년에 병합된 코드가 8배 증가한 것을 관찰했는데, 이는 평범한 순환적 자기 개선(recursive self-improvement)의 초기 징후를 나타내지만, 창의성에 기반한 패러다임 전환은 아직 나타나지 않았습니다. 취리히 대학과 Google DeepMind의 연구원들은 멀티 에이전트 RL(PPO with Perceiver 인코더)을 사용해 쿼드로터 드론을 훈련시켰으며, 이 드론은 22m/s를 초과하는 경주에서 5회 스위스 챔피언 인간 조종사를 능가했습니다. 레이스 완료율은 드론이 100%인 반면 인간은 53.33%였습니다. 훈련은 단일 RTX 4090 GPU에서 27시간이 걸렸으며, 정책은 도메인 무작위화를 통해 실제 배치에 제로샷(zero-shot)으로 일반화되었습니다. 인간 조종사는 에이전트의 빡빡한 편대와 증가된 인지 부하를 언급했습니다.