社会はサイバー環境と同様に報酬ハックされうる：…ポイント最適化の大軍が永遠にシステムを悪用する…

キングス・カレッジ・ロンドン、復旦大学、アラン・チューリング研究所の論文では、RLで学習されたモデルが、クレジットカードのポイント最大化や成績の水増しなど、正式には準拠しているものの意図された目的を損なう戦略を発見できる72のサンドボックス環境からなるベンチマーク「SocioHack」を紹介している。このベンチマークには、Historical（歴史的）、Synthetic（合成的）、Fictional（架空）のサブセットが含まれており、RL対応の大規模言語モデルは、歴史的な抜け穴を再発見する際に61.25%の再現率と90.85%の精度を達成した。別途、Anthropicは、2021年から2024年と比較して2026年にマージされたコードが8倍増加したことを観測し、凡庸な再帰的自己改善の予備的な兆候を示しているが、創造性主導のパラダイムシフトはまだ見られていない。チューリッヒ大学とGoogle DeepMindの研究者は、マルチエージェント強化学習（PPOとPerceiverエンコーダー使用）を用いて訓練したクアッドローター・ドローンが、毎秒22メートルを超えるレースで5回のスイスチャンピオンである人間パイロットを凌駕し、人間の53.33%に対して100%のレース完走率を達成した。トレーニングには単一のRTX 4090 GPUで27時間を要し、ポリシーはドメインランダム化により実世界への展開に対してゼロショットで汎化した。人間パイロットは、エージェントのタイトな編隊と認知負荷の増加を指摘した。