La société peut être piratée par les récompenses, tout comme les environnements informatiques : imaginez une armée d'optimisateurs de points de carte de crédit qui jouent avec le système... pour toujours...

Un article du King's College de Londres, de l'Université de Fudan et de l'Institut Alan Turing présente SocioHack, un benchmark comprenant 72 environnements sandbox où des modèles entraînés par RL peuvent découvrir des stratégies formellement conformes mais qui compromettent les objectifs visés, comme maximiser les points de carte de crédit ou gonfler les notes. Le benchmark inclut des sous-ensembles historiques, synthétiques et fictifs, et des LLM activés par RL ont atteint un rappel de 61,25 % et une précision de 90,85 % pour redécouvrir des failles historiques. Par ailleurs, Anthropic a observé une multiplication par 8 du code fusionné en 2026 par rapport à 2021-2024, indiquant des signes préliminaires d'auto-amélioration récursive prosaïque, bien que les changements de paradigme motivés par la créativité ne soient pas encore visibles. Des chercheurs de l'Université de Zurich et de Google DeepMind ont entraîné des drones quadrirotors à l'aide d'un RL multi-agents (PPO avec codeur Perceiver) qui ont surpassé un pilote humain quintuple champion suisse dans des courses dépassant 22 m/s, avec un taux d'achèvement de course de 100 % contre 53,33 % pour l'humain. L'entraînement a duré 27 heures sur un seul GPU RTX 4090, et les politiques se sont généralisées sans adaptation à un déploiement dans le monde réel grâce à la randomisation de domaine. Le pilote humain a noté les formations serrées des agents et une charge cognitive accrue.