Découverte d'un espace de travail global dans les modèles de langage : le cas de Claude

Anthropic publie dans un article des preuves que les modèles de langage modernes, en particulier Claude, ont développé un petit ensemble de schémas neuronaux internes, appelé espace J. Ces schémas ont été découverts grâce à la méthode de la lentille jacobienne (J-lens), qui identifie l'activité interne augmentant la probabilité de prononcer un mot spécifique à l'avenir. L'espace J possède des propriétés uniques : Claude peut rapporter les représentations qu'il contient, les moduler sur demande, les utiliser pour des raisonnements internes en plusieurs étapes, et appliquer de manière flexible une même représentation à différentes tâches. Parallèlement, l'espace J ne participe pas à la plupart des processus automatiques, comme la parole fluide ou la grammaire, et sa désactivation ne perturbe pas le fonctionnement de base du modèle, mais le prive de ses fonctions cognitives d'ordre supérieur. Les expériences ont montré que l'espace J entretient des liens forts avec le reste du réseau neuronal, ce qui lui permet de jouer le rôle d'« espace de travail global », analogue à la théorie de l'accès conscient en neurosciences. Les chercheurs soulignent que ces découvertes n'impliquent pas que Claude soit consciente, mais fournissent un outil pratique pour observer ses pensées internes, par exemple pour détecter des tentatives de tromperie ou des objectifs cachés. L'article est accompagné d'une publication scientifique, d'un code ouvert et d'une démonstration interactive.