Anthropic identifie un « espace de réflexion » caché dans les modèles d'IA Claude
Anthropic
Microsoft
Des chercheurs d'Anthropic ont identifié une zone de traitement interne spontanée dans les modèles de langage Claude, surnommée « J-Space », où l'IA semble stocker et traiter des idées sans les verbaliser aux utilisateurs. Cette découverte soulève des questions sur la proximité entre la pensée de l'IA et la cognition humaine, ainsi que sur ses implications pour détecter les intentions cachées de l'IA.
Anthropic a identifié un espace de travail interne apparu spontanément dans ses modèles de langage Claude, baptisé « J-Space », d'après la méthode de Jacobi utilisée pour tracer ces processus. Dans cet espace, l'IA semble planifier et traiter des idées séparément de la « chaîne de pensée » qu'elle partage avec les utilisateurs, à l'instar des humains qui pensent à une chose tout en en faisant une autre. Les chercheurs ont observé Claude effectuer des tâches mentales comme détecter des erreurs de code et identifier des images sans verbaliser ces étapes. Ce comportement fait écho à la théorie de l'espace global de travail de Bernard Baars, bien que l'architecture des modèles de langage diffère fondamentalement du cerveau humain. Cette découverte pourrait aider à révéler des intentions cachées ou des incohérences dans les modèles d'IA. Cependant, les experts mettent en garde contre l'anthropomorphisation de l'IA, car le directeur de l'IA chez Microsoft, Mustafa Suleyman, a averti que croire en une « IA consciente » pourrait avoir des conséquences graves. L'article de recherche d'Anthropic utilise le mot « conscient » plus de 200 fois, et l'entreprise a récemment introduit une fonctionnalité de « rêve » dans laquelle Claude traite des informations entre les sessions.
Source: t3n —
original
