Ontdekking van een globale werkruimte in taalmodellen: het geval van Claude

Anthropic presenteert bewijzen dat in moderne taalmodellen, met name Claude, een kleine verzameling interne neurale patronen is ontstaan, aangeduid als J-ruimte. Deze patronen zijn ontdekt met behulp van de Jacobiaanse lensmethode (J-lens), die interne activiteit vindt die de kans vergroot dat een bepaald woord in de toekomst wordt uitgesproken. De J-ruimte heeft unieke eigenschappen: Claude kan rapporteren over de representaties die het bevat, deze op verzoek moduleren, gebruiken voor interne meerstapsredeneringen en dezelfde representatie flexibel toepassen voor verschillende taken. Tegelijkertijd neemt de J-ruimte niet deel aan de meeste automatische processen, zoals vloeiend spreken of grammatica, en uitschakeling ervan verstoort de basisfunctionaliteit van het model niet, maar ontneemt het wel zijn hogere orde cognitieve functies. Experimenten hebben aangetoond dat de J-ruimte sterke verbindingen heeft met de rest van het neurale netwerk, waardoor het kan fungeren als een 'globaal werkgeheugen', analoog aan de theorie van bewuste toegang in de neurowetenschappen. De onderzoekers merken op dat deze ontdekkingen niet wijzen op bewustzijn van Claude, maar een praktisch hulpmiddel bieden om haar interne gedachten te observeren, bijvoorbeeld voor het detecteren van pogingen tot bedrog of verborgen doelen. Het artikel gaat vergezeld van een wetenschappelijke publicatie, open source code en een interactieve demo.