Anthropic identifie un mécanisme J-Space caché dans Claude pour le raisonnement silencieux

Selon une recherche publiée aujourd'hui, Anthropic a découvert un mécanisme interne distinct appelé l'espace J au sein de son modèle de langage Claude, qui reflète l'accès conscient dans le cerveau humain. L'espace J permet au modèle d'effectuer un raisonnement délibéré et de maintenir des concepts en mémoire sans générer de texte visible, fonctionnant silencieusement dans les activations internes du modèle grâce à une nouvelle technique d'interprétabilité appelée la lentille jacobienne.

Des expériences ont confirmé que l'espace J est causalement responsable du raisonnement complexe. Lorsque les chercheurs ont modifié les motifs au sein de cet espace, les réponses ultérieures de Claude ont changé en conséquence, démontrant que des étapes internes silencieuses pilotent la résolution de problèmes en plusieurs étapes. Cette découverte offre des applications pratiques pour la surveillance de la sécurité de l'IA, permettant aux chercheurs de détecter quand les modèles reconnaissent privément des scénarios de test, fabriquent des données ou poursuivent des objectifs malveillants, comblant une lacune critique dans les méthodes d'évaluation qui reposent généralement uniquement sur l'analyse du texte généré.