자기 기술(description)이 신경망에서 기호 출현의 조건

저자는 앤트로픽이 공개한 J-공간에 대한 분석을 이어가며, 두 가지 질문에 초점을 맞춘다: 메타기호의 가능성과 신경망 자기 서술의 본질. 마이크로모델(4개 층) 실험에서 여러 기본 기호를 결합한 메타기호는 학습 가능성과 측정 가능성 문제로 얻을 수 없었으며, 저자는 메타기호를 전문가 혼합 모델에서 찾아야 한다고 제안한다. 반면 자기 서술은 상부구조가 아니라 기호 출현의 조건임이 드러났다. 적용 중인 규칙을 명명하도록 의무화된 보고 헤드가 있는 네트워크는 항상 제어 축을 결정화하는 반면, 보고가 없는 네트워크는 절대 그러지 않으며, 두 경우 모두 작업 해결의 정확도는 동일하다. 이름이 능력보다 먼저 나타난다: 천 번째 에포크에서는 규칙이 거의 완벽하게 읽히지만, 주 작업은 무작위 수준으로 해결된다. 보고가 없으면 구조가 붕괴하고, 보고가 있으면 4만 에포크 동안 구조가 유지된다. 저자는 명명 요구가 이미 완성된 무언가에 레이블을 붙이는 것이 아니라, 계산 흐름에서 안정적인 대상을 잘라낸다고 결론짓는다. 보고 헤드의 기대는 내용에 무관하다—제시 가능한 단위를 요구하지만 그 진위를 검증하지 않으며, 이로 인해 기호와 환각이 모두 발생한다. 신경망의 자기 모델링(보고를 자신의 상태에 대한 서술로 보는) 가설은 마이크로 네트워크의 한계로 인해 시험할 수 없었으며, 간접적으로는 보고와 실제 계산 간의 차이가 이를 지지한다.