Nghiên cứu 🇷🇺 23.07.2026 23:48

Tự mô tả như một điều kiện cho sự xuất hiện của dấu hiệu trong mạng nơ-ron

AnthropicAnthropic
Bài báo khám phá vai trò của tự mô tả (báo cáo) trong sự hình thành dấu hiệu—một đơn vị riêng biệt, có thể đọc được từ bên ngoài trong mạng nơ-ron. Sử dụng các mô hình vi mô, tác giả chỉ ra rằng nếu không có yêu cầu đặt tên cho quy tắc, nó sẽ không kết tinh, mặc dù quá trình tính toán vẫn diễn ra. Tự mô tả không phản ánh kiến thức có sẵn mà cấu thành nó, biến mạng từ một máy tính thành một hệ thống tư duy nguyên thủy. Cơ chế này cũng giải thích sự xuất hiện của ảo giác trong các mô hình lớn.
Tác giả tiếp tục phân tích không gian J, do Anthropic khởi xướng, tập trung vào hai câu hỏi: khả năng tồn tại của một siêu ký hiệu và bản chất của sự tự mô tả của mạng nơ-ron. Các thí nghiệm trên vi mô hình (bốn lớp) cho thấy không thể thu được siêu ký hiệu—một ký hiệu kết hợp nhiều ký hiệu cơ bản—do các vấn đề về khả năng học và đo lường; tác giả cho rằng nên tìm kiếm nó trong một hỗn hợp các chuyên gia. Tuy nhiên, sự tự mô tả hóa ra không phải là một cấu trúc thượng tầng mà là điều kiện để xuất hiện một ký hiệu: một mạng có đầu báo cáo, buộc phải đặt tên cho quy tắc đang được áp dụng, luôn kết tinh một trục điều khiển, trong khi nếu không có báo cáo thì điều này không bao giờ xảy ra, và độ chính xác khi giải quyết nhiệm vụ là như nhau trong cả hai trường hợp. Tên xuất hiện trước khả năng: ở epoch thứ 1000, quy tắc được đọc gần như hoàn hảo, mặc dù nhiệm vụ chính được giải quyết ở mức ngẫu nhiên. Nếu không có báo cáo, cấu trúc tan rã; có báo cáo, nó tồn tại trong 40.000 epoch. Tác giả kết luận rằng yêu cầu đặt tên không gắn nhãn cho một thứ đã sẵn sàng mà cắt một đối tượng ổn định ra khỏi dòng tính toán. Kỳ vọng của đầu báo cáo mù mờ về nội dung—nó yêu cầu một đơn vị có thể trình bày nhưng không xác minh tính đúng đắn của nó; điều này làm phát sinh cả ký hiệu và ảo giác. Giả thuyết về sự tự mô hình hóa của mạng nơ-ron (báo cáo như một mô tả về trạng thái riêng của nó) không thể được kiểm chứng do hạn chế của vi mạng; một cách gián tiếp, sự khác biệt giữa báo cáo và tính toán thực tế ủng hộ giả thuyết này.
Nguồn: Habr — хаб ИИ — bản gốc
Bài viết liên quan trước đây ↓
Tin mới