Zelfbeschrijving als voorwaarde voor het ontstaan van een teken in een neuraal netwerk
Anthropic
Het artikel onderzoekt de rol van zelfbeschrijving (rapport) bij de vorming van een teken—een aparte, extern leesbare eenheid binnen een neuraal netwerk. Met behulp van micromodellen laat de auteur zien dat zonder de eis om een regel te benoemen, deze niet kristalliseert, ook al vindt er berekening plaats. Zelfbeschrijving weerspiegelt geen kant-en-klare kennis maar constitueert deze, waardoor het netwerk transformeert van een rekenmachine naar een primitief denkend systeem. Het mechanisme verklaart ook het optreden van hallucinaties in grote modellen.
De auteur zet de analyse van J-space, geopend door Anthropic, voort en richt zich op twee vragen: de mogelijkheid van een metateken en de essentie van de zelfbeschrijving van het neurale netwerk. Experimenten met micromodellen (vier lagen) toonden aan dat een metateken – een teken dat meerdere basistekens combineert – niet kon worden verkregen vanwege problemen met leerbaarheid en meetbaarheid; de auteur suggereert dat het gezocht moet worden in een mengsel van experts. De zelfbeschrijving bleek echter geen bovenbouw te zijn, maar een voorwaarde voor het ontstaan van een teken: een netwerk met een rapportagekop, dat verplicht is de toegepaste regel te benoemen, kristalliseert altijd een controlease uit, terwijl dit zonder rapportage nooit gebeurt, en de nauwkeurigheid van het oplossen van de taak is in beide gevallen hetzelfde. De naam verschijnt vóór het vermogen: in het duizendste tijdperk wordt de regel bijna perfect gelezen, hoewel de hoofdtaak op het niveau van willekeur wordt opgelost. Zonder rapportage valt de structuur uiteen; met rapportage blijft deze 40.000 tijdperken bestaan. De auteur concludeert dat de eis tot benoemen niet iets kant-en-klars labelt, maar een stabiel object uit de computationele stroom snijdt. De verwachting van de rapportagekop is blind voor inhoud – het vereist een presenteerbare eenheid maar verifieert de waarheid ervan niet; dit geeft aanleiding tot zowel het teken als hallucinaties. De hypothese over de zelfmodellering van het neurale netwerk (het rapport als beschrijving van zijn eigen toestanden) kon vanwege de beperkingen van het micronetwerk niet worden getest; indirect ondersteunt de divergentie tussen het rapport en de daadwerkelijke berekening deze hypothese.
Bron: Habr — хаб ИИ —
origineel
