Como os Modelos Empacotam Conceitos em Variedades: Teoria, Prática e Busca por Círculos

O artigo explica que os modelos de IA empacotam conceitos do mundo real em estruturas geométricas dentro dos seus espaços de ativação. Conceitos como oposições binárias formam dois pontos isolados (dimensão 0), os dias da semana formam um círculo (variedade de dimensão 1), e hierarquias formam simplexos onde a dimensionalidade não é aplicável. O teorema da imersão de Whitney (1944) afirma que qualquer variedade suave de dimensão d pode ser imersa suavemente em R^{2d}, o que fornece um limite superior teórico para as dimensões necessárias. No entanto, o teorema não limita diretamente os modelos devido à imersão aproximada e à superposição. Variedades emergem quando um conceito é ordenado continuamente e o objetivo de treinamento do modelo requer operações nessa estrutura. Exemplos práticos incluem representações circulares para os dias da semana encontradas no GPT-2 (camada 7) e no Mistral 7B via agrupamento de SAE e PCA; intervenções nessas estruturas alteram o comportamento do modelo.