Как модели упаковывают концепции в многообразия: теория, практика и поиск окружностей
Статья исследует, как модели искусственного интеллекта геометрически структурируют концепции в многообразия (например, окружности, симплексы) в своих пространствах активации. В ней объясняются теоретические основы, включая теорему вложения Уитни, и демонстрируется эмпирическое обнаружение циклических представлений для циклических концепций, таких как дни недели, в GPT-2 и Mistral 7B.
Статья объясняет, что модели ИИ упаковывают реальные концепции в геометрические структуры в своих пространствах активаций. Такие концепции, как бинарные противоположности, образуют две изолированные точки (0-мерные), дни недели образуют круг (1-мерное многообразие), а иерархии образуют симплексы, где размерность неприменима. Теорема Уитни о вложении (1944) утверждает, что любое гладкое d-мерное
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал