Gigatoken: токенизатор BPE на Rust кодирует текст со скоростью 24,53 ГБ/с, до 989 раз быстрее HuggingFace Tokenizers

Аспирант Стэнфорда Марсель Рёд выпустил Gigatoken — токенизатор BPE на Rust с привязками к Python, достигающий скорости до 24,53 ГБ/с на 144‑ядерном AMD EPYC, что в 989 раз быстрее HuggingFace Tokenizers и в 681 раз быстрее tiktoken. Ускорение обеспечивается за счёт рукописного SWAR-претокенизатора и кэширования претокенов.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral

Почему роботы застряли в демо? Новая компания iFlytek дает ответ: не хватает «осознания себя»

Новая компания Yao Fang Intelligence, основанная iFlytek, объясняет, что главная проблема роботов — не скорость, а отсутствие «осознания себя» (本体认知). Они предлагают собственную архитектуру iFLYTEK-Embodied-Omni, которая объединяет VLM, VGM и AGM, чтобы преодолеть ограничения VLA и компенсировать нехватку реальных данных. Архитектура уже показала высокие результаты на бенчмарках, включая LIBERO-Plus и RoboTwin 2.0.

科大讯飞 NVIDIA