Gigatoken : tokeniseur BPE en Rust encode du texte à 24,53 Go/s, jusqu'à 989 fois plus rapide que les tokeniseurs HuggingFace

Marcel Roed, doctorant à Stanford, a publié Gigatoken, un tokeniseur BPE écrit en Rust avec des liaisons Python, atteignant des vitesses allant jusqu'à 24,53 Go/s sur un AMD EPYC à 144 cœurs, soit 989 fois plus rapide que les tokeniseurs HuggingFace et 681 fois plus rapide que tiktoken. L'accélération provient d'un pré-tokeniseur SWAR écrit à la main et de la mise en cache des pré-tokens.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral

Pourquoi les robots restent-ils bloqués dans les démos ? La nouvelle société iFlytek répond : manque de « conscience de soi »

Yao Fang Intelligence, une nouvelle société fondée par iFlytek, explique que le principal problème des robots n'est pas la vitesse mais le manque de « conscience de soi » (本体认知). Ils proposent leur propre architecture iFLYTEK-Embodied-Omni, qui intègre VLM, VGM et AGM pour surmonter les limites de VLA et compenser le manque de données réelles. L'architecture a déjà démontré des performances élevées sur des benchmarks incluant LIBERO-Plus et RoboTwin 2.0.

科大讯飞 NVIDIA