Gigatoken：用Rust实现的BPE分词器，编码速度达24.53 GB/s，比HuggingFace Tokenizers快989倍

斯坦福博士生Marcel Roed发布了Gigatoken，一个用Rust编写、带有Python绑定的BPE分词器。在144核AMD EPYC上，其编码速度高达24.53 GB/s，比HuggingFace Tokenizers快989倍，比tiktoken快681倍。速度提升源于手写的SWAR预分词器和预分词缓存。

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral

机器人为何停滞于演示阶段？科大讯飞新公司解答：缺乏“本体认知”

科大讯飞旗下的新公司瑶方智能解释称，机器人的主要问题不在于速度，而在于缺乏“本体认知”。他们提出了自己的架构iFLYTEK-Embodied-Omni，该架构集成了VLM（视觉语言模型）、VGM（视觉生成模型）和AGM（动作生成模型），以克服VLA（视觉语言动作）的局限并弥补真实数据的不足。该架构已在包括LIBERO-Plus和RoboTwin 2.0在内的基准测试中展现出高性能。

科大讯飞 NVIDIA