Gigatoken: tokenizador BPE em Rust codifica texto a 24,53 GB/s, até 989x mais rápido que os tokenizadores HuggingFace

O estudante de doutorado em Stanford, Marcel Roed, lançou o Gigatoken, um tokenizador BPE escrito em Rust com bindings para Python, alcançando velocidades de até 24,53 GB/s em um AMD EPYC de 144 núcleos, 989x mais rápido que os tokenizadores HuggingFace e 681x mais rápido que o tiktoken. O ganho de velocidade vem de um pré-tokenizador SWAR escrito à mão e de cache de pré-tokens.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral

Por que os robôs ficam presos em demonstrações? Nova empresa iFlytek responde: falta de "autoconsciência"

A Yao Fang Intelligence, uma nova empresa fundada pela iFlytek, explica que o principal problema dos robôs não é a velocidade, mas a falta de "autoconsciência" (本体认知). Eles propõem sua própria arquitetura iFLYTEK-Embodied-Omni, que integra VLM, VGM e AGM para superar as limitações do VLA e compensar a escassez de dados reais. A arquitetura já demonstrou alto desempenho em benchmarks incluindo LIBERO-Plus e RoboTwin 2.0.

科大讯飞 NVIDIA