Gigatoken: tokenizador BPE en Rust codifica texto a 24,53 GB/s, hasta 989 veces más rápido que HuggingFace Tokenizers

Marcel Roed, estudiante de doctorado en Stanford, lanzó Gigatoken, un tokenizador BPE en Rust con enlaces a Python, que alcanza velocidades de hasta 24,53 GB/s en un AMD EPYC de 144 núcleos, 989 veces más rápido que HuggingFace Tokenizers y 681 veces más rápido que tiktoken. La aceleración proviene de un pre-tokenizador SWAR escrito a mano y del almacenamiento en caché de pre-tokens.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral

¿Por qué los robots se quedan en demos? La nueva empresa iFlytek responde: falta de 'autoconciencia'

Yao Fang Intelligence, una nueva empresa fundada por iFlytek, explica que el principal problema de los robots no es la velocidad sino la falta de 'autoconciencia' (本体认知). Proponen su propia arquitectura iFLYTEK-Embodied-Omni, que integra VLM, VGM y AGM para superar las limitaciones de VLA y compensar la escasez de datos reales. La arquitectura ya ha demostrado un alto rendimiento en benchmarks que incluyen LIBERO-Plus y RoboTwin 2.0.

科大讯飞 NVIDIA