Gigatoken: Rust-pohjainen BPE-tokenisointi 24,53 Gt/s - jopa 989x nopeampi kuin HuggingFace-tokenisaattorit

Stanfordin tohtorikoulutettava Marcel Roed julkaisi Gigatokenin, Rust-pohjaisen BPE-tokenisaattorin, jossa on Python-sidokset. Se saavuttaa jopa 24,53 Gt/s nopeuden 144-ytimisellä AMD EPYC -suorittimella, ollen 989 kertaa nopeampi kuin HuggingFace-tokenisaattorit ja 681 kertaa nopeampi kuin tiktoken. Nopeuden salaisuus on käsin kirjoitettu SWAR-esitokenisaattori ja esitokenien välimuisti.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral

Miksi robotit jumittuvat demoihin? Uusi iFlytek-yritys vastaa: 'Itsetietoisuuden' puute

Yao Fang Intelligence, iFlytekin perustama uusi yritys, selittää, että robottien pääongelma ei ole nopeus, vaan 'itsetietoisuuden' (本体认知) puute. He esittävät oman arkkitehtuurinsa iFLYTEK-Embodied-Omni, joka integroi VLM-, VGM- ja AGM-mallit ylittääkseen VLA:n rajoitukset ja kompensoidakseen todellisen datan puutetta. Arkkitehtuuri on jo osoittanut korkeaa suorituskykyä vertailuarvoissa, kuten LIBERO-Plus ja RoboTwin 2.0.

科大讯飞 NVIDIA