Gigatoken: Rust-pohjainen BPE-tokenisointi 24,53 Gt/s - jopa 989x nopeampi kuin HuggingFace-tokenisaattorit

Stanfordin tohtorikoulutettava Marcel Roed julkaisi Gigatokenin, Rust-pohjaisen BPE-tokenisaattorin, jossa on Python-sidokset. Se saavuttaa jopa 24,53 Gt/s nopeuden 144-ytimisellä AMD EPYC -suorittimella, ollen 989 kertaa nopeampi kuin HuggingFace-tokenisaattorit ja 681 kertaa nopeampi kuin tiktoken. Nopeuden salaisuus on käsin kirjoitettu SWAR-esitokenisaattori ja esitokenien välimuisti.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral