Gigatoken : tokeniseur BPE en Rust encode du texte à 24,53 Go/s, jusqu'à 989 fois plus rapide que les tokeniseurs HuggingFace

Marcel Roed, doctorant à Stanford, a publié Gigatoken, un tokeniseur BPE écrit en Rust avec des liaisons Python, atteignant des vitesses allant jusqu'à 24,53 Go/s sur un AMD EPYC à 144 cœurs, soit 989 fois plus rapide que les tokeniseurs HuggingFace et 681 fois plus rapide que tiktoken. L'accélération provient d'un pré-tokeniseur SWAR écrit à la main et de la mise en cache des pré-tokens.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral