Gigatoken: BPE-Tokenizer in Rust codiert Text mit 24,53 GB/s, bis zu 989x schneller als HuggingFace Tokenizers

Der Stanford-Doktorand Marcel Roed hat Gigatoken veröffentlicht, einen BPE-Tokenizer in Rust mit Python-Bindungen, der Geschwindigkeiten von bis zu 24,53 GB/s auf einem 144-Kern-AMD-EPYC erreicht – 989x schneller als HuggingFace Tokenizers und 681x schneller als tiktoken. Der Geschwindigkeitszuwachs resultiert aus einem handgeschriebenen SWAR-Pre-Tokenizer und Pre-Token-Caching.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral