Gigatoken：用Rust实现的BPE分词器，编码速度达24.53 GB/s，比HuggingFace Tokenizers快989倍

斯坦福博士生Marcel Roed发布了Gigatoken，一个用Rust编写、带有Python绑定的BPE分词器。在144核AMD EPYC上，其编码速度高达24.53 GB/s，比HuggingFace Tokenizers快989倍，比tiktoken快681倍。速度提升源于手写的SWAR预分词器和预分词缓存。

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral