Gigatoken: BPE Tokenizer Viết Bằng Rust Mã Hóa Văn Bản Tốc Độ 24,53 GB/s, Nhanh Hơn HuggingFace Tokenizers Đến 989 Lần

Nghiên cứu sinh tiến sĩ Stanford Marcel Rød đã phát hành Gigatoken, một tokenizer mã hóa cặp byte (byte-pair encoding - BPE) được viết bằng Rust với các ràng buộc Python, theo giấy phép MIT. Trên hệ thống 2 socket AMD EPYC 9565 144 lõi, Gigatoken xử lý tập tin ngữ liệu owt_train.txt 11,9 GB với tốc độ 24,53 GB/s, so với tokenizers của HuggingFace ở 24,8 MB/s (chậm hơn 989 lần) và tiktoken của OpenAI ở 36,0 MB/s (chậm hơn 681 lần). Trên Apple M4 Max với 16 lõi, nó đạt 8,79 GB/s, vượt trội HuggingFace 1.268 lần và tiktoken 140 lần. Lợi ích về hiệu suất đến từ một bộ tiền tokenizer viết tay sử dụng kỹ thuật SWAR (SIMD Within A Register) để kiểm tra 8 byte cùng lúc với số học không rẽ nhánh, đạt 1.049 MiB/s cho tiền token hóa GPT-2 — cải thiện 22,3 lần so với các phương pháp dựa trên regex. Ngoài ra, bộ nhớ đệm tiền token tránh tính toán lại các từ đã gặp trước đó. Chế độ tương thích với các tokenizer HuggingFace hoặc tiktoken hiện có đạt tốc độ tăng 200–300 lần nhờ chi phí Python. Các điểm chuẩn độc lập trên KrabArena với máy ảo 4 vCPU xác nhận thông lượng trung bình 277,8 MB/s, vượt trội tiktoken 26,2 lần và tokenizers 83,4 lần. Thư viện hỗ trợ 23 họ tokenizer bao gồm GPT-2, Llama 3–4, Qwen 2–3.6, DeepSeek V3/R1/V4, GLM 4/5, Kimi K2, Nemotron 3, Phi-4, OLMo 2/3, ModernBERT, Gemma và Mistral, nhưng tokenizer SentencePiece chỉ tăng tốc 7–22 lần và WordPiece không được hỗ trợ.