Gigatoken: Rust में BPE Tokenizer 24.53 GB/s पर टेक्स्ट एनकोड करता है, HuggingFace Tokenizers से 989x तेज

स्टैनफोर्ड पीएचडी छात्र मार्सेल रॉड ने गिगाटोकन जारी किया, जो रस्ट में लिखा गया और पायथन बाइंडिंग वाला बाइट-पेयर एनकोडिंग (बीपीई) टोकनाइज़र है, जो एमआईटी लाइसेंस के तहत उपलब्ध है। 144-कोर वाले एएमडी EPYC 9565 ड्यूल-सॉकेट सिस्टम पर, गिगाटोकन ने 11.9 जीबी के owt_train.txt कॉर्पस को 24.53 जीबी/सेकंड की गति से प्रोसेस किया, जबकि हगिंगफेस टोकनाइज़र्स 24.8 एमबी/सेकंड (989x धीमा) और OpenAI का tiktoken 36.0 एमबी/सेकंड (681x धीमा) था। ऐप्पल M4 मैक्स 16 कोर पर, इसने 8.79 जीबी/सेकंड की गति हासिल की, जो हगिंगफेस से 1,268x और tiktoken से 140x तेज है। प्रदर्शन लाभ एक हस्तलिखित प्रीटोकनाइज़र से आते हैं जो एक साथ 8 बाइट्स चेक करने के लिए एसडब्ल्यूएआर (सिम्ड विदिन अ रजिस्टर) तकनीक और ब्रांचलेस अर्थमैटिक का उपयोग करता है, जो GPT-2 प्रीटोकनाइज़ेशन के लिए 1,049 एमआईबी/सेकंड हासिल करता है — जो रेगेक्स-आधारित दृष्टिकोणों से 22.3 गुना सुधार है। इसके अलावा, प्रीटोकन कैशिंग पहले देखे गए शब्दों की पुनर्गणना से बचाती है। मौजूदा हगिंगफेस या tiktoken टोकनाइज़र्स के साथ संगतता मोड पायथन ओवरहेड के कारण 200–300x की गति प्राप्त करता है। केराबरेना पर 4-वीसीपीयू वर्चुअल मशीन के साथ स्वतंत्र बेंचमार्क ने 277.8 एमबी/सेकंड की औसत थ्रूपुट की पुष्टि की, जो tiktoken से 26.2x और tokenizers से 83.4x तेज है। लाइब्रेरी GPT-2, Llama 3–4, Qwen 2–3.6, DeepSeek V3/R1/V4, GLM 4/5, Kimi K2, Nemotron 3, Phi-4, OLMo 2/3, ModernBERT, Gemma, और Mistral सहित 23 टोकनाइज़र परिवारों को सपोर्ट करती है, लेकिन सेंटेंसपीस (SentencePiece) टोकनाइज़र्स केवल 7–22x स्पीडअप देखते हैं और वर्डपीस (WordPiece) असमर्थित है।