Gigatoken: مُرمّز BPE بلغة Rust يشفر النص بسرعة 24.53 جيجابايت/ثانية، أسرع حتى 989 مرة من HuggingFace Tokenizers

أصدر طالب الدكتوراه في جامعة ستانفورد مارسيل روم Gigatoken، وهو مُرمّز BPE بلغة Rust مع روابط بايثون، يحقق سرعات تصل إلى 24.53 جيجابايت/ثانية على معالج AMD EPYC ذي 144 نواة، وهو أسرع 989 مرة من HuggingFace Tokenizers و 681 مرة من tiktoken. يأتي تسريع الأداء من معالج مسبق SWAR مكتوب يدويًا ومن التخزين المؤقت للرموز المسبقة.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral