ملخص · الأسبوع الماضي

1. Gigatoken: أداة BPE للترميز بلغة Rust تشفر النص بسرعة 24.53 جيجابايت/ثانية، أسرع حتى 989 مرة من أدوات HuggingFace
   Gigatoken، وهي أداة ترميز BPE كتبها الطالب في جامعة ستانفورد مارسيل رود بلغة Rust، تحقق سرعة تشفير نص تبلغ 24.53 جيجابايت/ثانية على نظام AMD EPYC ذي 144 نواة، متفوقة على أدوات HuggingFace بمقدار 989 مرة وعلى tiktoken من OpenAI بمقدار 681 مرة. تدعم الأداة 23 عائلة من أدوات الترميز وتعزو سرعتها إلى أداة ما قبل الترميز المحسنة يدويًا باستخدام تقنيات SWAR SIMD والتخزين المؤقت لما قبل الترميز.