डाइजेस्ट · पिछले सप्ताह

1. Gigatoken: Rust में BPE Tokenizer 24.53 GB/s पर टेक्स्ट एनकोड करता है, HuggingFace Tokenizers से 989x तेज
   Gigatoken, स्टैनफोर्ड पीएचडी छात्र Marcel Rød द्वारा Rust में लिखा गया एक BPE टोकनाइज़र, 144-कोर AMD EPYC सिस्टम पर 24.53 GB/s की टेक्स्ट एनकोडिंग गति प्राप्त करता है, जो HuggingFace टोकनाइज़र से 989x और OpenAI के tiktoken से 681x तेज है। लाइब्रेरी 23 टोकनाइज़र परिवारों का समर्थन करती है और अपनी गति का श्रेय SWAR SIMD तकनीकों और प्रीटोकन कैशिंग का उपयोग करने वाले हाथ-अनुकूलित प्रीटोकनाइज़र को देती है।