Résumé · 7 jours

1. Gigatoken : tokenizer BPE en Rust encode du texte à 24,53 Go/s, jusqu'à 989 fois plus rapide que les tokenizers HuggingFace
   Gigatoken, un tokenizer BPE écrit en Rust par le doctorant de Stanford Marcel Rød, atteint des vitesses d'encodage de texte de 24,53 Go/s sur un système AMD EPYC à 144 cœurs, surpassant les tokenizers HuggingFace de 989 fois et le tiktoken d'OpenAI de 681 fois. La bibliothèque prend en charge 23 familles de tokenizers et attribue sa rapidité à un prétokenizer optimisé manuellement utilisant des techniques SIMD SWAR et la mise en cache des prétokens.