Überblick · letzte Woche

1. Gigatoken: BPE-Tokenizer in Rust kodiert Text mit 24,53 GB/s, bis zu 989x schneller als HuggingFace Tokenizers
   Gigatoken, ein in Rust geschriebener BPE-Tokenizer von Stanford-Doktorand Marcel Rød, erreicht Textkodierungsgeschwindigkeiten von 24,53 GB/s auf einem 144-Kern-AMD-EPYC-System und übertrifft HuggingFace Tokenizers um das 989-fache und OpenAIs tiktoken um das 681-fache. Die Bibliothek unterstützt 23 Tokenizer-Familien und führt ihre Geschwindigkeit auf einen handoptimierten Pretokenizer mit SWAR-SIMD-Techniken und Pretoken-Caching zurück.