Özet · son hafta

1. Gigatoken: Rust ile Yazılmış BPE Tokenizer Metni Saniyede 24,53 GB Hızında Kodluyor, HuggingFace Tokenizer'lardan 989 Kata Kadar Daha Hızlı
   Gigatoken, Stanford doktora öğrencisi Marcel Rød tarafından Rust dilinde yazılmış bir BPE tokenizer olup, 144 çekirdekli bir AMD EPYC sisteminde saniyede 24,53 GB metin kodlama hızına ulaşarak HuggingFace tokenizer'larından 989 kat, OpenAI'ın tiktoken'ından ise 681 kat daha hızlı performans göstermektedir. Kütüphane 23 tokenizer ailesini desteklemekte olup, hızını SWAR SIMD teknikleri ve ön bellek kullanımı ile el ile optimize edilmiş bir pretokenizer'a borçludur.