AI-overzicht · afgelopen week

1. Gigatoken: BPE Tokenizer in Rust versnelt tekstencodering tot 24,53 GB/s, tot 989x sneller dan HuggingFace Tokenizers
   Gigatoken, een BPE-tokenizer geschreven in Rust door Stanford-promovendus Marcel Rød, bereikt tekstencoderingssnelheden van 24,53 GB/s op een 144-core AMD EPYC-systeem. Dit is 989x sneller dan HuggingFace-tokenizers en 681x sneller dan OpenAI's tiktoken. De bibliotheek ondersteunt 23 tokenizerfamilies en dankt zijn snelheid aan een handgeoptimaliseerde pretokenizer die gebruikmaakt van SWAR SIMD-technieken en pretoken-caching.