Bản tin · tuần qua

1. Gigatoken: BPE Tokenizer Viết Bằng Rust Mã Hóa Văn Bản Tốc Độ 24,53 GB/s, Nhanh Hơn HuggingFace Tokenizers Đến 989 Lần
   Gigatoken, một BPE tokenizer được viết bằng Rust bởi nghiên cứu sinh Stanford Marcel Rød, đạt tốc độ mã hóa văn bản 24,53 GB/s trên hệ thống AMD EPYC 144 lõi, vượt trội so với HuggingFace tokenizers tới 989 lần và OpenAI tiktoken tới 681 lần. Thư viện hỗ trợ 23 dòng tokenizer và cho rằng tốc độ của nó nhờ vào pretokenizer thủ công được tối ưu hóa sử dụng kỹ thuật SWAR SIMD và bộ nhớ đệm pretoken.