Ringkasan · minggu lalu

1. Gigatoken: Tokenizer BPE dalam Rust Mengenkode Teks pada 24,53 GB/detik, Hingga 989x Lebih Cepat dari HuggingFace Tokenizers
   Gigatoken, tokenizer BPE yang ditulis dalam Rust oleh mahasiswa PhD Stanford Marcel Rød, mencapai kecepatan enkode teks 24,53 GB/detik pada sistem AMD EPYC 144-inti, mengungguli HuggingFace tokenizers hingga 989x dan tiktoken milik OpenAI hingga 681x. Pustaka ini mendukung 23 keluarga tokenizer dan mengaitkan kecepatannya dengan pretokenizer yang dioptimalkan secara manual menggunakan teknik SIMD SWAR serta caching pretoken.