摘要 · 过去一周

1. Gigatoken：用Rust实现的BPE分词器，编码速度达24.53 GB/s，比HuggingFace分词器快989倍
   Gigatoken是一个由斯坦福博士生Marcel Rød用Rust编写的BPE分词器，在144核AMD EPYC系统上实现了24.53 GB/s的文本编码速度，比HuggingFace分词器快989倍，比OpenAI的tiktoken快681倍。该库支持23种分词器家族，其速度归功于使用SWAR SIMD技术和分词缓存的手工优化预分词器。