Resumo · última semana

1. Gigatoken: Tokenizador BPE em Rust Codifica Texto a 24,53 GB/s, Até 989x Mais Rápido que os Tokenizadores HuggingFace
   Gigatoken, um tokenizador BPE escrito em Rust pelo estudante de doutorado da Stanford Marcel Rød, atinge velocidades de codificação de texto de 24,53 GB/s em um sistema AMD EPYC de 144 núcleos, superando os tokenizadores HuggingFace em 989x e o tiktoken da OpenAI em 681x. A biblioteca suporta 23 famílias de tokenizadores e atribui sua velocidade a um pré-tokenizador otimizado manualmente usando técnicas SIMD SWAR e cache de pré-tokenização.