Resumen · última semana

1. Gigatoken: tokenizador BPE en Rust codifica texto a 24,53 GB/s, hasta 989 veces más rápido que los tokenizadores de HuggingFace
   Gigatoken, un tokenizador BPE escrito en Rust por el estudiante de doctorado de Stanford Marcel Rød, alcanza velocidades de codificación de texto de 24,53 GB/s en un sistema AMD EPYC de 144 núcleos, superando a los tokenizadores de HuggingFace en 989 veces y al tiktoken de OpenAI en 681 veces. La biblioteca admite 23 familias de tokenizadores y atribuye su velocidad a un pretokenizador optimizado manualmente mediante técnicas SIMD SWAR y almacenamiento en caché de pretokens.