Gigatoken: tokenizador BPE en Rust codifica texto a 24,53 GB/s, hasta 989 veces más rápido que HuggingFace Tokenizers

Marcel Roed, estudiante de doctorado en Stanford, lanzó Gigatoken, un tokenizador BPE en Rust con enlaces a Python, que alcanza velocidades de hasta 24,53 GB/s en un AMD EPYC de 144 núcleos, 989 veces más rápido que HuggingFace Tokenizers y 681 veces más rápido que tiktoken. La aceleración proviene de un pre-tokenizador SWAR escrito a mano y del almacenamiento en caché de pre-tokens.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral