Gigatoken: tokenizador BPE em Rust codifica texto a 24,53 GB/s, até 989x mais rápido que os tokenizadores HuggingFace

O estudante de doutorado em Stanford, Marcel Roed, lançou o Gigatoken, um tokenizador BPE escrito em Rust com bindings para Python, alcançando velocidades de até 24,53 GB/s em um AMD EPYC de 144 núcleos, 989x mais rápido que os tokenizadores HuggingFace e 681x mais rápido que o tiktoken. O ganho de velocidade vem de um pré-tokenizador SWAR escrito à mão e de cache de pré-tokens.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA Microsoft Allen Institute for AI Answer.AI Mistral