Gigatoken: BPE-токенизатор на Rust кодирует текст со скоростью 24,53 ГБ/с, до 989 раз быстрее токенизаторов HuggingFace

OpenAI

Hugging Face

Google/DeepMind

Meta

Alibaba/Qwen

DeepSeek

Moonshot AI

NVIDIA

Microsoft

Allen Institute for AI

Answer.AI

Mistral

Gigatoken — это BPE-токенизатор, написанный на Rust аспирантом Стэнфорда Марселем Родом. Он достигает скорости кодирования текста 24,53 ГБ/с на 144-ядерной системе AMD EPYC, превосходя токенизаторы HuggingFace в 989 раз и OpenAI tiktoken в 681 раз. Библиотека поддерживает 23 семейства токенизаторов и объясняет свою скорость использованием оптимизированного вручную претокенизатора на основе SWAR SIMD-техник и кэширования претокенов.

Стэнфордский аспирант Марсель Рёд выпустил Gigatoken — токенизатор на основе байтовых пар (BPE), написанный на Rust с привязками к Python, под лицензией MIT. На двухпроцессорной системе с 144-ядерным AMD EPYC 9565 Gigatoken обработал корпус owt_train.txt объемом 11,9 ГБ со скоростью 24,53 ГБ/с, тогда как HuggingFace tokenizers — 24,8 МБ/с (в 989 раз медленнее), а tiktoken от OpenAI — 36,0 МБ/с (в

Показать ещё ↓

Источник: MarkTechPost — оригинал