Gigatoken: токенизатор BPE на Rust кодирует текст со скоростью 24,53 ГБ/с, до 989 раз быстрее HuggingFace Tokenizers
OpenAI
Hugging Face
Google/DeepMind
Meta
Alibaba/Qwen
DeepSeek
Moonshot AI
NVIDIA
Microsoft
Allen Institute for AI
Answer.AI
Mistral
Аспирант Стэнфорда Марсель Рёд выпустил Gigatoken — токенизатор BPE на Rust с привязками к Python, достигающий скорости до 24,53 ГБ/с на 144‑ядерном AMD EPYC, что в 989 раз быстрее HuggingFace Tokenizers и в 681 раз быстрее tiktoken. Ускорение обеспечивается за счёт рукописного SWAR-претокенизатора и кэширования претокенов.
Gigatoken — это библиотека для токенизации методом BPE (byte-pair encoding), написанная на Rust с Python-привязками. Она выпущена под лицензией MIT аспирантом Стэнфорда Марселем Рёдом (Marcel Rød). Версия 0.9.0 доступна на PyPI (pip install gigatoken). В бенчмарках на GPT-2 на системе с двумя 144‑ядерными AMD EPYC 9565 Gigatoken обрабатывает данные со скоростью 24,53 ГБ/с. Для сравнения: OpenAI
Показать ещё ↓
- Сокращения
- BPE = Byte-Pair Encoding — кодирование пар байтов
- SWAR = SIMD Within A Register — SIMD в пределах регистра
- ILP = Instruction-Level Parallelism — параллелизм на уровне инструкций
- SIMD = Single Instruction, Multiple Data — один поток команд, множество данных
- NEON = NEON (ARM SIMD architecture) — NEON (ARM SIMD-архитектура)
Источник: MarkTechPost —
оригинал