Answer.AI — новости и модели ИИ

Open Source 🇺🇸

Gigatoken: токенизатор BPE на Rust кодирует текст со скоростью 24,53 ГБ/с, до 989 раз быстрее HuggingFace Tokenizers

Аспирант Стэнфорда Марсель Рёд выпустил Gigatoken — токенизатор BPE на Rust с привязками к Python, достигающий скорости до 24,53 ГБ/с на 144‑ядерном AMD EPYC, что в 989 раз быстрее HuggingFace Tokenizers и в 681 раз быстрее tiktoken. Ускорение обеспечивается за счёт рукописного SWAR-претокенизатора и кэширования претокенов.

OpenAI

Hugging Face

Google/DeepMind