Итоги · за неделю
Главное в рубрике «Железо и инференс» за неделю.
- Gigatoken: BPE-токенизатор на Rust кодирует текст со скоростью 24,53 ГБ/с, до 989 раз быстрее токенизаторов HuggingFace
Gigatoken — это BPE-токенизатор, написанный на Rust аспирантом Стэнфорда Марселем Родом. Он достигает скорости кодирования текста 24,53 ГБ/с на 144-ядерной системе AMD EPYC, превосходя токенизаторы HuggingFace в 989 раз и OpenAI tiktoken в 681 раз. Библиотека поддерживает 23 семейства токенизаторов и объясняет свою скорость использованием оптимизированного вручную претокенизатора на основе SWAR SIMD-техник и кэширования претокенов.
Источник: dnb66 · Итоги —
оригинал