硬件与推理 RSS

开源 🇺🇸

Gigatoken:用Rust实现的BPE分词器,编码速度达24.53 GB/s,比HuggingFace分词器快989倍

Gigatoken是一个由斯坦福博士生Marcel Rød用Rust编写的BPE分词器,在144核AMD EPYC系统上实现了24.53 GB/s的文本编码速度,比HuggingFace分词器快989倍,比OpenAI的tiktoken快681倍。该库支持23种分词器家族,其速度归功于使用SWAR SIMD技术和分词缓存的手工优化预分词器。

OpenAIOpenAI Hugging FaceHugging Face Google/DeepMindGoogle/DeepMind MetaMeta Alibaba/QwenAlibaba/Qwen DeepSeekDeepSeek Moonshot AIMoonshot AI NVIDIANVIDIA
MarkTechPost24.07 · 01:03
最新新闻