Gigatoken: Rust製BPEトークナイザーが毎秒24.53GBでテキストをエンコード、HuggingFace Tokenizersの最大989倍高速

スタンフォード大学の博士課程学生であるMarcel Rød氏は、Rustで記述されPythonバインディングを備えたバイトペアエンコーディング（BPE）トークナイザー「Gigatoken」をMITライセンスのもとで公開しました。144コアのAMD EPYC 9565デュアルソケットシステムにおいて、Gigatokenは11.9 GBのowt_train.txtコーパスを24.53 GB/sで処理し、HuggingFaceトークナイザーの24.8 MB/s（989倍遅い）やOpenAIのtiktokenの36.0 MB/s（681倍遅い）を上回りました。16コアのApple M4 Maxでは8.79 GB/sを達成し、HuggingFace比で1,268倍、tiktoken比で140倍高速です。性能向上の要因は、SWAR（SIMD Within A Register）手法を用いて分岐なし演算で8バイトを一度にチェックする手書きのプリトークナイザーにあり、GPT-2プリトークナイズで1,049 MiB/sを実現し、正規表現ベースの手法より22.3倍高速化しています。さらに、プリトークンのキャッシュにより既出語の再計算を回避します。既存のHuggingFaceやtiktokenトークナイザーとの互換モードでは、Pythonのオーバーヘッドにより200～300倍の高速化を達成しています。4 vCPU VMを用いたKrabArenaでの独立したベンチマークでは、中央値スループット277.8 MB/sを記録し、tiktokenの26.2倍、tokenizersの83.4倍の性能を発揮しました。本ライブラリはGPT-2、Llama 3～4、Qwen 2～3.6、DeepSeek V3/R1/V4、GLM 4/5、Kimi K2、Nemotron 3、Phi-4、OLMo 2/3、ModernBERT、Gemma、Mistralを含む23のトークナイザーファミリーをサポートしますが、SentencePieceトークナイザーの高速化は7～22倍にとどまり、WordPieceは未対応です。