要約 · 1週間以内

1. Gigatoken: Rust製BPEトークナイザーが毎秒24.53GBでテキストをエンコード、HuggingFace Tokenizersの最大989倍高速
   Gigatokenは、スタンフォード大学の博士課程学生Marcel Rød氏がRustで開発したBPEトークナイザーで、144コアのAMD EPYCシステム上で毎秒24.53GBのテキストエンコード速度を達成し、HuggingFace Tokenizersの989倍、OpenAIのtiktokenの681倍の性能を実現しました。このライブラリは23のトークナイザーファミリーをサポートし、手動最適化されたプリトークナイザー（SWAR SIMD技術とプリトークンキャッシング）により高速化を実現しています。