요약 · 일주일

1. Gigatoken: Rust 기반 BPE 토크나이저, 초당 24.53GB 인코딩 속도로 HuggingFace 토크나이저보다 최대 989배 빠름
   Gigatoken은 스탠퍼드 박사 과정 학생인 Marcel Rød가 Rust로 작성한 BPE 토크나이저로, 144코어 AMD EPYC 시스템에서 초당 24.53GB의 텍스트 인코딩 속도를 달성하여 HuggingFace 토크나이저보다 989배, OpenAI의 tiktoken보다 681배 빠릅니다. 이 라이브러리는 23개의 토크나이저 패밀리를 지원하며, SWAR SIMD 기술을 사용한 수동 최적화된 사전토크나이저와 사전토큰 캐싱 덕분에 이러한 속도를 실현했습니다.