Kooste · viime viikko

1. Gigatoken: Rustilla toteutettu BPE-tokenisoi tekstiä 24,53 Gt/s, jopa 989 kertaa nopeammin kuin HuggingFace-tokenisaattorit
   Gigatoken, Stanfordin tohtoriopiskelija Marcel Rødin Rust-kielellä kirjoittama BPE-tokenisaattori, saavuttaa tekstin koodausnopeuden 24,53 Gt/s 144-ytimisellä AMD EPYC -järjestelmällä, ylittäen HuggingFace-tokenisaattorit 989 kertaa ja OpenAI:n tiktokenin 681 kertaa. Kirjasto tukee 23 tokenisaattoriperhettä ja perustelee nopeutensa käsin optimoidulla esitokenisaattorilla, joka hyödyntää SWAR SIMD -tekniikoita ja esitokenien välimuistia.