Gigatoken: tokenizador BPE en Rust codifica texto a 24,53 GB/s, hasta 989 veces más rápido que los tokenizadores de HuggingFace

Gigatoken, un tokenizador BPE escrito en Rust por el estudiante de doctorado de Stanford Marcel Rød, alcanza velocidades de codificación de texto de 24,53 GB/s en un sistema AMD EPYC de 144 núcleos, superando a los tokenizadores de HuggingFace en 989 veces y al tiktoken de OpenAI en 681 veces. La biblioteca admite 23 familias de tokenizadores y atribuye su velocidad a un pretokenizador optimizado manualmente mediante técnicas SIMD SWAR y almacenamiento en caché de pretokens.

OpenAI Hugging Face Google/DeepMind Meta Alibaba/Qwen DeepSeek Moonshot AI NVIDIA

Elon Musk propone colocar supercomputadoras de IA en estaciones de carga de Tesla

Elon Musk sugirió usar las potentes estaciones Supercharger de Tesla para alimentar supercomputadoras en bloque llamadas Megapod, que formarían una red de computación distribuida. El Megapod combinaría los chips AI4 propios de Tesla con procesadores x86, y podría transportarse en un contenedor y conectarse a la energía y las comunicaciones. Musk también insinuó el uso de Starlink para la conectividad.

Tesla SpaceX