El backend de Hugging Face Transformers para vLLM alcanza rendimiento nativo

La integración de Hugging Face Transformers como backend de modelado en vLLM ahora iguala o supera el rendimiento nativo de vLLM en varios modelos Qwen3, incluyendo arquitecturas densas y de mezcla de expertos, sin necesidad de portabilidad personalizada. Esto se logra mediante fusiones dinámicas de capas en tiempo de ejecución usando torch.fx y manipulación del AST, permitiendo que cualquier modelo compatible funcione a velocidad nativa con una sola bandera.

Hugging Face

NVIDIA utiliza el procesador Vera para acelerar el diseño de futuras CPU y GPU

NVIDIA está colaborando con Cadence y Synopsys para optimizar aplicaciones de EDA para el nuevo procesador Vera. Las pruebas tempranas muestran mejoras de rendimiento de hasta 1,5 veces en cargas de trabajo seleccionadas. Vera ya se utiliza en los propios procesos de diseño de NVIDIA para crear futuros chips.

NVIDIA Cadence Design Systems Synopsys, Inc.