Hardware e Inferencia RSS

Código Abierto 🇺🇸

Hugging Face y Microsoft Foundry: Modelos abiertos en GPU gestionadas

Hugging Face y Microsoft Foundry se han asociado para llevar modelos de pesos abiertos del ecosistema de Hugging Face a la plataforma Foundry, proporcionando cómputo GPU gestionado. La colección seleccionada de Hugging Face ofrece modelos con seguridad verificada en diversas modalidades, con plantillas de despliegue y gestión automatizada del tiempo de ejecución. Esto permite a las empresas implementar modelos abiertos con la misma facilidad que los modelos propietarios en Foundry.

MicrosoftMicrosoft Hugging FaceHugging Face OpenAIOpenAI AnthropicAnthropic MetaMeta MistralMistral DeepSeekDeepSeek
Hugging Face blog27.07 · 04:06
Código Abierto 🇺🇸

El backend de Hugging Face Transformers para vLLM alcanza rendimiento nativo

La integración de Hugging Face Transformers como backend de modelado en vLLM ahora iguala o supera el rendimiento nativo de vLLM en varios modelos Qwen3, incluyendo arquitecturas densas y de mezcla de expertos, sin necesidad de portabilidad personalizada. Esto se logra mediante fusiones dinámicas de capas en tiempo de ejecución usando torch.fx y manipulación del AST, permitiendo que cualquier modelo compatible funcione a velocidad nativa con una sola bandera.

Hugging FaceHugging Face
Hugging Face blog27.07 · 04:05
Noticias frescas