Mini-PC con Strix Halo bajo carga paralela: 236 tok/s en 32 solicitudes concurrentes y tres errores

Un Beelink GTR9 Pro con Ryzen AI Max+ 395 alcanzó 236 tok/s agregados en 32 solicitudes concurrentes en ejecuciones cortas, manteniendo un promedio de 226 tok/s durante 30 minutos sin estrangulamiento térmico. El autor descubrió una caída reproducible en el rendimiento entre 8 y 10 clientes concurrentes en todos los modelos probados, y encontró que la decodificación especulativa (MTP) aceleró el rendimiento de un solo cliente en un 42%, pero se convirtió en una penalización bajo concurrencia.

Google/DeepMind

Baidu presenta el chip Kunlun Core M100 optimizado para la inferencia de modelos de lenguaje grandes

Baidu ha presentado su nuevo chip Kunlun Core M100, diseñado específicamente para acelerar la inferencia de modelos de lenguaje grandes. El chip busca mejorar la eficiencia y reducir los costos de las cargas de trabajo de inteligencia artificial.

Baidu