Baidu Intelligence Cloud presenta el supernodo Tianchi en WAIC para ampliar los límites de escalado de la potencia informática nacional

En la Conferencia Mundial de Inteligencia Artificial (WAIC), Baidu Intelligence Cloud anunció el supernodo Tianchi, una nueva infraestructura informática diseñada para llevar al límite el escalado de la potencia informática nacional de China. El supernodo busca apoyar el entrenamiento y la inferencia de modelos de inteligencia artificial a gran escala, mejorando las capacidades de los chips y sistemas nacionales.

Baidu

Mini-PC con Strix Halo bajo carga paralela: 236 tok/s en 32 solicitudes concurrentes y tres errores

Un Beelink GTR9 Pro con Ryzen AI Max+ 395 alcanzó 236 tok/s agregados en 32 solicitudes concurrentes en ejecuciones cortas, manteniendo un promedio de 226 tok/s durante 30 minutos sin estrangulamiento térmico. El autor descubrió una caída reproducible en el rendimiento entre 8 y 10 clientes concurrentes en todos los modelos probados, y encontró que la decodificación especulativa (MTP) aceleró el rendimiento de un solo cliente en un 42%, pero se convirtió en una penalización bajo concurrencia.

Google/DeepMind