Mini-PC com Strix Halo sob carga paralela: 236 tok/s em 32 requisições concorrentes e três erros

Um Beelink GTR9 Pro com Ryzen AI Max+ 395 atingiu 236 tok/s agregados em 32 requisições concorrentes em testes curtos, mantendo uma média de 226 tok/s ao longo de 30 minutos sem redução de desempenho. O autor descobriu uma queda de throughput reproduzível entre 8 e 10 clientes concorrentes em todos os modelos testados, e constatou que a decodificação especulativa (MTP) acelerou o desempenho de cliente único em 42%, mas tornou-se uma penalidade sob concorrência.

Google/DeepMind

Baidu lança chip Kunlun Core M100 otimizado para inferência de grandes modelos de linguagem

A Baidu apresentou seu novo chip Kunlun Core M100, projetado especificamente para acelerar a inferência de grandes modelos de linguagem. O chip visa melhorar a eficiência e reduzir os custos para cargas de trabalho de inteligência artificial.

Baidu