Strix Halo 平台迷你 PC 并行负载测试：32 个并发请求下 236 tok/s，出现三个错误

一款搭载 Ryzen AI Max+ 395 的 Beelink GTR9 Pro 在短时间运行中，以 32 个并发请求实现了 236 tok/s 的聚合速率，并在 30 分钟内维持平均 226 tok/s 且无降频。作者发现所有测试模型在 8 至 10 个并发客户端之间存在一个可复现的吞吐量下降，同时，推测解码（MTP）能将单客户端性能提升 42%，但在并发场景下反而成为负担。

Google/DeepMind

百度推出专为大语言模型推理优化的昆仑芯M100芯片

百度展示了其新款昆仑芯M100芯片，该芯片专为加速大语言模型推理而设计，旨在提升AI工作负载的效率并降低成本。

Baidu