Hạ tầng AI đối mặt thách thức mới: Mô hình phát triển, điện toán không đồng nhất và độ phức tạp của tác nhân định hình lại lĩnh vực

在近期的一次InfoQ直播讨论中，华为AI开源生态总监黄之鹏邀请了Inferact vLLM提交者莫子枫和第四范式系统研发专家杨守仁，共同探讨AI基础设施的演进。莫子枫指出，模型架构的发展速度远超工具链，例如DeepSeek V4的复杂MoE架构以及从LLaVA到全模态Cosmos V的多模态模型演进。杨守仁强调，随着国产AI加速器（NVIDIA、昇腾、寒武纪、昆仑、天数智芯、沐曦）的激增，异构计算管理成为核心挑战，导致一致性问题，例如某个张量输出在特定GPU上可能因形状问题失败。他介绍了HAMi，一个用于跨设备GPU虚拟化和共享的开源项目，并讨论了Kubernetes DRA（动态资源分配）在高级设备管理方面的局限性。团队还探讨了AI智能体对开源社区的影响：智能体现在能帮助处理繁琐的PR任务，但也导致仓库被大量低质量提交淹没，维护者需要手动筛选。莫子枫描述了一种通过工作/学校邮箱验证的“仅限人类”过滤策略。展望未来，杨守仁预测AI将逐步接管基础设施运维，使工程师专注于更高层次的SLA（服务等级协议）/SLO（服务等级目标）/成本设计，但指出开源项目必须通过全面测试来维持质量信任。莫子枫补充道，平台型软件仍将至关重要，因为即使是强大的智能体也需要生态系统的集体优化，而“马太效应”将使使用集中在vLLM等维护良好的项目上。讨论最后给出了处理不支持的硬件算子的实用建议：供应商支持、CPU卸载或使用智能体进行迭代分析，不过边界情况下的bug仍然难以捕捉。