AI基础设施面临新挑战：模型增长、异构计算与智能体复杂性重塑领域

在最近一次InfoQ直播讨论中，华为AI开源生态总监黄志鹏主持了与Inferact vLLM提交者莫子枫和第四范式（4Paradigm）系统研发专家杨守仁的对话，共同探讨AI基础设施的演进。莫子枫指出，模型架构的发展速度远超工具链，例如DeepSeek V4复杂的MoE（混合专家）架构，以及从LLaVA演进到全模态的Cosmos V模型。杨守仁强调，随着国产AI加速器（NVIDIA、昇腾、寒武纪、昆仑、天数智芯、沐曦）的普及，核心挑战在于异构计算管理，这导致了一致性问题，例如某个张量输出可能在特定GPU的特定形状下失败。杨守仁介绍了HAMi，一个用于跨设备GPU虚拟化和共享的开源项目，并讨论了Kubernetes DRA（动态资源分配）在高级设备管理方面的局限性。与会者还探讨了AI智能体对开源社区的影响：智能体现在有助于处理常规的PR（拉取请求）任务，但也导致仓库被大量低质量提交淹没，提交者需要手动分类。莫子枫描述了通过工作/学校邮箱验证采用“仅限人类”的过滤策略。展望未来，杨守仁预测AI将逐渐接管基础设施运维，使工程师能够专注于更高级的SLA（服务等级协议）/ SLI（服务等级指标）/成本设计，但指出开源项目必须通过全面测试来维持质量信任。莫子枫补充道，平台类软件仍将不可或缺，因为即使强大的智能体也能从生态系统的集体优化中受益，而“马太效应”将使用户集中在像vLLM这样维护良好的项目上。对话最后提供了处理不支持的硬件算子的实用建议：供应商支持、CPU卸载或使用智能体进行迭代性能分析，尽管边缘案例的bug仍难以捕获。