AI 인프라, 새로운 도전에 직면하다: 모델 성장, 이기종 컴퓨팅 및 에이전트 복잡성이 분야를 재편

최근 InfoQ 라이브 토론에서 화웨이 AI 오픈소스 생태계 총괄 디렉터 황즈펑이 Inferact vLLM 커미터 모쯔펑과 4Paradigm(포스 패러다임) 시스템 R&D 전문가 양서우런을 초청하여 AI 인프라의 진화를 살펴보았습니다. 모 씨는 모델 아키텍처가 툴체인보다 훨씬 빠르게 성장하고 있으며, DeepSeek V4의 복잡한 MoE와 LLaVA에서 전모달 Cosmos V로 진화하는 멀티모달 모델이 그 예라고 지적했습니다. 양 씨는 국내 AI 가속기(NVIDIA, Ascend, Cambricon, Kunlun, Tianshu, Muxi)가 확산됨에 따라 이기종 컴퓨팅 관리가 핵심 과제로 떠오르며, 특정 GPU에서 특정 형태의 텐서 출력이 실패하는 일관성 문제를 야기한다고 강조했습니다. 양 씨는 GPU 가상화 및 장치 간 공유를 위한 오픈소스 프로젝트인 HAMi를 소개하고, 고급 장치 관리를 위한 쿠버네티스 DRA(Dynamic Resource Allocation)의 한계에 대해 논의했습니다. 그룹은 또한 AI 에이전트가 오픈소스 커뮤니티에 미치는 영향을 탐구했습니다. 에이전트는 이제 반복적인 PR 작업을 돕지만, 커미터가 수동으로 분류해야 하는 저품질 제출물로 저장소를 넘치게 하기도 합니다. 모 씨는 직장/학교 이메일 인증을 통해 '인간 전용' 필터링 전략을 채택했다고 설명했습니다. 미래를 내다보며 양 씨는 AI가 점차 인프라 운영을 대체하여 엔지니어가 더 높은 수준의 서비스 수준 계약(SLA)/서비스 수준 목표(SLO)/비용 설계에 집중할 수 있게 될 것이라고 예측했지만, 오픈소스 프로젝트는 포괄적인 테스트를 통해 품질 신뢰를 유지해야 한다고 강조했습니다. 모 씨는 플랫폼형 소프트웨어가 여전히 필수적일 것이라고 덧붙였습니다. 강력한 에이전트라도 생태계의 집단적 최적화의 혜택을 받으며, '매튜 효과'로 인해 vLLM과 같이 잘 관리된 프로젝트를 중심으로 사용이 집중될 것이기 때문입니다. 대화는 지원되지 않는 하드웨어 연산자 처리에 대한 실용적인 조언(벤더 지원, CPU 오프로드, 에이전트를 사용한 반복적 프로파일링)으로 마무리되었지만, corner-case 버그는 여전히 발견하기 어렵습니다.