AI 인프라의 숨은 함정: 출시 6개월 후 고객이 배우는 것(및 당사의 하드웨어-소프트웨어 컴플렉스에서 해결한 방법)

이 글은 Rubytech 그룹 산하 Scala^r의 아키텍트인 Alexey가 작성한 것으로, 고객들이 자체적으로 AI 인프라를 구축할 때 겪는 어려움을 다루고 있다. 주요 함정으로는 개별적으로는 정상 작동하지만 부하가 걸리면 함께 실패하는 구성 요소, 잘못된 GPU 선택(불필요한 경우에도 H100을 선택하는 경우가 많음), 성능을 저하시키는 네트워크 설정 오류(예: RDMA(Remote Direct Memory Access, 원격 직접 메모리 접근) 트래픽과 백업 트래픽을 혼합하는 경우), Kubernetes 클러스터의 장애 대응력 부족, 전력 및 냉각 요구량 과소평가, 그리고 규제 산업에서의 장기간에 걸친 인증 절차 등이 있다. 이러한 문제를 해결하기 위해 Scala^r는 'Scala^r MII'라는 하드웨어-소프트웨어 복합 솔루션을 제공한다. 이는 하드웨어, OS, Kubernetes, GPU 스택, 네트워크 스택을 사전에 검증된 조합으로 제공함으로써 배포 시간을 1~2주로 줄이고, 자체 구축 방식에 비해 성능을 200~300% 향상시킨다. 이 복합 솔루션은 NVIDIA를 비롯한 여러 GPU 플랫폼과 중국산 대체 제품을 지원하며, 물리적 트래픽 분리, MLAG(Multi-Chassis Link Aggregation, 다중 섀시 링크 집합) 네트워킹, GPU 토폴로지를 인식하는 맞춤형 스케줄러, 이중화된 전력 시스템, 그리고 FSTEC(러시아 연방기술수출통제청) 인증서 등의 기능을 포함한다. 또한 이 글은 학습(training), 미세조정(fine-tuning), 추론(inference)이라는 세 가지 시나리오를 강조하며, 이 각각의 영역에서 PAK(하드웨어-소프트웨어 복합체, Programmno-Apparatny Kompleks)가 상당한 성능 향상을 제공한다고 설명한다.