잠깐, 그게 가능하다고? 컴퓨터에 신경망을 설치하는 방법(과 이유)

현재 대부분의 신경망은 온라인으로 작동하지만, 일부 모델은 다운로드하여 인터넷 연결 없이도 자신의 컴퓨터에서 실행할 수 있습니다. 이를 로컬 AI 배포라고 합니다. 이는 합법적입니다. 개발자들이 모델 가중치를 다운로드할 수 있도록 공개하며, 각 모델은 자체 라이선스를 가지고 있습니다. 로컬 실행은 데이터가 내 컴퓨터에 유지되고, 오프라인으로 작업할 수 있으며, API 비용을 피할 수 있다는 것을 의미합니다. 그러나 로컬 모델은 일반적으로 클라우드 모델보다 성능이 떨어지고, 상당한 RAM 또는 좋은 GPU가 필요할 수 있습니다. 로컬 사용에 인기 있는 모델로는 DeepSeek, Meta의 Llama, Alibaba의 Qwen, Google의 Gemma, Mistral, Microsoft의 Phi가 있습니다. 설치를 위해 LM Studio와 같은 프로그램이 과정을 단순화합니다. 예를 들어, LM Studio로 DeepSeek를 실행하려면 소프트웨어를 다운로드하고, DeepSeek를 검색하고, 양자화된 버전(예: Q4_K_M)을 선택한 후 다운로드합니다. 시스템 요구 사항은 다양합니다: DeepSeek 8B는 최소 8GB RAM과 5-6GB 디스크가 필요하며, 14B는 16GB RAM, 32B는 32GB RAM이 필요합니다. ChatGPT는 다운로드할 수 없습니다. OpenAI는 가중치를 공개하지 않습니다. 설치 후 인터넷은 업데이트나 새 모델을 받을 때만 필요합니다. 강력한 GPU는 필수가 아닙니다. CPU로도 작동하지만 느립니다. 양자화는 약간의 품질 손실을 감수하고 모델 크기와 요구 사항을 줄입니다.