等等,这也可以?如何在你的电脑上安装神经网络(以及为什么这样做)
DeepSeek
Meta
Alibaba/Qwen
Google/DeepMind
Mistral
Microsoft
如今许多AI模型都可以下载并在你自己的硬件上本地运行,无需互联网连接。这样做的好处包括离线使用、保护隐私以及无需按次付费。像DeepSeek、Llama和Qwen这样的流行模型可以使用LM Studio等工具进行安装。
目前大多数神经网络都是在线运行的,但有些模型可以下载并直接在你自己的电脑上本地运行,甚至无需联网。这被称为本地AI部署。这是合法的:开发者会发布模型权重供下载,不过每个模型都有自己的许可证。本地运行意味着你的数据会保留在自己的机器上,你可以离线工作,还能避免API费用。然而,本地模型通常不如云端模型强大,并且可能需要大量内存或一块不错的GPU。适合本地使用的热门模型包括DeepSeek、Meta的Llama、阿里巴巴的Qwen、谷歌的Gemma、Mistral以及微软的Phi。在安装方面,LM Studio等程序可以简化流程。举个例子,用LM Studio运行DeepSeek,你需要下载这个软件,搜索DeepSeek,选择一个量化版本(比如Q4_K_M),然后下载即可。系统要求各不相同:DeepSeek 8B至少需要8 GB内存和5到6 GB磁盘空间,14B需要16 GB内存,32B则需要32 GB内存。ChatGPT无法下载,因为OpenAI不发布其权重。安装之后,只有在更新或获取新模型时才需要联网。强大的GPU并非必需,用CPU也可以,但速度会慢一些。量化可以减小模型大小并降低要求,但会牺牲一定的质量。
来源: Habr — хаб ИИ —
原文
