本地部署大模型：Ollama 三步跑起来

担心隐私、想离线使用、或者就是好奇——在本地跑一个大模型的理由很多，而且门槛比你想象的低得多。用 Ollama，一条命令就能把开源大模型跑在自己的电脑上。

准备工作

• 一台内存够用的电脑：7B 参数的模型量化版大约需要 8GB 内存，14B 建议 16GB 以上；
• 有独立显卡更快，没有也能跑（CPU 推理慢但可用）。

三步跑起来

1. 官网下载并安装 Ollama（支持 Windows / macOS / Linux）；
2. 打开终端，执行：

ollama run qwen2.5:7b

3. 第一次会自动下载模型（约 4.7GB），下载完直接进入对话界面，断网也能用。

换模型只需换名字：ollama run llama3.1:8b、ollama run deepseek-r1:7b 等。用 ollama list 查看已安装的模型。

配合图形界面更好用

命令行聊天毕竟原始。Ollama 起的是本地服务（端口 11434），搭配开源聊天界面（如 Open WebUI）可以获得类似网页版 ChatGPT 的体验，还支持多会话管理。

本地模型的定位

要说实话：本地 7B~14B 模型的能力不如云端旗舰模型，复杂推理和长文写作有明显差距。但它在这些场景非常能打：

• 处理隐私敏感的文本（合同、日志、私人笔记）；
• 完全离线环境；
• 高频轻度任务（改写、摘要、翻译），不花钱不排队。

本地模型是"自己的兵"，云端大模型是"请来的专家"，搭配着用才是最优解。