Ollama Windows安装部署运行模型全指南(含手动导入GGUF模型)

从官网下载到模型导入，手把手教你搞定本地大模型

最近本地跑大模型是越来越火了，Ollama作为最流行的本地LLM工具，对Windows用户也越来越友好。自己动手倒腾了一下，并把过程给大家总结出来，写一篇完整的Windows安装教程，从零开始，一直到手动导入GGUF模型，全部走一遍。

这篇文章会覆盖三种场景：

• 场景一：纯小白，只想用官网直接安装、跑模型
• 场景二：需要手动转换 Safetensors 格式为 GGUF 格式再导入
• 场景三：国内用户配置镜像加速

一、Ollama是什么？为什么选它？

简单说，Ollama就是一个让你在本地轻松运行大语言模型的工具。你不需要懂Python环境、不需要配置CUDA、不需要折腾各种依赖——下载安装，一条命令就能跑起来。

它对Windows用户的最大价值：把“跑大模型”这件事，从“工程师专属”变成了“人人可玩”。

二、直接安装（官方推荐）

Ollama提供了官方的Windows预览版，这是最主流的安装方式。

第1步：访问官网

打开浏览器，进入Ollama官方下载页面：
https://ollama.com/download

第2步：下载Windows版本

页面会自动检测你的操作系统，你会看到一个醒目的 Download for Windows 按钮。点击它，下载一个 .exe 安装文件（通常叫 OllamaSetup.exe）。如下图：

第3步：运行安装程序

双击下载好的 OllamaSetup.exe，开始安装：

• 如果弹出 用户账户控制（UAC） 窗口，点击 “是”
• 安装程序会自动完成所有步骤，包括：
  • 安装Ollama核心文件
  • 把 ollama 命令添加到系统 PATH环境变量（这一步很重要，否则终端里识别不了）

整个安装过程是全自动的，不需要你做额外配置。

第4步：验证安装是否成功

安装完成后，建议重启一下终端（Command Prompt或PowerShell），确保环境变量已生效。

打开终端（Win + S，输入 cmd 或 powershell），输入：

ollama --version

如果看到类似这样的输出，说明安装成功了：

ollama version 0.5.1

如果提示“无法识别命令”，说明环境变量没有生效，重启终端或重启电脑后再试。

三、运行你的第一个模型

安装完成后，跑一个模型有多简单？只需一条命令。

第1步：下载并运行模型

在终端中输入以下命令（以 qwen3.5-9b 为例）：

ollama run qwen3.5-9b

Ollama会自动下载模型，下载完成后自动进入交互式聊天界面。

如果你在国内，下载速度很慢怎么办？ 往下翻到“第六节”，有镜像源配置教程。

第2步：开始对话

下载完成后，你会进入交互式聊天界面。输入 Hello! 试试：

>>> Hello!
你好！很高兴见到你。有什么我可以帮你的吗？

第3步：退出对话

输入 /bye 或按 Ctrl + D 即可退出。

第4步：停止模型运行

模型会默认在后台保持运行，以便下次快速响应。如果你想手动停止它，使用：

ollama stop qwen3.5-9b

四、高级场景：手动导入Safetensors模型（GGUF转换指南）

这是本文的重点——如果你已经通过浏览器或其他工具下载了模型，但下载的是 Safetensors格式（包含多个.safetensors分片文件），那么需要先转换成 GGUF格式，再导入Ollama。

为什么要转换？

Ollama底层依赖 llama.cpp引擎，它只认 GGUF格式。Safetensors是HuggingFace生态的通用格式，不能直接在Ollama中运行。

两个重要提醒：

1. 推荐直接用已转换好的GGUF模型

如果你在魔搭社区（modelscope）看到“GGUF”版块，直接下载GGUF格式就好，省去转换这一步。

2. 转换需要一定时间

转换模型会消耗CPU/GPU资源，7B模型大概需要几分钟，34B模型可能要半小时以上。

第1步：安装llama.cpp转换工具

首先克隆llama.cpp仓库并安装依赖：

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
pip install -r requirements.txt

提示：如果你网络访问GitHub慢，可以用国内镜像源。安装依赖时如果下载慢，可以用清华源：
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

第2步：执行格式转换

假设你的Safetensors模型存放在 D:\models\qwen3.5-9b 目录下：

python convert_hf_to_gguf.py D:\models\qwen3.5-9b --outtype f16 --outfile D:\models\qwen3.5-9b.gguf

参数说明：

第3步：编写Modelfile配置文件

在 .gguf 文件同级目录下，新建一个无后缀的文本文件，命名为 Modelfile。

用记事本打开，写入以下内容：

FROM ./qwen3.5-9b.gguf

保存即可。

为什么推荐用相对路径？ 因为Modelfile和gguf在同一目录下，用 ./ 最稳妥，不会因路径错误导致导入失败。

第4步：导入并运行模型

打开终端（CMD或PowerShell），进入模型所在目录：

创建模型（注意：必须用 -f 参数指向Modelfile）：

ollama create qwen3.5-9b -f .\Modelfile

运行模型：

ollama run qwen3.5-9b

手动转换完整流程图示

📁 原始Safetensors模型（多个分片）
       ↓
convert_hf_to_gguf.py 转换
       ↓
📄 qwen3.5-9b.gguf （单个文件）
       +
📄 Modelfile（配置文件）
       ↓
ollama create -f Modelfile
       ↓
✅ 可运行的Ollama模型

五、镜像源列表

六、常用命令速查

七、常见问题排查

Ollama 本地部署错题集

1. 错误：Error: unknown flag: --from

• 问题描述：在执行 ollama create 时，使用了 --from 参数直接指向本地模型文件，导致提示未知标志。
• 原因分析：Ollama 的 create 命令不支持 --from 这个参数。导入本地模型必须通过一个名为 Modelfile 的配置文件来进行。
• 解决方案：
  1. 在模型所在目录创建一个无后缀的 Modelfile 文件。
  2. 在文件中写入 FROM <模型文件路径>（例如 FROM .\qwen3.5-9b.gguf）。
  3. 使用 -f 参数指向该配置文件：ollama create <模型名> -f .\Modelfile。

2. 错误：Error: read <路径>: Incorrect function.

• 问题描述：将 .gguf 模型文件的路径直接传给了 -f 参数（如 ollama create xxx -f D:\AI\models\xxx.gguf），导致底层读取报错。
• 原因分析：-f 参数的作用是读取文本格式的配置文件（Modelfile），而不是直接读取二进制的模型文件。Ollama 尝试把 .gguf 当作文本解析，从而引发系统级读取错误。
• 解决方案：严格遵循 Modelfile 机制。-f 后面只能接 Modelfile，而模型的实际路径需要写在 Modelfile 的 FROM 指令中。

3. 错误：Error: accepts 1 arg(s), received 2

• 问题描述：在执行 ollama create qwen3.5-9b .\Modelfile 时，提示参数数量错误。
• 原因分析：漏写了 -f 参数。Ollama 将 qwen3.5-9b 和 .\Modelfile 识别为了两个独立的位置参数，但该命令只接受一个参数（模型名称）。
• 解决方案：补全 -f 参数，正确语法为：ollama create qwen3.5-9b -f .\Modelfile。

4. 错误：Error: (line 1): command must be one of "from", "license"...

• 问题描述：在创建模型时，直接将 .gguf 文件作为 Modelfile 传入，或者 Modelfile 内容格式错误。
• 原因分析：Ollama 解析 Modelfile 时，要求第一行必须是合法的指令（如 FROM）。如果直接把 .gguf 文件当成配置文件读取，Ollama 无法识别其开头的二进制乱码。
• 解决方案：确保 Modelfile 是一个纯文本文件，且第一行严格为 FROM <模型路径>。

5. 隐藏坑点：Windows 路径含空格导致运行失败

• 问题描述：模型创建成功，但在执行 ollama run 时直接报错或无法启动。
• 原因分析：这是 Ollama 在 Windows 环境下的已知 Bug。如果模型所在的文件夹路径或文件名中包含空格（如 D:\AI Models\...），Ollama 会解析失败。
• 解决方案：将模型文件和 Modelfile 移动到绝对没有空格的路径下（例如 D:\AI_models\），并同步更新 Modelfile 中的 FROM 路径。

6. 隐藏坑点：Safetensors 格式无法直接运行

• 问题描述：从 ModelScope 下载的模型包含多个 model.safetensors 文件，尝试导入 Ollama 失败。
• 原因分析：Ollama 底层依赖 llama.cpp 引擎，只识别 GGUF 格式。Safetensors 是 PyTorch 生态格式，无法被直接解析。
• 解决方案：必须先使用 llama.cpp 提供的 convert_hf_to_gguf.py 脚本，将 Safetensors 转换为 GGUF 格式后，再执行导入流程。

结语

以上就是Ollama在Windows上的完整安装部署指南，从最基础的“一键安装”到“手动导入GGUF模型”都走了一遍。

如果你是初学者，推荐这样做：

1. 先走“直接安装”流程，用 ollama run qwen3.5-9b 跑通第一个模型
2. 熟悉基本命令后，再尝试手动导入自己的GGUF模型
3. 按照“常见问题排查”处理遇到的报错

全部走通之后，你就拥有了一个完全在本地运行、无需联网、隐私安全的大模型运行环境。下一步就是玩各种有趣的玩法了——比如搭建本地知识库、跑Agent、或者做自己的AI应用。

以上就是Ollama Windows安装部署运行模型全指南(含手动导入GGUF模型)的详细内容，更多关于Ollama Windows安装部署运行的资料请关注脚本之家其它相关文章！

最新评论