Docker安装ollama过程解读
更新时间：2025年02月17日 10:24:03 作者：坚定信念，勇往无前
Ollama是一个开源的LLM服务工具,用于简化在本地运行大语言模型,本文介绍了如何使用Docker安装Ollama并运行大语言模型,包括拉取镜像、运行容器和加载模型,最后,还介绍了如何安装OpenWebUI进行Web界面交互
一：ollama介绍
Ollama官网：https://ollama.com/，官方网站的介绍就一句话：
Get up and running with large language models. （开始使用大语言模型。）
Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型、降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。
因此：Ollama是大语言模型便捷的管理和运维工具
二：docker安装ollama
1.1 拉取镜像
docker pull ollama/ollama
运行容器(CPU)
docker run -d -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
说明：D:\ollama 挂载自己机器的目录
1.2 运行容器（GPU）
docker run -d --gpus=all -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
1.3 运行模型
运行模型前首先要到https://ollama.com/library选择自己要加载的模型(上面有各种模型：llama3.2，llama3.1，gemma2，qwen2.5，等等），我们在这选择11ama3.2
从上图可以看到下拉里面有几个不同数据量的版本。选择好了之后。我们会看对应右边文本框里面会有对应的变化，我们现在选择1b对应的就是：ollama run llama3.2:1b
下一步：我们就把选择这个模型运行下。如果没有下载他会自动下载的。
docker exec -it ollama ollama run llama3.2:1b
docker exec 命令：
docker exec是用来在一个已经运行的容器内执行命令的。- 它允许你在容器内部启动一个新的进程，通常用于调试和管理。
it选项：
i（interactive）: 使容器的标准输入保持打开，以便你可以与容器内的进程进行交互。t（tty）: 为容器分配一个伪终端，这使得你可以以终端模式运行命令。
ollama：
- 这是正在运行的容器的名称。
- 刚刚通过
docker run命令启动了这个容器，并给它指定了名称ollama。
ollama run llama3.2:1b：
- 这是在容器内执行的命令。
- 它调用了
ollama应用程序，并加载llama3.2:1b模型（这个就是我们在官网上面选择那个版本）
运行图片如下：
这样你就可以用这个客户端跟大模型对话。
最后：当然我们需要一下web-ui跟大模型对话了。下一步讲如何安装Open WebUI
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了docker安装后导致的网络问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-11-11
这篇文章主要介绍了mac下docker 安装 ES的详细过程,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-06-06
本篇文章主要介绍了Docker基于已有的镜像制新的镜像，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-05-05
这篇文章主要介绍了如何使用Vscode结合docker进行开发,在本文中，我将提供一个在 Node 环境中运行的 JavaScript 应用程序示例。阅读在容器内开发以获取所有技术堆栈的详细文档，需要的朋友可以参考下2021-07-07
这篇文章主要介绍了Docker Compose部署ELK的详细过程，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2021-08-08
这篇文章主要介绍了Docker安装RabbitMQ后访问报错的最佳解决方案,错误通常是由于RabbitMQ的安全配置导致的,RabbitMQ默认配置允许的用户仅能通过localhost访问,文中通过图文讲解的非常详细,需要的朋友可以参考下2025-01-01
容器是基于镜像创建的，容器中的进程依赖于镜像中的文件，那么本篇文章我们就来深入学习容器的基本操作方法，通过示例来加深各位看官对docker容器操作的理解以及记忆,需要的朋友可以参考下2022-07-07
Docker Compose 是 Docker 官方编排（Orchestration）项目之一，负责快速在集群中部署分布式应用，这篇文章主要介绍了Docker之compose介绍,需要的朋友可以参考下2023-02-02
本文主要介绍了浅谈Docker consul的容器服务更新与发现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-06-06
文章讨论了在Docker容器中访问宿主机的网络设置,特别是当容器内的服务需要请求一个在宿主机hosts文件中定义的域名时,通过使用`--network=host`模式,容器可以直接使用宿主机的网络,从而无需通过Docker网关,这样可以避免端口冲突2025-12-12
最新评论