Docker安装ollama过程解读
一：ollama介绍
Ollama官网：https://ollama.com/，官方网站的介绍就一句话：
Get up and running with large language models. （开始使用大语言模型。）
Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型、降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。
因此：Ollama是大语言模型便捷的管理和运维工具
二：docker安装ollama
1.1 拉取镜像
docker pull ollama/ollama
运行容器(CPU)
docker run -d -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
说明：D:\ollama 挂载自己机器的目录
1.2 运行容器（GPU）
docker run -d --gpus=all -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
1.3 运行模型
运行模型前首先要到https://ollama.com/library选择自己要加载的模型(上面有各种模型：llama3.2，llama3.1，gemma2，qwen2.5，等等），我们在这选择11ama3.2
从上图可以看到下拉里面有几个不同数据量的版本。选择好了之后。我们会看对应右边文本框里面会有对应的变化，我们现在选择1b对应的就是：ollama run llama3.2:1b
下一步：我们就把选择这个模型运行下。如果没有下载他会自动下载的。
docker exec -it ollama ollama run llama3.2:1b
docker exec 命令：
docker exec是用来在一个已经运行的容器内执行命令的。- 它允许你在容器内部启动一个新的进程，通常用于调试和管理。
it选项：
i（interactive）: 使容器的标准输入保持打开，以便你可以与容器内的进程进行交互。t（tty）: 为容器分配一个伪终端，这使得你可以以终端模式运行命令。
ollama：
- 这是正在运行的容器的名称。
- 刚刚通过
docker run命令启动了这个容器，并给它指定了名称ollama。
ollama run llama3.2:1b：
- 这是在容器内执行的命令。
- 它调用了
ollama应用程序，并加载llama3.2:1b模型（这个就是我们在官网上面选择那个版本）
运行图片如下：
这样你就可以用这个客户端跟大模型对话。
最后：当然我们需要一下web-ui跟大模型对话了。下一步讲如何安装Open WebUI
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
本文主要介绍如何从零开始构建一个简易的CaaS（Container as a Service）系统。简单易懂，希望有想学习的小伙伴可以关注下2016-10-10
这篇文章主要介绍了使用elasticsearch定时删除索引数据的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
这篇文章主要介绍了详解使用阿里云镜像仓库构建国外Docker镜像，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
Docker可以使用 docker logs 命令来查看容器的日志,本文主要介绍了docker查看日志命令的实现步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-08-08
redis集群对于很多人来说非常熟悉，虽然集群搭建的文章在网上很多，但是今天给大家介绍的是在docker上实现Redis集群搭建，感兴趣的可以了解下2021-05-05
本文记录了通过 docker compose 搭建一主双从的 Redis 服务。文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-08-08
Docker启动RabbitMQ实现生产者与消费者的详细过程
这篇文章主要介绍了Docker启动RabbitMQ，实现生产者与消费者,通过Docker拉取镜像并启动RabbitMQ，本文结合实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-02-02
这篇文章主要介绍了如何设置docker容器时区问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-07-07
将spring boot应用打入docker中运行的实现方法
这篇文章主要介绍了将spring boot应用打入docker中运行的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
在Ubuntu 16.04上用Docker Swarm和DigitalOcean创建一个Docker容器集群的方法
这篇文章主要介绍了在Ubuntu 16.04上用Docker Swarm和DigitalOcean创建一个Docker容器集群的方法，需要的的朋友参考下吧2017-01-01
最新评论