使用Docker部署GPUStack过程
更新时间：2026年01月14日 08:56:09 作者：咕咚杨
GPUStack是一款基于Docker的GPU计算平台,支持异构GPU集群,通过简单的Docker命令即可启动GPUStack服务器和worker,并通过Web界面进行管理和监控
github地址：https://github.com/gpustack/gpustack.git
官方文档地址：https://docs.gpustack.ai/
运行GPUStack
本次部署使用nvidia cuda机器，部署方式使用docker：
执行以下命令，启动 GPUStack 服务器和内置 worker。
docker run -d --name gpustack \
--restart=unless-stopped \
--gpus all \
-p 7080:80 \
-p 10150:10150 \
-p 40064-40131:40064-40131 \
--ipc=host \
-v /raid/quxj/gpustack-data:/var/lib/gpustack \
gpustack/gpustack \
--worker-ip $ip页面登录： http://ip:7080
ui页面默认用户： admin
获取admin默认密码：
docker exec -it gpustack cat /var/lib/gpustack/initial_admin_password
界面效果：
添加worker(可选)
您可以向 GPUStack 添加更多 GPU 节点以形成 GPU 集群。您需要在其他 GPU 节点上添加 worker 并指定 and 参数以加入 GPUStack。--server-url--token
要获取用于添加 worker 的 token，请在 GPUStack 服务器节点上运行以下命令：
docker exec -it gpustack cat /var/lib/gpustack/token
要以 Worker 形式启动 GPUStack 并将其注册到 GPUStack 服务器，请在 Worker 节点上运行以下命令。请务必将 URL、令牌和节点 IP 替换为您的特定值：
docker run -d --name gpustack \
--restart=unless-stopped \
--gpus all \
-p 10150:10150 \
-p 40064-40131:40064-40131 \
--ipc=host \
-v gpustack-data:/var/lib/gpustack \
gpustack/gpustack \
--server-url http://your_gpustack_url --token your_gpustack_token --worker-ip your_worker_host_ip注意：
- 支持异构集群。无论是什么类型的设备，您都可以通过指定 and 参数将其作为工作程序添加到当前 GPUStack 中。
--server-url--token - 您可以通过将其他标志附加到 docker run 命令来为命令设置其他标志。
- 您可以使用 flag 或 flag 来允许容器访问主机的共享内存。vLLM 和 pyTorch 使用它来在后台的进程之间共享数据，特别是用于张量并行推理。
--ipc=host--shm-size - 该标志用于确保跨工作程序进行分布式推理的连接。如果您不需要跨工作程序进行分布式推理，则可以省略此标志。
-p 40064-40131:40064-40131
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了利用Dockerfile部署SpringBoot项目的方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-10-10
这篇文章主要介绍了Docker使用GPU全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-01-01
这篇文章主要给大家介绍了关于docker中时区问题的处理方法，文中通过示例代码介绍的非常详细，对大家学习或者使用docker具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-09-09
这篇文章主要介绍了Docker volume使用详解及实例的相关资料,并附简单实例，帮助大家学习参考，需要的朋友可以看下2016-11-11
本文主要介绍了Docker部署Mysql8的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-07-07
本文主要介绍了DocKer 复制本地镜像的步骤实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2025-12-12
详解使用docker 1.12 搭建多主机docker swarm集群
本篇文章主要介绍了使用docker 1.12 搭建多主机docker swarm集群，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-07-07
为了更便捷地连接Docker服务器,Docker服务器需要开放2375端口才能连接docker,本文主要介绍了Docker实现TLS和CA认证的方法步骤,具有一定的参考价值,感兴趣的可以了解一下2024-06-06
这篇文章主要介绍了ubuntu如何完全干净的卸载docker问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-05-05
最近公司里面的项目用到了Docker,正好准备学习下Golang,所以就学习Golang顺便也学习下Docker怎么用的,刚好从头开始配置下环境,这篇文章主要给大家介绍了关于使用docker搭建go环境的简单步骤,需要的朋友可以参考下2023-10-10
最新评论