使用Docker部署GPUStack过程
更新时间：2026年01月14日 08:56:09 作者：咕咚杨
GPUStack是一款基于Docker的GPU计算平台,支持异构GPU集群,通过简单的Docker命令即可启动GPUStack服务器和worker,并通过Web界面进行管理和监控
github地址：https://github.com/gpustack/gpustack.git
官方文档地址：https://docs.gpustack.ai/
运行GPUStack
本次部署使用nvidia cuda机器，部署方式使用docker：
执行以下命令，启动 GPUStack 服务器和内置 worker。
docker run -d --name gpustack \
--restart=unless-stopped \
--gpus all \
-p 7080:80 \
-p 10150:10150 \
-p 40064-40131:40064-40131 \
--ipc=host \
-v /raid/quxj/gpustack-data:/var/lib/gpustack \
gpustack/gpustack \
--worker-ip $ip页面登录： http://ip:7080
ui页面默认用户： admin
获取admin默认密码：
docker exec -it gpustack cat /var/lib/gpustack/initial_admin_password
界面效果：
添加worker(可选)
您可以向 GPUStack 添加更多 GPU 节点以形成 GPU 集群。您需要在其他 GPU 节点上添加 worker 并指定 and 参数以加入 GPUStack。--server-url--token
要获取用于添加 worker 的 token，请在 GPUStack 服务器节点上运行以下命令：
docker exec -it gpustack cat /var/lib/gpustack/token
要以 Worker 形式启动 GPUStack 并将其注册到 GPUStack 服务器，请在 Worker 节点上运行以下命令。请务必将 URL、令牌和节点 IP 替换为您的特定值：
docker run -d --name gpustack \
--restart=unless-stopped \
--gpus all \
-p 10150:10150 \
-p 40064-40131:40064-40131 \
--ipc=host \
-v gpustack-data:/var/lib/gpustack \
gpustack/gpustack \
--server-url http://your_gpustack_url --token your_gpustack_token --worker-ip your_worker_host_ip注意：
- 支持异构集群。无论是什么类型的设备，您都可以通过指定 and 参数将其作为工作程序添加到当前 GPUStack 中。
--server-url--token - 您可以通过将其他标志附加到 docker run 命令来为命令设置其他标志。
- 您可以使用 flag 或 flag 来允许容器访问主机的共享内存。vLLM 和 pyTorch 使用它来在后台的进程之间共享数据，特别是用于张量并行推理。
--ipc=host--shm-size - 该标志用于确保跨工作程序进行分布式推理的连接。如果您不需要跨工作程序进行分布式推理，则可以省略此标志。
-p 40064-40131:40064-40131
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
docker部署xxl-job-admin出现数据库拒绝问题及解决方法
这篇文章主要介绍了docker部署xxl-job-admin出现数据库拒绝问题,本文给大家分享正确的解决思路，对docker部署xxl-job-admin相关知识感兴趣的朋友一起看看吧2023-02-02
docker.service启动失败：Unit not found的原因及解决办法
这篇文章主要介绍了docker.service启动失败：Unit not found的原因分析及解决办法,需要的朋友可以参考下2017-04-04
本篇文章主要介绍了从0开始了解Docker(小结)，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-04-04
这篇文章主要介绍了Docker Volume的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
在Ubuntu系统上安装Docker后,运行docker run hello-world时遇到连接超时问题,下面这篇文章主要介绍了Docker请求超时一步步排查与详细解决方案的相关资料,需要的朋友可以参考下2025-02-02
本文主要介绍了Docker快速部署国产达梦数据库的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-07-07
本文主要介绍了docker搭建nginx的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2024-03-03
本文主要介绍了Docker拉取镜像过慢或卡死的解决方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-07-07
docker部署OceanBase-ce cluster方式
这篇文章主要介绍了docker部署OceanBase-ce cluster方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-03-03
这篇文章主要给大家介绍了关于利用docker如何快速搭建几个常用的第三方服务的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-07-07
最新评论