在Ubuntu服务器上部署xinference流程
更新时间：2026年03月28日 10:33:55 作者：你喜欢喝可乐吗？
文章主要介绍了如何拉取镜像、启动容器（特别是涉及GPU的容器）以及最终的访问步骤,并强调这些是个人经验总结,供参考
一、拉取镜像
docker pull xprobe/xinference:latest
二、启动容器（GPU）
docker run -d --name xinference -e XINFERENCE_MODEL_SRC=modelscope -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0
# 启动一个新的Docker容器 docker run # 以分离（后台）模式运行容器 -d # 将容器命名为"xinference" --name xinference # 设置环境变量，指定Xinference的主目录为容器内的 -e XINFERENCE_MODEL_SRC=modelscope # 将容器的9997端口映射到主机的9997端口 -p 9997:9997 # 允许容器使用主机上的所有GPU资源 --gpus all # 使用最新版本的xprobe/xinference镜像 xprobe/xinference:latest # 在容器内运行xinference-local命令，并设置主机地址为0.0.0.0（允许从任何IP地址访问） xinference-local -H 0.0.0.0
三、访问
网址：http://localhost:9997
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Sudo是Unix/Linux平台上的一个非常有用的工具，它允许系统管理员分配给普通用户一些合理的“权利”，让他们执行一些只有超级用户或其他 特许用户才能完成的任务2014-03-03
作为linux系统管理员，经常需要同时管理多台机器 备份各机器的配置文件就要靠脚本了，简单明了2009-09-09
在日常的后端开发和运维工作中,我们经常需要频繁登录不同的服务器进行部署、排查问题或上传文件,传统的基于用户名和密码的登录方式既不安全又不高效,为此,我们可以利用 SSH 公钥认证的方式,实现无密码（免密）登录远程服务器,下面小编给大家详细说说2025-04-04
这篇文章主要介绍了Linux basename命令的使用方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
大家好，本篇文章主要讲的是Linux一键安装xdd plus机器人，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2022-01-01
这篇文章主要介绍了详解如何备份及恢复 Linux 文件权限，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-03-03
rsync是一款多功能的文件同步工具,支持增量备份,减少数据传输时间和带宽,它可以与不同的shell和协议配合使用,确保数据传输的安全性,提供了详细的安装和使用指南,适用于多种Linux发行版,使用户能够轻松掌握和应用,Rsync的命令选项丰富2024-10-10
80端口被占用导致apache无法正常运行，如果80端口不是iis占用，我们可以参考下面方法来查找80端口被哪个服务占用，具体操作如下2013-05-05
在日常的 Linux 系统管理和开发过程中,端口占用是一个常见且令人头疼的问题,无论是部署新服务、调试应用程序,还是进行系统维护,遇到端口被占用都可能导致服务无法正常启动或运行,本文将详细介绍在 Linux 系统中如何识别和解决端口占用问题,需要的朋友可以参考下2025-01-01
在Linux系统中,pip 在安装 Python 包时会使用临时目录（TMPDIR）,但默认的临时目录可能会受到存储空间不足或权限问题的影响,所以本文将详细介绍如何修改 pip 的临时目录,并提供相关的背景知识和实用建议,需要的朋友可以参考下2025-03-03
最新评论