docker vllm开机启动方式

 更新时间:2026年05月13日 08:58:09   作者:AI算法网奇  
文章内容是关于vllm启动大模型的个人经验总结,主要涉及启动脚本中的interval参数设置,以及重启验证的步骤,建议大家参考并支持脚本之家

vllm 启动inter val大模型

/workspace/.devcontainer/devcontainer.json

{
    "name": "vLLM Dev Container",
    "image": "vllm/vllm-openai:v0.11.0",
    "runArgs": ["--gpus", "all",
               "-p", "8000:8000",
               "-p", "8080:8080",
               "--restart=unless-stopped"],
    "mounts": [
        "source=/data/lbg/models,target=/data/lbg/models,type=bind",
        "source=/data/lbg/latex_fanyi/,target=/workspace,type=bind"
    ],
    "workspaceFolder": "/workspace",
    "postCreateCommand": "pip install --ignore-installed blinker==1.9.0 flask flask-cors requests && cd /workspace && (vllm serve /data/lbg/models/brandonbeiler_InternVL3_5-8B-FP8-Dynamic --quantization compressed-tensors --served-model-name internvl3_5-8b --trust-remote-code --max-model-len 2048 --tensor-parallel-size 1 &) && sleep 10 && python3 /workspace/server.py",
    "customizations": {
        "vscode": {
            "extensions": [
                "ms-python.python",
                "ms-python.vscode-pylance"
            ]
        }
    }
}

重启验证

# 手动停止容器,看它是否会自动重启
docker stop latex-ai-container
# 等待 15 秒
sleep 15
# 检查容器是否自动启动
docker ps | grep latex-ai-container
预期结果:容器应该自动重新启动(因为 unless-stopped 策略)。
3. 测试系统重启(最终验证)
bash
# 重启整个系统
sudo reboot
# 系统重启后,重新登录,执行:
docker ps | grep latex-ai-container
curl http://localhost:8080/health

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • CentOS服务器部署Docker+Jenkins持续集成环境的方法

    CentOS服务器部署Docker+Jenkins持续集成环境的方法

    本文详细介绍在CentOS服务器上部署Docker和Jenkins持续集成环境的步骤,涵盖了准备工作、安装Docker、配置Docker镜像加速、安装Jenkins、配置Jenkins以及集成Docker与Jenkins,通过这些步骤,读者可以实现代码的持续集成与快速部署,提高软件开发效率,感兴趣的朋友一起看看吧
    2025-02-02
  • 解决Docker容器异常退出Exit(253)问题

    解决Docker容器异常退出Exit(253)问题

    这篇文章主要介绍了解决Docker容器异常退出Exit(253)问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-06-06
  • docker部署高斯数据库的详细步骤

    docker部署高斯数据库的详细步骤

    文章详细介绍了如何在Docker中部署高斯数据库(openGauss),包括安装Docker、拉取镜像、运行容器、设置环境变量和挂载数据卷等步骤,还提供了连接和配置远程连接的指导,感兴趣的朋友一起看看吧
    2024-12-12
  • Docker容器之间的通信的方法实现

    Docker容器之间的通信的方法实现

    本文主要介绍了Docker容器之间的通信的方法实现,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-12-12
  • 教你用100 行shell实现Docker详解

    教你用100 行shell实现Docker详解

    这篇文章主要为大家介绍了教你用100 行shell实现Docker详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-02-02
  • docker+ddns实现动态域名的示例代码

    docker+ddns实现动态域名的示例代码

    本文主要介绍了Docker使用ddns-go实现动态域名,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-11-11
  • Docker中如何删除image(镜像)的方法

    Docker中如何删除image(镜像)的方法

    这篇文章主要介绍了Docker中如何删除image(镜像)的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • 聊聊docker跨主机之间容器通信问题

    聊聊docker跨主机之间容器通信问题

    这篇文章主要介绍了docker跨主机之间容器通信问题,创建网桥之后,使用ifconfig查看会多出一个网桥,该网桥在docker启动或者重启之后,会自动显示出来,具体实践跟随小编一起看看吧
    2022-05-05
  • docker容器日志占满硬盘空间的问题解决

    docker容器日志占满硬盘空间的问题解决

    由于默认情况下,docker使用json-file类型的日志驱动,该日志驱动默认情况下,每个容器的日志会一直追加在文件名为 containerId-json.log文件中,因此在容器不重建的情况下,该日志文件会一直追加内容,直到占满整个服务器硬盘空间,本文就来介绍一下解决方法
    2023-09-09
  • Docker+Nginx单副本零停机发布实现并解决文件访问 404

    Docker+Nginx单副本零停机发布实现并解决文件访问 404

    本文提供了解决Docker容器文件隔离问题的方法,核心是Nginx和业务容器挂载相同的宿主机文件目录,通过Nginx重写规则去掉/api前缀匹配业务服务路径,同时发布时流量同步切换到临时副本,避免404和中断问题
    2026-04-04

最新评论