docker vllm开机启动方式

 更新时间:2026年05月13日 08:58:09   作者:AI算法网奇  
文章内容是关于vllm启动大模型的个人经验总结,主要涉及启动脚本中的interval参数设置,以及重启验证的步骤,建议大家参考并支持脚本之家

vllm 启动inter val大模型

/workspace/.devcontainer/devcontainer.json

{
    "name": "vLLM Dev Container",
    "image": "vllm/vllm-openai:v0.11.0",
    "runArgs": ["--gpus", "all",
               "-p", "8000:8000",
               "-p", "8080:8080",
               "--restart=unless-stopped"],
    "mounts": [
        "source=/data/lbg/models,target=/data/lbg/models,type=bind",
        "source=/data/lbg/latex_fanyi/,target=/workspace,type=bind"
    ],
    "workspaceFolder": "/workspace",
    "postCreateCommand": "pip install --ignore-installed blinker==1.9.0 flask flask-cors requests && cd /workspace && (vllm serve /data/lbg/models/brandonbeiler_InternVL3_5-8B-FP8-Dynamic --quantization compressed-tensors --served-model-name internvl3_5-8b --trust-remote-code --max-model-len 2048 --tensor-parallel-size 1 &) && sleep 10 && python3 /workspace/server.py",
    "customizations": {
        "vscode": {
            "extensions": [
                "ms-python.python",
                "ms-python.vscode-pylance"
            ]
        }
    }
}

重启验证

# 手动停止容器,看它是否会自动重启
docker stop latex-ai-container
# 等待 15 秒
sleep 15
# 检查容器是否自动启动
docker ps | grep latex-ai-container
预期结果:容器应该自动重新启动(因为 unless-stopped 策略)。
3. 测试系统重启(最终验证)
bash
# 重启整个系统
sudo reboot
# 系统重启后,重新登录,执行:
docker ps | grep latex-ai-container
curl http://localhost:8080/health

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Docker-compose的安装和设定详细步骤

    Docker-compose的安装和设定详细步骤

    这篇文章主要介绍了Docker-compose的安装和设定的相关资料,需要的朋友可以参考下
    2017-03-03
  • Docker启动常用容器命令及配置详解

    Docker启动常用容器命令及配置详解

    本文主要介绍了Docker启动常用容器命令及配置详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • Docker Redis本地能Ping通但6379端口连不上的排查与解决方法

    Docker Redis本地能Ping通但6379端口连不上的排查与解决方法

    在 Linux 服务器上部署 Redis Docker 容器,本地连接正常,但远程主机 telnet 端口不通,经过层层排查,最终发现是 Linux 内核参数 net.ipv4.ip_forward 被关闭导致的,本文记录了完整的排查思路与解决方案,需要的朋友可以参考下
    2026-05-05
  • 基于Docker结合Canal实现MySQL实时增量数据传输功能

    基于Docker结合Canal实现MySQL实时增量数据传输功能

    这篇文章主要介绍了基于Docker结合Canal实现MySQL实时增量数据传输功能,本文给图文并茂给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-07-07
  • Docker实现容器化的分布式锁服务RedisLock的快速搭建

    Docker实现容器化的分布式锁服务RedisLock的快速搭建

    本文主要介绍了Docker实现容器化的分布式锁服务RedisLock的快速搭建,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2026-04-04
  • Docker容器使用Arthas监控Java应用的完整指南

    Docker容器使用Arthas监控Java应用的完整指南

    这篇文章主要为大家详细介绍了如何在运行中的 Docker 容器里,为目标 Java 进程快速注入 Arthas 并进行线上诊断,感兴趣的小伙伴可以了解一下
    2025-08-08
  • Docker 自动部署tomcat详解

    Docker 自动部署tomcat详解

    这篇文章主要介绍了Docker 自动部署tomcat详解的相关资料,需要的朋友可以参考下
    2016-11-11
  • Docker环境下Redis Lua脚本部署与执行方式

    Docker环境下Redis Lua脚本部署与执行方式

    这篇文章主要介绍了Docker环境下Redis Lua脚本部署与执行方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2026-03-03
  • CentOS7安装使用Docker的步骤

    CentOS7安装使用Docker的步骤

    本篇文章主要介绍了详解CentOS7安装使用Docker的步骤,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-06-06
  • Docker network自定义网络方式

    Docker network自定义网络方式

    这篇文章主要介绍了Docker network自定义网络方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-05-05

最新评论