docker vllm开机启动方式
更新时间:2026年05月13日 08:58:09 作者:AI算法网奇
文章内容是关于vllm启动大模型的个人经验总结,主要涉及启动脚本中的interval参数设置,以及重启验证的步骤,建议大家参考并支持脚本之家
vllm 启动inter val大模型
/workspace/.devcontainer/devcontainer.json
{
"name": "vLLM Dev Container",
"image": "vllm/vllm-openai:v0.11.0",
"runArgs": ["--gpus", "all",
"-p", "8000:8000",
"-p", "8080:8080",
"--restart=unless-stopped"],
"mounts": [
"source=/data/lbg/models,target=/data/lbg/models,type=bind",
"source=/data/lbg/latex_fanyi/,target=/workspace,type=bind"
],
"workspaceFolder": "/workspace",
"postCreateCommand": "pip install --ignore-installed blinker==1.9.0 flask flask-cors requests && cd /workspace && (vllm serve /data/lbg/models/brandonbeiler_InternVL3_5-8B-FP8-Dynamic --quantization compressed-tensors --served-model-name internvl3_5-8b --trust-remote-code --max-model-len 2048 --tensor-parallel-size 1 &) && sleep 10 && python3 /workspace/server.py",
"customizations": {
"vscode": {
"extensions": [
"ms-python.python",
"ms-python.vscode-pylance"
]
}
}
}重启验证
# 手动停止容器,看它是否会自动重启 docker stop latex-ai-container # 等待 15 秒 sleep 15 # 检查容器是否自动启动 docker ps | grep latex-ai-container 预期结果:容器应该自动重新启动(因为 unless-stopped 策略)。 3. 测试系统重启(最终验证) bash # 重启整个系统 sudo reboot # 系统重启后,重新登录,执行: docker ps | grep latex-ai-container curl http://localhost:8080/health
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。
相关文章
Docker Redis本地能Ping通但6379端口连不上的排查与解决方法
在 Linux 服务器上部署 Redis Docker 容器,本地连接正常,但远程主机 telnet 端口不通,经过层层排查,最终发现是 Linux 内核参数 net.ipv4.ip_forward 被关闭导致的,本文记录了完整的排查思路与解决方案,需要的朋友可以参考下2026-05-05
基于Docker结合Canal实现MySQL实时增量数据传输功能
这篇文章主要介绍了基于Docker结合Canal实现MySQL实时增量数据传输功能,本文给图文并茂给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下2019-07-07
Docker实现容器化的分布式锁服务RedisLock的快速搭建
本文主要介绍了Docker实现容器化的分布式锁服务RedisLock的快速搭建,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2026-04-04


最新评论