docker vllm开机启动方式
更新时间:2026年05月13日 08:58:09 作者:AI算法网奇
文章内容是关于vllm启动大模型的个人经验总结,主要涉及启动脚本中的interval参数设置,以及重启验证的步骤,建议大家参考并支持脚本之家
vllm 启动inter val大模型
/workspace/.devcontainer/devcontainer.json
{
"name": "vLLM Dev Container",
"image": "vllm/vllm-openai:v0.11.0",
"runArgs": ["--gpus", "all",
"-p", "8000:8000",
"-p", "8080:8080",
"--restart=unless-stopped"],
"mounts": [
"source=/data/lbg/models,target=/data/lbg/models,type=bind",
"source=/data/lbg/latex_fanyi/,target=/workspace,type=bind"
],
"workspaceFolder": "/workspace",
"postCreateCommand": "pip install --ignore-installed blinker==1.9.0 flask flask-cors requests && cd /workspace && (vllm serve /data/lbg/models/brandonbeiler_InternVL3_5-8B-FP8-Dynamic --quantization compressed-tensors --served-model-name internvl3_5-8b --trust-remote-code --max-model-len 2048 --tensor-parallel-size 1 &) && sleep 10 && python3 /workspace/server.py",
"customizations": {
"vscode": {
"extensions": [
"ms-python.python",
"ms-python.vscode-pylance"
]
}
}
}重启验证
# 手动停止容器,看它是否会自动重启 docker stop latex-ai-container # 等待 15 秒 sleep 15 # 检查容器是否自动启动 docker ps | grep latex-ai-container 预期结果:容器应该自动重新启动(因为 unless-stopped 策略)。 3. 测试系统重启(最终验证) bash # 重启整个系统 sudo reboot # 系统重启后,重新登录,执行: docker ps | grep latex-ai-container curl http://localhost:8080/health
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。
相关文章
CentOS服务器部署Docker+Jenkins持续集成环境的方法
本文详细介绍在CentOS服务器上部署Docker和Jenkins持续集成环境的步骤,涵盖了准备工作、安装Docker、配置Docker镜像加速、安装Jenkins、配置Jenkins以及集成Docker与Jenkins,通过这些步骤,读者可以实现代码的持续集成与快速部署,提高软件开发效率,感兴趣的朋友一起看看吧2025-02-02
Docker+Nginx单副本零停机发布实现并解决文件访问 404
本文提供了解决Docker容器文件隔离问题的方法,核心是Nginx和业务容器挂载相同的宿主机文件目录,通过Nginx重写规则去掉/api前缀匹配业务服务路径,同时发布时流量同步切换到临时副本,避免404和中断问题2026-04-04


最新评论