脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → 云和虚拟化 → docker → docker配置pytorch

docker配置pytorch环境来进行训练的方法步骤

 更新时间：2024年03月12日 11:30:41   作者：GY—Monkey  
本文主要介绍了docker配置pytorch环境来进行训练的方法步骤,从零开始配置,包括换源,安装下载,具有一定的参考价值,感兴趣的可以了解一下

一、虚拟环境anaconda的下载与安装（换源）

进入到虚拟环境

docker exec -it ID

新建一个文件夹保存下载的文件

mkdir download

通过使用wget来下载anacodna安装包，建议使用清华镜像下载
官网下载：

wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh

镜像下载：

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.07-1-Linux-x86_64.sh

本地宿主机复制到容器中（修改路径即可）

docker cp /path/to/local/file container_id:/path/in/container/

安装应用

bash Anaconda3-2023.07-1-Linux-x86_64.sh

按照流程进行安装
确认协议和默认安装路径即可

在这里插入图片描述

二、给系统的pip和conda换源

安装新系统的第一件事情就是换源，加快下载速度

1.pip换源

docker中安装pip

apt-get update
apt-get install -y python3-pip

验证安装的结果

pip3 --version

/root/目录下创建 .pip 文件夹与 pip.conf 文件

mkdir .pip
vim .pip/pip.conf

## 添加如下内容，设置pip源为阿里云源
 
[global] 
index-url = https://mirrors.aliyun.com/pypi/simple/ 
[install] 
trusted-host=mirrors.aliyun.com
 
## :wq!保存退出即可

2.conda换源（不建议阿里源）
命令行换源：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
conda config --set show_channel_urls yes

修改文件方式： .condarc

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
auto_activate_base: false

三、安装pytorch

进入pytorch的官方网站

找到对应的版本进行安装

https://pytorch.org/get-started/previous-versions/

训练过程中遇到的问题

1、虚拟共享内存不够
报错：ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memor

通过df -h查看shm的大小
可见容器默认的shared memory只有64MB。但训练程序中，data_loader设置的workers数目比较多，该程序中为8，这些workers通过共享内存进行协作，导致默认的共享内存不够用。

解决方法：
基于以上原因，解决方法可从两个方面入手：

  • 将workers数量降低，例如设置num_workers=0；

  • 将容器的共享内存加大，由上面英文提示，可通过–ipc=host或–shm-size进行设置。

这里，我选择的是第二种方式，加大容器的共享内存：

docker run ... --shm-size 8G ...

2、数据集的加载路径
建议使用绝对的路径，相对路径在容器中可能会报错

3、报错内容：ImportError: libGL.so.1: cannot open shared object file: No such file or directory。
这通常是因为你的系统缺少该库，它是 OpenGL 的一部分，许多图形相关的应用程序和库都需要它。

解决方法，安装相应的库文件

apt-get update && apt-get install libgl1

4、报错内容：ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
解决方法：

sudo apt-get install libglib2.0-0

到此这篇关于docker配置pytorch环境来进行训练的方法步骤的文章就介绍到这了,更多相关docker配置pytorch内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！ 

您可能感兴趣的文章:

相关文章

  • dockerfile结合go应用程序的简单应用代码示例

    dockerfile结合go应用程序的简单应用代码示例

    Dockerfile文件是一个包含了指令和参数的文本文件,用于自动化构建Docker镜像,这篇文章主要给大家介绍了关于dockerfile结合go应用程序的简单应用,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-03-03
  • Docker学习笔记之Docker部署Java web系统

    Docker学习笔记之Docker部署Java web系统

    这篇文章主要介绍了Docker学习笔记之Docker部署Java web系统，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-02-02
  • 详解Docker退出容器不关闭容器的方法

    详解Docker退出容器不关闭容器的方法

    进入docker容器后如果退出容器，容器就会变成Exited的状态，那么如何退出容器让容器不关闭呢？现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2019-01-01
  • Docker Volumn容器间共享数据的实现

    Docker Volumn容器间共享数据的实现

    这篇文章主要介绍了Docker Volumn容器间共享数据的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-01-01
  • Ubuntu16.04Docker的CS模式详细介绍

    Ubuntu16.04Docker的CS模式详细介绍

    这篇文章主要介绍了Ubuntu16.04Docker的CS模式详细介绍的相关资料,这里对Docker CS模式图文详细介绍，需要的朋友可以参考下
    2016-12-12
  • Docker容器化部署尝试——多容器通信(node+mongoDB+nginx)

    Docker容器化部署尝试——多容器通信(node+mongoDB+nginx)

    这篇文章主要介绍了Docker容器化部署尝试——多容器通信(node+mongoDB+nginx)，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-12-12
  • Docker启动为Exited状态

    Docker启动为Exited状态

    这篇文章主要介绍了Docker启动为Exited状态的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • Docker之DockerFile文件的使用及说明

    Docker之DockerFile文件的使用及说明

    本文介绍了Dockerfile的定义、构建过程以及Dockerfile的常见指令和体系结构,通过案例展示了如何创建自定义镜像并运行容器
    2025-12-12
  • docker限制容器内存的方法详解

    docker限制容器内存的方法详解

    在服务器中使用 docker 时,如果不对 docker 的可调用内存进行限制,当 docker 内的程序出现不可预测的问题时,就很有可能因为内存爆炸导致服务器主机的瘫痪,本文将介绍使用 docker 进行容器内存限制的方法,感兴趣的朋友一起看看吧
    2023-11-11
  • 超详细Docker Desktop下安装rocketmq的教程

    超详细Docker Desktop下安装rocketmq的教程

    这篇文章主要介绍了Docker Desktop下安装rocketmq,本文内容通过图文操作命令给大家讲解的非常详细，需要的朋友可以参考下
    2021-10-10

最新评论