docker配置pytorch环境来进行训练的方法步骤

更新时间：2024年03月12日 11:30:41 作者：GY—Monkey

本文主要介绍了docker配置pytorch环境来进行训练的方法步骤,从零开始配置,包括换源,安装下载,具有一定的参考价值,感兴趣的可以了解一下

一、虚拟环境anaconda的下载与安装（换源）

进入到虚拟环境

docker exec -it ID

新建一个文件夹保存下载的文件

mkdir download

通过使用wget来下载anacodna安装包，建议使用清华镜像下载
官网下载：

wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh

镜像下载：

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.07-1-Linux-x86_64.sh

本地宿主机复制到容器中（修改路径即可）

docker cp /path/to/local/file container_id:/path/in/container/

安装应用

bash Anaconda3-2023.07-1-Linux-x86_64.sh

按照流程进行安装
确认协议和默认安装路径即可

在这里插入图片描述

二、给系统的pip和conda换源

安装新系统的第一件事情就是换源，加快下载速度

1.pip换源

docker中安装pip

apt-get update
apt-get install -y python3-pip

验证安装的结果

pip3 --version

/root/目录下创建 .pip 文件夹与 pip.conf 文件

mkdir .pip
vim .pip/pip.conf

## 添加如下内容，设置pip源为阿里云源
 
[global] 
index-url = https://mirrors.aliyun.com/pypi/simple/ 
[install] 
trusted-host=mirrors.aliyun.com
 
## :wq!保存退出即可

2.conda换源（不建议阿里源）
命令行换源：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
conda config --set show_channel_urls yes

修改文件方式： .condarc

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
auto_activate_base: false

三、安装pytorch

进入pytorch的官方网站

找到对应的版本进行安装

https://pytorch.org/get-started/previous-versions/

训练过程中遇到的问题

1、虚拟共享内存不够
报错：ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memor

通过df -h查看shm的大小
可见容器默认的shared memory只有64MB。但训练程序中，data_loader设置的workers数目比较多，该程序中为8，这些workers通过共享内存进行协作，导致默认的共享内存不够用。

解决方法：
基于以上原因，解决方法可从两个方面入手：

将workers数量降低，例如设置num_workers=0；
将容器的共享内存加大，由上面英文提示，可通过–ipc=host或–shm-size进行设置。

这里，我选择的是第二种方式，加大容器的共享内存：

docker run ... --shm-size 8G ...

2、数据集的加载路径
建议使用绝对的路径，相对路径在容器中可能会报错

3、报错内容：ImportError: libGL.so.1: cannot open shared object file: No such file or directory。
这通常是因为你的系统缺少该库，它是 OpenGL 的一部分，许多图形相关的应用程序和库都需要它。

解决方法，安装相应的库文件

apt-get update && apt-get install libgl1

4、报错内容：ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
解决方法：

sudo apt-get install libglib2.0-0

到此这篇关于docker配置pytorch环境来进行训练的方法步骤的文章就介绍到这了,更多相关docker配置pytorch内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

如何解决Linux系统下Docker占满分区的问题
本篇文章主要介绍了如何解决Linux系统下Docker占满分区的问题。小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-07-07
详解ASP.NET Core 网站在Docker中运行
本篇文章主要介绍了详解ASP.NET Core 网站在Docker中运行，非常具有实用价值，需要的朋友可以参考下
2017-05-05
Docker Desktop无法正常启动解决(failed to start...)
有一段时间没有使用docker了,突然要用到结果发现docker desktop用不了了,这篇文章主要给大家介绍了关于Docker Desktop无法正常启动解决的过程,,需要的朋友可以参考下
2023-01-01
Docker向数据卷Volume写入数据
这篇文章介绍了Docker向数据卷Volume写入数据的方法，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-03-03
Docker搭建Harbor公开仓库的方法示例
这篇文章主要介绍了Docker搭建Harbor公开仓库的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-06-06
Docker定制容器镜像的2种方法（推荐）
本篇文章主要介绍了Docker定制容器镜像的2种方法（推荐），小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-02-02
使用Docker部署Spring Boot项目的实现步骤
本文主要介绍了使用Docker部署Spring Boot项目的实现步骤，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-12-12
Docker中Dockerfile之容器中运行MyEclipse搭建的JavaWeb项目
本篇文章主要介绍了Docker中Dockerfile之容器中运行MyEclipse搭建的JavaWeb项目，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-02-02
解决Docker Image镜像无法删除问题的方法
这篇文章主要给大家介绍了关于如何解决Docker Image镜像无法删除问题的方法，文中通过示例代码将解决的方法介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。
2018-01-01
详解java项目打包docker镜像的几种方式
本文主要介绍了详解java项目打包docker镜像的几种方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-01-01