脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → 云和虚拟化 → docker → docker配置pytorch

docker配置pytorch环境来进行训练的方法步骤

 更新时间：2024年03月12日 11:30:41   作者：GY—Monkey  
本文主要介绍了docker配置pytorch环境来进行训练的方法步骤,从零开始配置,包括换源,安装下载,具有一定的参考价值,感兴趣的可以了解一下

一、虚拟环境anaconda的下载与安装（换源）

进入到虚拟环境

docker exec -it ID

新建一个文件夹保存下载的文件

mkdir download

通过使用wget来下载anacodna安装包，建议使用清华镜像下载
官网下载：

wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh

镜像下载：

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.07-1-Linux-x86_64.sh

本地宿主机复制到容器中（修改路径即可）

docker cp /path/to/local/file container_id:/path/in/container/

安装应用

bash Anaconda3-2023.07-1-Linux-x86_64.sh

按照流程进行安装
确认协议和默认安装路径即可

在这里插入图片描述

二、给系统的pip和conda换源

安装新系统的第一件事情就是换源，加快下载速度

1.pip换源

docker中安装pip

apt-get update
apt-get install -y python3-pip

验证安装的结果

pip3 --version

/root/目录下创建 .pip 文件夹与 pip.conf 文件

mkdir .pip
vim .pip/pip.conf

## 添加如下内容，设置pip源为阿里云源
 
[global] 
index-url = https://mirrors.aliyun.com/pypi/simple/ 
[install] 
trusted-host=mirrors.aliyun.com
 
## :wq!保存退出即可

2.conda换源（不建议阿里源）
命令行换源：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
conda config --set show_channel_urls yes

修改文件方式： .condarc

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
auto_activate_base: false

三、安装pytorch

进入pytorch的官方网站

找到对应的版本进行安装

https://pytorch.org/get-started/previous-versions/

训练过程中遇到的问题

1、虚拟共享内存不够
报错：ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memor

通过df -h查看shm的大小
可见容器默认的shared memory只有64MB。但训练程序中，data_loader设置的workers数目比较多，该程序中为8，这些workers通过共享内存进行协作，导致默认的共享内存不够用。

解决方法：
基于以上原因，解决方法可从两个方面入手：

  • 将workers数量降低，例如设置num_workers=0；

  • 将容器的共享内存加大，由上面英文提示，可通过–ipc=host或–shm-size进行设置。

这里，我选择的是第二种方式，加大容器的共享内存：

docker run ... --shm-size 8G ...

2、数据集的加载路径
建议使用绝对的路径，相对路径在容器中可能会报错

3、报错内容：ImportError: libGL.so.1: cannot open shared object file: No such file or directory。
这通常是因为你的系统缺少该库，它是 OpenGL 的一部分，许多图形相关的应用程序和库都需要它。

解决方法，安装相应的库文件

apt-get update && apt-get install libgl1

4、报错内容：ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
解决方法：

sudo apt-get install libglib2.0-0

到此这篇关于docker配置pytorch环境来进行训练的方法步骤的文章就介绍到这了,更多相关docker配置pytorch内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！ 

您可能感兴趣的文章:

相关文章

  • docker swarm 集群创建过程

    docker swarm 集群创建过程

    通过docker swarm 工具将一台或者多台安装了docker的服务器组成一个完整的集群,该集群中的node节点可以通过Leader节点管理,这篇文章主要介绍了docker swarm 集群创建,需要的朋友可以参考下
    2024-03-03
  • Idea部署远程Docker并配置文件

    Idea部署远程Docker并配置文件

    这篇文章给大家介绍Idea部署远程Docker并添加配置文件的方法及修改项目pom文件的代码解析，对idea部署远程docker相关知识感兴趣的朋友一起看看吧
    2021-06-06
  • Docker镜像下载的常见问题及解决办法

    Docker镜像下载的常见问题及解决办法

    在使用Docker时,用户常遇到下载镜像错误,如TLS握手超时、请求取消等,主要由网络状况、配置问题或DockerHub服务导致,本文就来介绍了一下几种解决方法,感兴趣的可以了解一下
    2024-10-10
  • 10分钟学会docker

    10分钟学会docker

    Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。
    2017-06-06
  • 如何进入、退出docker的container实现

    如何进入、退出docker的container实现

    这篇文章主要介绍了如何进入、退出docker的container实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11
  • Centos7上安装docker的方法

    Centos7上安装docker的方法

    Docker从1.13版本之后采用时间线的方式作为版本号，分为社区版CE和企业版EE。这篇文章给大家介绍了Centos7上安装docker的方法，感兴趣的朋友一起看看吧
    2018-07-07
  • Docker与iptables及实现bridge方式网络隔离与通信操作

    Docker与iptables及实现bridge方式网络隔离与通信操作

    这篇文章主要介绍了Docker与iptables及实现bridge方式网络隔离与通信操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-11-11
  • docker 如何添加证书

    docker 如何添加证书

    这篇文章主要介绍了docker 如何添加证书的操作方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • 如何修改Docker部署gitlab的外部访问地址和端口

    如何修改Docker部署gitlab的外部访问地址和端口

    这篇文章主要介绍了如何修改Docker部署gitlab的外部访问地址和端口问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-05-05
  • Docker镜像分析工具dive原理解析

    Docker镜像分析工具dive原理解析

    这篇文章主要介绍了Docker镜像分析工具dive原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值
    2020-11-11

最新评论