脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → 安装Scrapy模块依赖包汇总

python中安装Scrapy模块依赖包汇总

 更新时间：2017年07月02日 10:20:25   作者：lon.y@qq.com  
Scrapy的安装有一些依赖包,没有这些包是会安装失败的，下面我们就来详细探讨下

本地虚拟环境开发完成之后，上线过程中需要一一安装依赖包，做个记录如下：

CentOS 安装python3.5.3

wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz
tar -xf Python-3.5.3.tgz cd Python-3.5.3
./configure --prefix=/usr/local/python353 make & make install

完成安装python3.5.3，在不删除系统自带的python2.x情况下，做几个软链：

#做python3软链
ln -s /usr/local/python353/bin/python3 /usr/local/bin/
#pip3软链
ln -s /usr/local/python353/bin/pip3 /usr/local/bin/

上传程序，安装scrapy及其依赖包：

#user agent包
pip3 install fake-useragent -i https://pypi.douban.com/simple/
#pymysql包
pip3 install pymysql -i https://pypi.douban.com/simple/
#PooledDB依赖包
pip3 install DBUtils -i https://pypi.douban.com/simple/
#PIL模块依赖包
pip3 install Image -i https://pypi.douban.com/simple/

在Centos系统中安装过程中，出现一个较为淡疼的问题：系统没有安装sqlite3，故此一直提示：
解决上面问题，下载sqlite3

sudo wget http://www.sqlite.org/2017/sqlite-autoconf-3190300.tar.gz

编译安装：

tar zxvf sqlite-autoconf-3190300.tar.gz cd sqlite-autoconf-3190300
./configure --prefix=/usr/local/sqlite3
make && make install

重新编译Python，找到Python3.5.3的安装文件路径，编辑setup.py脚本，找到 “sqlite3”

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
]

在最后一行加入sqlite3编译安装路径，如下：

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
'/usr/local/sqlite3',
]

重新编译Python3.5.3:

./configure --prefix=/usr/local/python353
make && make install

您可能感兴趣的文章:

相关文章

  • 图文详解在Anaconda安装Pytorch的详细步骤

    图文详解在Anaconda安装Pytorch的详细步骤

    Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项,下面这篇文章主要给大家介绍了关于在Anaconda安装Pytorch的详细步骤,需要的朋友可以参考下
    2022-07-07
  • Python 多进程原理及实现

    Python 多进程原理及实现

    这篇文章主要介绍了Python 多进程原理及实现，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
    2020-12-12
  • python程序封装为win32服务的方法

    python程序封装为win32服务的方法

    这篇文章主要为大家详细介绍了python程序封装为win32服务的方法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2018-11-11
  • 使用Python和NLTK进行文本预处理示例详解

    使用Python和NLTK进行文本预处理示例详解

    文将介绍如何使用Python编程语言和NLTK（Natural Language Toolkit）库进行文本预处理,为后续的文本分析和机器学习任务做准备,文中有详细的代码示例供大家参考,需要的朋友可以参考下
    2024-03-03
  • pandas 按日期范围筛选数据的实现

    pandas 按日期范围筛选数据的实现

    这篇文章主要介绍了pandas 按日期范围筛选数据的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-02-02
  • Python 在字符串中加入变量的实例讲解

    Python 在字符串中加入变量的实例讲解

    下面小编就为大家分享一篇Python 在字符串中加入变量的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Python自动化构建工具scons使用入门笔记

    Python自动化构建工具scons使用入门笔记

    这篇文章主要介绍了Python自动化构建工具scons使用入门笔记,本文讲解了安装scons、scons常用命令、scons使用示例等内容,需要的朋友可以参考下
    2015-03-03
  • python实现在控制台输入密码不显示的方法

    python实现在控制台输入密码不显示的方法

    这篇文章主要介绍了python实现在控制台输入密码不显示的方法,实例分析了Python基于console模块实现密码显示星号输入的技巧,需要的朋友可以参考下
    2015-07-07
  • Python 读取用户指令和格式化打印实现解析

    Python 读取用户指令和格式化打印实现解析

    这篇文章主要介绍了Python 读取用户指令和格式化打印实现解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-09-09
  • Python办公自动化之文件的比较合并与xml操作

    Python办公自动化之文件的比较合并与xml操作

    这篇文章主要为大家详细介绍了Python办公自动化之文件的比较合并与xml文件操作的相关知识,文中的示例代码讲解详细,需要的可以参考一下
    2023-12-12

最新评论