python中安装Scrapy模块依赖包汇总
本地虚拟环境开发完成之后,上线过程中需要一一安装依赖包,做个记录如下:
CentOS 安装python3.5.3
wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz tar -xf Python-3.5.3.tgz cd Python-3.5.3 ./configure --prefix=/usr/local/python353 make & make install
完成安装python3.5.3,在不删除系统自带的python2.x情况下,做几个软链:
#做python3软链 ln -s /usr/local/python353/bin/python3 /usr/local/bin/ #pip3软链 ln -s /usr/local/python353/bin/pip3 /usr/local/bin/
上传程序,安装scrapy及其依赖包:
#user agent包 pip3 install fake-useragent -i https://pypi.douban.com/simple/ #pymysql包 pip3 install pymysql -i https://pypi.douban.com/simple/ #PooledDB依赖包 pip3 install DBUtils -i https://pypi.douban.com/simple/ #PIL模块依赖包 pip3 install Image -i https://pypi.douban.com/simple/
在Centos系统中安装过程中,出现一个较为淡疼的问题:系统没有安装sqlite3,故此一直提示:
解决上面问题,下载sqlite3
sudo wget http://www.sqlite.org/2017/sqlite-autoconf-3190300.tar.gz
编译安装:
tar zxvf sqlite-autoconf-3190300.tar.gz cd sqlite-autoconf-3190300 ./configure --prefix=/usr/local/sqlite3 make && make install
重新编译Python,找到Python3.5.3的安装文件路径,编辑setup.py脚本,找到 “sqlite3”
sqlite_inc_paths = [ '/usr/include', '/usr/include/sqlite', '/usr/include/sqlite3', '/usr/local/include', '/usr/local/include/sqlite', '/usr/local/include/sqlite3', ]
在最后一行加入sqlite3编译安装路径,如下:
sqlite_inc_paths = [ '/usr/include', '/usr/include/sqlite', '/usr/include/sqlite3', '/usr/local/include', '/usr/local/include/sqlite', '/usr/local/include/sqlite3', '/usr/local/sqlite3', ]
重新编译Python3.5.3:
./configure --prefix=/usr/local/python353 make && make install
- 在python3.9下如何安装scrapy的方法
- Python3环境安装Scrapy爬虫框架过程及常见错误
- 图文详解python安装Scrapy框架步骤
- 详解Python网络框架Django和Scrapy安装指南
- 详解Python安装scrapy的正确姿势
- mac下给python3安装requests库和scrapy库的实例
- Python之Scrapy爬虫框架安装及简单使用详解
- Python2.7下安装Scrapy框架步骤教程
- Python3安装Scrapy的方法步骤
- python安装Scrapy图文教程
- windows10系统中安装python3.x+scrapy教程
- 在Linux系统上安装Python的Scrapy框架的教程
- Python安装Scrapy库的常见报错解决
相关文章
如何对Python编译PyInstaller打包生成的exe文件进行反编译生成pyc、py源代码文件
很多开发者没有发布源程序代码,而是将代码封装为exe可执行文件,这样不仅更有利于程序传播,下面这篇文章主要介绍了如何对Python编译PyInstaller打包生成的exe文件进行反编译生成pyc、py源代码文件的相关资料,需要的朋友可以参考下2023-01-01Python OpenCV 图像区域轮廓标记(框选各种小纸条)
这篇文章主要介绍了Python OpenCV 图像区域轮廓标记(框选各种小纸条),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2021-03-03pytorch中Transformer进行中英文翻译训练的实现
本文主要介绍了pytorch中Transformer进行中英文翻译训练的实现,详细阐述了使用PyTorch实现Transformer模型的代码实现和训练过程,具有一定参考价值,感兴趣的可以了解一下2023-08-08Python cookbook(数据结构与算法)字典相关计算问题示例
这篇文章主要介绍了Python字典相关计算问题,结合实例形式总结分析了Python字典相关的最小值、最大值、排序等操作相关实现技巧,需要的朋友可以参考下2018-02-02Django ModelSerializer实现自定义验证的使用示例
本文主要介绍了Django ModelSerializer实现自定义验证的使用示例,多种字段验证器帮助开发者确保数据的完整性和准确性,具有一定的参考价值,感兴趣的可以了解一下2023-11-11Using Django with GAE Python 后台抓取多个网站的页面全文
这篇文章主要介绍了Using Django with GAE Python 后台抓取多个网站的页面全文,需要的朋友可以参考下2016-02-02
最新评论