Python3环境安装Scrapy爬虫框架过程及常见错误

 更新时间:2019年07月12日 11:53:42   作者:looyee   我要评论

这篇文章主要介绍了Python3环境安装Scrapy爬虫框架过程及常见错误 ,本文给大家介绍的非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下

Windows

•安装lxml

最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件。假如是Python3.5版本,WIndows 64位系统,那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 这个文件并下载,然后通过pip安装。

下载之后,运行如下命令安装:

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl

即可完成lxml的安装,其他文件替换文件名即可。

•安装zope.interface

到官方网站https://pypi.python.org/pypi/zope.interface#downloads下载对应版本的wheel文件,然后pip安装。比如Python 3.5版本,Windows 64位系统,就下载zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

然后安装wheel文件即可,命令如下:

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

其他版本替换文件名即可。

•安装pyOpenSSL

官方网站下载wheel文件,https://pypi.python.org/pypi/pyOpenSSL#downloads,如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl,下载后安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

•安装Twisted

同理,http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件,利用pip安装即可。

如Python 3.5版本,Windows 64位系统,下载

Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl,然后pip安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

•安装pywin32

从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装即可。

•安装Scrapy

最后安装Scrapy即可,依然使用pip,命令如下:

pip3 install Scrapy

ps:下面看下Python 3.6 安装scrapy报错 Python.h: 没有那个文件或目录

安装scrapy的时候报错,其实这个错误是一个间接,由其依赖引起。

如果你是Python2.X  

sudo apt-get install python-dev

如果是python3.6 以下的

sudo apt-get install python3-dev

如果是Python3.6的

sudo apt-get install python3.6-dev

最后一个好变态,我一直在更新自己的Python3-dev 一直报错,最后猜一下竟然真的有Python3.6-dev...心累.

总结

以上所述是小编给大家介绍的Python3环境安装Scrapy爬虫框架过程及常见错误,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

相关文章

  • python通过shutil实现快速文件复制的方法

    python通过shutil实现快速文件复制的方法

    这篇文章主要介绍了python通过shutil实现快速文件复制的方法,涉及Python中shutil模块的使用技巧,需要的朋友可以参考下
    2015-03-03
  • 举例讲解Python中装饰器的用法

    举例讲解Python中装饰器的用法

    这篇文章主要介绍了Python中装饰器的用法,是Python学习进阶当中的重要知识,需要的朋友可以参考下
    2015-04-04
  • Python爬取个人微信朋友信息操作示例

    Python爬取个人微信朋友信息操作示例

    这篇文章主要介绍了Python爬取个人微信朋友信息操作,涉及Python使用itchat包实现微信朋友信息爬取操作相关实现技巧,需要的朋友可以参考下
    2018-08-08
  • 漂亮的Django Markdown富文本app插件的实现

    漂亮的Django Markdown富文本app插件的实现

    这篇文章主要介绍了漂亮的Django Markdown富文本app插件的实现,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-01-01
  • Python中的Numeric包和Numarray包使用教程

    Python中的Numeric包和Numarray包使用教程

    这篇文章主要介绍了Python中的Numeric包和Numarray包使用教程,来自IBM官方网站上的技术文档,需要的朋友可以参考下
    2015-04-04
  • 深入理解python多进程编程

    深入理解python多进程编程

    下面小编就为大家带来一篇深入理解python多进程编程。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-06-06
  • Python的面向对象思想分析

    Python的面向对象思想分析

    这篇文章主要介绍了Python的面向对象思想分析,以实例形式较为详细的分析了封装,继承,多态的具体用法,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-01-01
  • Python基于win32ui模块创建弹出式菜单示例

    Python基于win32ui模块创建弹出式菜单示例

    这篇文章主要介绍了Python基于win32ui模块创建弹出式菜单,结合实例形式分析了Python使用win32ui模块创建弹出式菜单的具体步骤与相关操作技巧,并附带说明了win32ui模块的安装命令,需要的朋友可以参考下
    2018-05-05
  • python调用百度地图WEB服务API获取地点对应坐标值

    python调用百度地图WEB服务API获取地点对应坐标值

    这篇文章主要为大家详细介绍了python调用百度地图WEB服务API获取地点对应坐标值,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-01-01
  • Python tkinter label 更新方法

    Python tkinter label 更新方法

    今天小编就为大家分享一篇Python tkinter label 更新方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10

最新评论