脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Scrapy安装使用

Python爬虫框架Scrapy安装使用步骤

 更新时间：2014年04月01日 14:49:28   作者：  
这篇文章主要介绍了Python爬虫框架Scrapy的安装和使用步骤,重点在解决依赖问题上,需要的朋友可以参考下

一、爬虫框架Scarpy简介
Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架，爬取网站，从网站页面得到结构化的数据，它有着广泛的用途，从数据挖掘到监测和自动测试，Scrapy完全用Python实现，完全开源，代码托管在Github上，可运行在Linux，Windows，Mac和BSD平台上，基于Twisted的异步网络库来处理网络通讯，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。

二、Scrapy安装指南

我们的安装步骤假设你已经安装一下内容：<1>Python2.7<2>lxml<3>OpenSSL，我们使用Python的包管理工具pip或者easy_install来安装Scrapy。
pip的安装方式：

复制代码 代码如下:
pip install Scrapy

easy_install的安装方式：
复制代码 代码如下:
easy_install Scrapy

三、Ubuntu平台上环境配置

1、python的包管理工具
当前的包管理工具链是 easy_install/pip + distribute/setuptools
distutils : Python 自带的基本安装工具, 适用于非常简单的应用场景;
setuptools : 针对 distutils 做了大量扩展, 尤其是加入了包依赖机制. 在部分 Python 子社区已然是事实上的标准;
distribute : 由于 setuptools 开发进度缓慢, 不支持 Python 3, 代码混乱, 一帮程序员另起炉灶, 重构代码, 增加功能, 希望能够取代 setuptools 并被接纳为官方标准库, 他们非常努力, 在很短的时间便让社区接受了 distribute;，setuptools / distribute 都只是扩展了 distutils;
easy_install : setuptools 和 distribute 自带的安装脚本, 也就是一旦 setuptools 或 distribute 安装完毕, easy_install 也便可用. 最大的特点是自动查找 Python 官方维护的包源 PyPI , 安装第三方 Python 包非常方便; 使用:
pip : pip 的目标非常明确 – 取代 easy_install. easy_install 有很多不足: 安装事务是非原子操作, 只支持 svn, 没有提供卸载命令, 安装一系列包时需要写脚本; pip 解决了以上问题, 已俨然成为新的事实标准, virtualenv 与它已经成为一对好搭档;

安装过程：
安装distribute  

复制代码 代码如下:
$ curl -O http://python-distribute.org/distribute_setup.py 
$ python distribute_setup.py

安装pip：
复制代码 代码如下:
$ curl -O https://raw.github.com/pypa/pip/master/contrib/get-pip.py 
$ [sudo] python get-pip.py

2、Scrapy的安装
在Windows平台上，可以通过包管理工具或者手动下载各种依赖的二进制包：pywin32，Twisted，zope.interface，lxml，pyOpenSSL，在Ubuntu9.10以后的版本上，官方推荐不用使用Ubuntu提供的python-scrapy包，它们要么太老要么太慢，无法匹配最新的Scrapy，解决方案是，使用官方的Ubuntu Packages，它提供了所有的依赖库，并且对于最新的bug提供持续的更新，稳定性更高，它们持续的从Github仓库（master和stable branches）构建，Scrapy在Ubuntu9.10之后的版本上的安装方法如下：
<1>输入GPG密钥

复制代码 代码如下:
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

<2>创建/etc/apt/sources.list.d/scrapy.list 文件
复制代码 代码如下:
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list

<3>更新包列表，安装scrapy版本，其中VERSION用实际的版本代替，如scrapy-0.22
复制代码 代码如下:
sudo apt-get update && sudo apt-get install scrapy-VERSION

3、Scrapy依赖库的安装
ubuntu12.04下scrapy依赖库的安装
ImportError: No module named w3lib.http

复制代码 代码如下:
pip install w3lib

ImportError: No module named twisted
复制代码 代码如下:
pip install twisted

ImportError: No module named lxml.html
复制代码 代码如下:
pip install lxml

解决：error: libxml/xmlversion.h: No such file or directory

复制代码 代码如下:
apt-get install libxml2-dev libxslt-dev 
apt-get install python-lxml

解决：ImportError: No module named cssselect

复制代码 代码如下:
pip install cssselect 

ImportError: No module named OpenSSL
复制代码 代码如下:
pip install pyOpenSSL 

4、定制自己的爬虫开发
切换到文件目录，开启新的工程

复制代码 代码如下:
scrapy startproject test

 

您可能感兴趣的文章:

相关文章

  • Pytorch训练过程出现nan的解决方式

    Pytorch训练过程出现nan的解决方式

    今天小编就为大家分享一篇Pytorch训练过程出现nan的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • 使用python接受tgam的脑波数据实例

    使用python接受tgam的脑波数据实例

    这篇文章主要介绍了使用python接受tgam的脑波数据实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • python实现字符串加密成纯数字

    python实现字符串加密成纯数字

    这篇文章主要为大家详细介绍了python实现字符串加密成纯数字，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2019-03-03
  • Python使用sigthief签发证书的实现步骤

    Python使用sigthief签发证书的实现步骤

    Windows 系统中的一些非常重要文件通常会被添加数字签名，其目的是用来防止被篡改，能确保用户通过互联网下载时能确信此代码没有被非法篡改和来源可信，从而保护了代码的完整性、保护了用户不会被病毒、恶意代码和间谍软件所侵害，本章将演示证书的签发与伪造
    2021-06-06
  • Python Docx库完美操作word文档实例探究

    Python Docx库完美操作word文档实例探究

    这篇文章主要为大家介绍了Python Docx库完美操作word文档,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2024-01-01
  • python异常的传递知识点总结

    python异常的传递知识点总结

    在本篇文章里小编给大家整理的是一篇关于python异常的传递知识点总结，有兴趣的朋友们可以学习下。
    2021-06-06
  • 手把手教你用322行Python代码编写贪吃蛇游戏

    手把手教你用322行Python代码编写贪吃蛇游戏

    最近在学Python,想做点什么来练练手,命令行的贪吃蛇一般是C的练手项目,但是一时之间找不到别的,就先做个贪吃蛇来练练简单的语法,下面这篇文章主要给大家介绍了关于如何用322行Python代码编写贪吃蛇游戏的相关资料,需要的朋友可以参考下
    2023-02-02
  • python使用pandas库导入并保存excel、csv格式文件数据

    python使用pandas库导入并保存excel、csv格式文件数据

    CSV格式文件很方便各种工具之间传递数据,平时工作过程之中会将数据保存为CSV格式,这篇文章主要介绍了python使用pandas库导入并保存excel、csv格式文件数据的相关资料,需要的朋友可以参考下
    2017-12-12
  • 基于python的MD5脚本开发思路

    基于python的MD5脚本开发思路

    这篇文章主要介绍了基于python的MD5脚本,通过 string模块自动生成字典，使用permutations()函数，对字典进行全排列，本文通过实例代码给大家介绍的非常详细，需要的朋友可以参考下
    2022-03-03
  • python网络爬虫精解之pyquery的使用说明

    python网络爬虫精解之pyquery的使用说明

    PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH，Beautiful Soup比起来，PyQuery更加灵活，提供增加节点的class信息，移除某个节点，提取文本信息等功能
    2021-09-09

最新评论