脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Scrapy的简单使用教程

Scrapy的简单使用教程

 更新时间：2017年10月24日 08:47:14   作者：贝克田庄  
Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

在这篇入门教程中，我们假定你已经安装了python。如果你还没有安装，那么请参考安装指南。

首先第一步：进入开发环境，workon article_spider

进入这个环境：

安装Scrapy，在安装的过程中出现了一些错误：通常这些错误都是部分文件没有安装导致的，因为大学时经常出现，所以对解决这种问题，很实在，直接到http://www.lfd.uci.edu/~gohlke/pythonlibs/这个网站下载对应的文件，下载后用pip安装，具体过程不在赘述。

然后进入工程目录，并打开我们的新创建的虚拟环境：

新建scrapy工程：ArticleSpider

创建好工程框架：在pycharm中导入

 

scrapy.cfg: 项目的配置文件。
ArticleSpeder/: 该项目的python模块。之后您将在此加入代码。
ArticleSpeder/items.py: 项目中的item文件。
ArticleSpeder/pipelines.py: 项目中的pipelines文件。
ArticleSpeder/settings.py: 项目的设置文件。
ArticleSpeder/spiders/: 放置spider代码的目录。

回到dos窗口用basic创建模板

上面pycharm的截图中已经创建好了：

为了今后更好的开发，创建一个用于debug的类main.py

from scrapy.cmdline import execute
import sys
import os
print(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","jobbole"])

 这是代码内容

import sys 为了设置工程目录，调用命令才会生效

里面的路径最好不要写死：可以通过os获取路径，更加灵活

execute用来执行目标程序的

jobbole.py的内容

class JobboleSpider(scrapy.Spider):
name = 'jobbole'
allowed_domains = ['blog.jobbole.com']
start_urls = ['http://blog.jobbole.com/110287']

def parse(self, response):
re_selector = response.xpath("/html/body/div[1]/div[3]/div[1]/div[1]/h1")
re2_selector = response.xpath('//*[@id="post-110287"]/div[1]/h1')
title = response.xpath('//div[@class="entry-header"]/h1/text()')
create_date = response.xpath("")
#//*[@id="112706votetotal"]
dian_zan = int(response.xpath("//span[contains(@class,'vote-post-up ')]/h10/text()").extract()[0])
pass

 通过xpath技术获取对应文章的一些字段信息，包括标题，时间，评论数，点赞数等，因为比较简单所以不在赘述

写到这儿，大家也知道每次在pycharm里面debug和麻烦，因为scrapy比较大，所以这时候我们可以使用Scrapy shell来调试

标记部分是目标网站的地址：现在我们可以更加愉悦的进行调试了。

今天scrapy的初体验就到这里了

您可能感兴趣的文章:

相关文章

  • 超级好用的4个Python命令行可视化库

    超级好用的4个Python命令行可视化库

    通常大家都是在自己的电脑上跑程序,直接是可以可视化相应的结果.如果是在服务器上的话,使用终端,是不太方便查看结果. 今天,小F就给大家介绍4个可以在命令行中使用的Python库. 分别是Bashplotlib、tqdm、PrettyTable、Colorama,需要的朋友可以参考下
    2021-06-06
  • DataFrame数据框模糊查询与去重方式

    DataFrame数据框模糊查询与去重方式

    数据框模糊查询通常使用contains函数和正则表达式来实现,可以查询以某个字符开头、包含或结尾的数据,若数据类型不一致可能会报错,需统一为str类型,数据框去重则通过drop_duplicates函数实现,可指定列进行去重,并有多种处理重复值的方式
    2024-09-09
  • 如何提取Playwright录制文件中的元素定位信息

    如何提取Playwright录制文件中的元素定位信息

    最近在学习Playwright自动化测试，本文主要介绍了如何提取Playwright录制文件中的元素定位信息，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-12-12
  • Django进阶之CSRF的解决

    Django进阶之CSRF的解决

    这篇文章主要介绍了Django进阶之CSRF的解决，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-08-08
  • 详解四种Python中基本形态学滤波的实现

    详解四种Python中基本形态学滤波的实现

    最基础的形态学操作有四个，分别是腐蚀、膨胀、开计算和闭计算。这篇文章主要介绍了这四种形态学滤波的实现，感兴趣的小伙伴可以跟随小编一起学习一下
    2023-04-04
  • python结合多线程爬取英雄联盟皮肤(原理分析)

    python结合多线程爬取英雄联盟皮肤(原理分析)

    多线程是为了同步完成多项任务，不是为了提高运行效率，而是为了提高资源使用效率来提高系统的效率。这篇文章主要介绍了python爬取英雄联盟皮肤结合多线程的方法,需要的朋友可以参考下
    2021-05-05
  • 解决python3运行selenium下HTMLTestRunner报错的问题

    解决python3运行selenium下HTMLTestRunner报错的问题

    今天小编就为大家分享一篇解决python3运行selenium下HTMLTestRunner报错的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • Python Flask框架实现Proteus仿真Arduino与网页数据交互

    Python Flask框架实现Proteus仿真Arduino与网页数据交互

    这篇文章主要介绍了Python Flask框架实现Proteus仿真Arduino与网页数据交互，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习吧
    2022-11-11
  • 利用For循环遍历Python字典的三种方法实例

    利用For循环遍历Python字典的三种方法实例

    字典由多个键和其对应的值构成的键—值对组成,键和值中间以冒号：隔开,项之间用逗号隔开,整个字典是由大括号{}括起来的,下面这篇文章主要给大家介绍了关于如何利用For循环遍历Python字典的三种方法,需要的朋友可以参考下
    2022-03-03
  • Python正则抓取网易新闻的方法示例

    Python正则抓取网易新闻的方法示例

    这篇文章主要介绍了Python正则抓取网易新闻的方法,结合实例形式较为详细的分析了Python使用正则进行网易新闻抓取操作的相关实现技巧与注意事项,需要的朋友可以参考下
    2017-04-04

最新评论