Python爬虫实战演练之采集糗事百科段子数据

更新时间：2021年10月21日 10:45:35 作者：松鼠爱吃饼干

读万卷书不如行万里路，只学书上的理论是远远不够的，只有在实战中才能获得能力的提升，本篇文章手把手带你用Python采集糗事百科段子的数据,大家可以在过程中查缺补漏，提升水平

知识点

1.爬虫基本步骤
2.requests模块
3.parsel模块
4.xpath数据解析方法
5.分页功能

爬虫基本步骤:

1.获取网页地址 (糗事百科的段子的地址)
2.发送请求
3.数据解析
4.保存本地

爬虫代码

导入所需模块

import re
import requests
import parsel

获取网页地址

url = 'https://www.qiushibaike.com/text/'
# 请求头   伪装客户端向服务器发送请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}

发送请求

requ = requests.get(url=url, headers=headers).text

数据解析

sel = parsel.Selector(requ)  # 解析对象 <Selector xpath=None data='<html xmlns="http://www.w3.org/1999/x...'>
href = sel.xpath('//body/div/div/div[2]/div/a[1]/@href').getall()
for html in href:
    txt_href = 'https://www.qiushibaike.com' + html
    requ2 = requests.get(url=txt_href, headers=headers).text
    sel2 = parsel.Selector(requ2)
    title = sel2.xpath('//body/div[2]/div/div[2]/h1/text()').get().strip()
    title = re.sub(r'[|/\：？<>*]','_',title)
    # content = sel2.xpath('//div[@class="content"]/text()').getall()
    content = sel2.xpath('//body/div[2]/div/div[2]/div[2]/div[1]/div/text()').getall()
    contents = '\n'.join(content)

保存数据

with open('糗事百科text\\'+title + '.txt', mode='w', encoding='utf-8') as fp:
    fp.write(contents)
    print(title, '下载成功')

运行代码，得到数据

【付费VIP完整版】只要看了就能学会的教程，80集Python基础入门视频教学

点这里即可免费在线观看

到此这篇关于Python爬虫实战演练之采集糗事百科段子数据的文章就介绍到这了,更多相关Python 采集糗事百科段子内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

python中Pexpect的工作流程实例讲解
在本篇文章里小编给大家整理的是一篇关于python中Pexpect的工作流程实例讲解内容，有兴趣的朋友们可以学习下。
2021-03-03
python实现图片横向和纵向拼接
这篇文章主要为大家详细介绍了python实现图片横向和纵向拼接，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2020-03-03
Selenium webdriver添加cookie实现过程详解
这篇文章主要介绍了Selenium webdriver添加cookie实现过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-08-08
Qt5.14 与 OpenCV4.5 教程之图片增强效果
这篇文章主要介绍了Qt5.14 与 OpenCV4.5 教程之图片增强效果的实现，本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧
2021-11-11
python获取当前git的repo地址的示例代码
大家好,当谈及版本控制系统时,Git是最为广泛使用的一种,而Python作为一门多用途的编程语言,在处理Git仓库时也展现了其强大的能力,本文给大家介绍了python获取当前git的repo地址的方法,需要的朋友可以参考下
2024-09-09
python pillow模块使用方法详解
这篇文章主要介绍了python pillow模块使用方法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-08-08
python多进程共享变量
这篇文章主要为大家详细介绍了python多进程共享变量的相关资料，感兴趣的小伙伴们可以参考一下
2016-04-04
Python程序语言快速上手教程
本文是面向SEO人群的Python程序语言入门教程，也适用于其他没有程序基础但想学习些程序，以解决简单的实际应用需求的人群。在后面会尽量用最基础的角度来介绍这门语言
2012-07-07
python用selenium打开chrome浏览器保持登录方式
大家好，本篇文章主要讲的是python用selenium打开chrome浏览器保持登录方式，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下
2022-02-02
Python 处理数据的实例详解
这篇文章主要介绍了Python 处理数据的实例详解的相关资料,这里主要介绍Python 常用的基础知识并附实例，需要的朋友可以参考下
2017-08-08