Python爬取求职网requests库和BeautifulSoup库使用详解

 更新时间:2021年10月21日 16:07:57   作者:HuiSoul  
这篇文章主要为大家介绍了Python爬取求职网及其他网页时requests库和BeautifulSoup库的使用详解,有需要的朋友可以借鉴参考下,希望能够有所帮助

一、requests库

1、requests简介

requests库就是一个发起请求的第三方库,requests允许你发送HTTP/1.1 请求,你不需要手动为 URL 添加查询字串,也不需要对 POST 数据进行表单编码。Keep-alive 和 HTTP 连接池的功能是 100% 自动化的,一切动力都来自于根植在 requests 内部的 urllib3。简单来说有了这个库,我们就能轻而易举向对应的网站发起请求,从而对网页数据进行获取,还可以获取服务器返回的响应内容和状态码。

requesets中文文档页面https://requests.kennethreitz.org/zh_CN/latest/

2、安装requests库

一般电脑安装的Python都会自带这个库,如果没有就可在命令行输入下面这行代码安装

pip install requests

3、使用requests获取网页数据 我们先导入模块

import requests
  • 对想要获取数据的网站发起请求,以下以qq音乐官网为例
res = requests.get('https://y.qq.com/') #发起请求
print(res) #输出<Response [200]>

输出的200其实就是一个响应状态码,下面给大家列出有可能返回的各状态码含义

状态码 含义
1xx 继续发送信息
2xx 请求成功
3xx 重定向
4xx 客户端错误
5xx 服务端错误
  • 获取qq音乐首页的网页源代码
res = requests.get('https://y.qq.com/')  #发起请求
print(res.text)   #res.text就是网页的源代码

4、总结requests的一些方法

属性 含义
res.status_code HTTP的状态码
res.text 响应内容的文本
res.content 响应内容的二进制形式文本
res.encoding 响应内容的编码

既然我们学好了如何获取网页源代码,接下来我们就学习下怎么用BeautifulSoup库对我们获取的内容进行提取。

二、BeautifulSoup库

1、BeautifulSoup简介

BeautifulSoup是Python里的第三方库,处理数据十分实用,有了这个库,我们就可以根据网页源代码里对应的HTML标签对数据进行有目的性的提取。BeautifulSoup库一般与requests库搭配使用。 不熟的HTML标签的最好去百度下,了解一些常用的标签。

2、安装BeautifulSoup库

同样的如果没用这个库,可以通过命令行输入下列代码安装

pip install beautifulsoup4

3、使用BeautifulSoup解析并提取获取的数据

import requests
from bs4 import BeautifulSoup
header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'}
res = requests.get('https://y.qq.com/',headers=header)  #headers是一种反爬虫措施
soup = BeautifulSoup(res.text,'html.parser')  #第一个参数是HTML文本,第二个参数html.parser是Python内置的编译器
print(soup)  #输出qq音乐首页的源代码

部分输出结果

在这里插入图片描述

看到输出结果,我们已经成功将网页源代码解析成BeautifulSoup对象。这时可能有人就会问res.text输出的不就是网页代码了吗,何苦再将它转为BeautifulSoup对象呢?
我们先来通过type()函数看下它们的类型

import requests
from bs4 import BeautifulSoup
header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 	Chrome/87.0.4280.66 Safari/537.36'}
res = requests.get('https://y.qq.com/',headers=header)  #headers是一种反爬虫措施
soup = BeautifulSoup(res.text,'html.parser')  #第一个参数是HTML文本,第二个参数html.parser是Python内置的编译器
print(type(res.text))
print(type(soup))

输出结果

在这里插入图片描述

我们可以看到res.text的类型是字符串类型,而soup则是BeautifulSoup对象类型。相比于res.text的字符串类型,soup的BeautifulSoup对象类型拥有着更多可用的方法,以便我们快速提取出需要的数据。这就是为什么我们要多此一步了。

4、BeautifulSoup提取数据的方法

  • 先来了解两个最常用的方法
方法 作用
find() 返回第一个符合要求的数据
find_all() 返回所有符合要求的数据

这两个函数传入的参数就是我们对数据的筛选条件了,我们可以向这两个函数分别传入什么参数呢?

我们以下面在qq音乐首页截取的源代码片段为例,试用两个函数

		<div class="index__hd">
            <h2 class="index__tit"><i class="icon_txt">歌单推荐</i></h2>
        </div>
        <!-- 切换 -->
        <div class="mod_index_tab" data-stat="y_new.index.playlist">
	<a href="javascript:;" rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"              class="index_tab__item index_tab__item--current js_tag" data-index="0" data-type="recomPlaylist" data-id="1">为你推荐</a>
		    <a href="javascript:;" rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"              class="index_tab__item js_tag" data-type="playlist" data-id="3056">网络歌曲</a>
	               <a href="javascript:;" rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"              class="index_tab__item js_tag" data-type="playlist" data-id="3256">综艺</a>
		    <a href="javascript:;" rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"              class="index_tab__item js_tag" data-type="playlist" data-id="59">经典</a>
		    <a href="javascript:;" rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"              class="index_tab__item js_tag" data-type="playlist" data-id="3317">官方歌单</a>
		    <a href="javascript:;" rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"  rel="external nofollow"              class="index_tab__item js_tag" data-type="playlist" data-id="71">情歌</a>
        </div>

find()函数

如果想要获取歌单推荐这一行的内容,我们就需要先对歌单推荐的HTML标签进行识别,我们发现它在class="icon_txt"的i标签下,接着就可以通过以下这种方法进行提取

	import requests
	from bs4 import BeautifulSoup
	header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'}
	res = requests.get('https://y.qq.com/',headers=header)  #headers是一种反爬虫措施
	soup = BeautifulSoup(res.text,'html.parser')  #第一个参数是HTML文本,第二个参数html.parser是Python内置的编译器
	print(soup.find('i', class_='icon_txt'))  #找到 class_='icon_txt'的 i 标签
	

因为 class 是 Python 中定义类的关键字,所以用 class_ 表示 HTML 中的 class

输出结果

在这里插入图片描述

find_all()函数

如果我们想要把歌单推荐的全部主题提取下来的话,就要用到find_all()函数

同样的,我们发现这几个主题都在 class="index_tab__item js_tag"的 a标签下,这时为了避免筛选到源代码中其他同为class="index_tab__item js_tag"的标签,我们需要再加多一个条件data-type=“playlist”,具体怎么操作呢?

import requests
from bs4 import BeautifulSoup
header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'}
res = requests.get('https://y.qq.com/',headers=header)  #headers是一种反爬虫措施
soup = BeautifulSoup(res.text,'html.parser')  #第一个参数是HTML文本,第二个参数html.parser是Python内置的编译器
print(soup.find('i', class_='icon_txt'))
items = soup.find_all('a',attrs={"class" :"index_tab__item js_tag","data-type":"playlist"})

实现的方法就是在第二个参数处传入一个键值对,在里面添加筛选的属性

输出结果

在这里插入图片描述

通过上面两个小案例,我们发现find()和find_all()函数返回的是Tag对象和Tag对象组成的列表,而我们需要的并不是这一大串东西,我们需要的只是Tag对象的text属性或者href(链接)属性,实现代码如下

import requests
from bs4 import BeautifulSoup
header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'}
res = requests.get('https://y.qq.com/',headers=header)  #headers是一种反爬虫措施
soup = BeautifulSoup(res.text,'html.parser')  #第一个参数是HTML文本,第二个参数html.parser是Python内置的编译器
tag1=soup.find('i', class_='icon_txt')
print(tag1.text)
items = soup.find_all('a',attrs={"class" :"index_tab__item js_tag","data-type":"playlist"})
for i in items:  #遍历列表
    tag2=i.text
    print(tag2)
    

输出结果

在这里插入图片描述

这样我们就成功把主题的文本内容获取了,而想要提取标签中的属性值,则可以用对象名[‘属性']的方法获取,这里就不演示了

本次分享就到这里了,在下次介绍完反爬虫和如何将数据写进文件的方法后,我会结合我所写的三篇文章的方法来做一个爬取求职网的实例跟大家分享,有兴趣的可以看下,谢谢大家!

希望大家以后多多支持脚本之家!

相关文章

  • python中np是做什么的

    python中np是做什么的

    在本篇内容里小编给大家整理的是一篇关于python中np的作用的相关文章,有兴趣的朋友们跟着学习下。
    2020-07-07
  • python_matplotlib改变横坐标和纵坐标上的刻度(ticks)方式

    python_matplotlib改变横坐标和纵坐标上的刻度(ticks)方式

    这篇文章主要介绍了python_matplotlib改变横坐标和纵坐标上的刻度(ticks)方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • python系列 文件操作的代码

    python系列 文件操作的代码

    这篇文章主要介绍了python系列 文件操作的代码,主要是使用了python的open、read、write是些打开、读取、写入,导入numpy主要是用到数组操作,需要的朋友可以参考下
    2019-10-10
  • 详解Python 正则表达式模块

    详解Python 正则表达式模块

    这篇文章主要介绍了Python 正则表达式模块详解,分为两部分,包括基础语法总结,re模块的相关知识,需要的朋友可以参考下
    2018-11-11
  • 使用apiDoc实现python接口文档编写

    使用apiDoc实现python接口文档编写

    今天小编就为大家分享一篇使用apiDoc实现python接口文档编写,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-11-11
  • Python matplotlib以日期为x轴作图代码实例

    Python matplotlib以日期为x轴作图代码实例

    这篇文章主要介绍了Python matplotlib以日期为x轴作图代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-11-11
  • 基于Python实现一个自动关机程序并打包成exe文件

    基于Python实现一个自动关机程序并打包成exe文件

    这篇文章主要介绍了通过Python创建一个可以自动关机的小程序,并打包成exe文件。文中的示例代码讲解详细,对我们学习Python有一定的帮助,感兴趣的同学可以了解一下
    2021-12-12
  • Python中的pprint折腾记

    Python中的pprint折腾记

    这篇文章主要介绍了Python中的pprint折腾记,本文着重讲解pprint的使用,并给出使用实例,需要的朋友可以参考下
    2015-01-01
  • Python Loguru轻松灵活的日志管理库基本用法探索

    Python Loguru轻松灵活的日志管理库基本用法探索

    Loguru是一个用于Python的高性能、简洁且灵活的日志库,它的目标是提供一种简单的方式来记录应用程序的运行情况,同时保持代码的简洁性和可读性,本文将探索loguru的基本用法
    2024-01-01
  • Python内置模块Collections的使用教程详解

    Python内置模块Collections的使用教程详解

    collections 是 Python 的一个内置模块,所谓内置模块的意思是指 Python 内部封装好的模块,无需安装即可直接使用。本文将详解介绍Collections的使用方式,需要的可以参考一下
    2022-03-03

最新评论