python爬虫教程之bs4解析和xpath解析详解
bs4解析
原理:
1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
如何实例化BeautifulSoup对象:
from bs4 import BeautifulSoup
BeautifulSoup(参数一,参数二)
参数一为文件描述符，参数二为解析器，一般为’lxml’
一对象的实例化:
1.将本地的html文档中的数据加载到该对象中
fp = open( './test.html','r',encoding='utf-8') soup=BeautifulSoup(fp,'lxml')
2.将互联网上获取的页面源码加载到该对象中
page_text =response.text soup=BeatifulSoup(page_text,'lxml')
soup指初始化的BeautifulSoup对象
用于数据解析的方法和属性:
1.soup.tagName:返回的是文档中第一次出现的tagName对应的标签
2.soup.find():
(1).find( ‘tagName’):等同于soup.tagName
(2).属性定位:soup.find(‘div’,class_/id/或者其他属性=‘song’)
定位到< div class=“song”>/< div id=“song”>的标签下
class如果没有加_则代表关键字
3.soup.find_all(‘tagName’):返回符合要求的所有标签(列表)
soup对象:
<div class="tang">
<ul>
<li><a href="http://www.baidu.com" rel="external nofollow" title= "ging">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></1i>
<li><a href="http://www.163.com" rel="external nofollow" title="qin">秦时明月汉时关，万里长征人未还,但使龙城飞将在，不教胡马度阴山</a></1i>
<li><a href=" http://ww.126.com" rel="external nofollow" alt="qi ">歧王宅里寻常见，崔九堂前几度闻，正是江南好风景,落花时节又逢君</a></li>
<li><a href="http: //www.sina.com" rel="external nofollow" class="du">杜甫</a></li>
<li><a href="http://www.dudu.com" rel="external nofollow" class="du">杜牧</a></li>
<li><b>杜小月</b></li>
<li><i>度蜜月</i></li>
<li><a href="http://ww.hana.com”id=" rel="external nofollow" feng">凤凰台上凤凰游，凤去台空江自流，吴宫花草埋幽径，晋代衣冠成古丘</a></li>
</ul>
</div>4.select:
- select(‘某种选择器(id,class，标签…选择器)’),返回的是一个列表。
标签什么都不加，class前面加. id前面加#
层级选择器:
>表示的是一个层级；空格表示的多个层级
soup.select( '.tang > ul > li > a')
soup.select( '.tang >ul a')
结果为：[<a href="http://www.baidu.com" title= "ging">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a>,
<a href="http://www.163.com" title="qin">秦时明月汉时关，万里长征人未还,但使龙城飞将在，不教胡马度阴山</a>,
<a href=" http://ww.126.com"alt="qi ">歧王宅里寻常见，崔九堂前几度闻，正是江南好风景,落花时节又逢君</a>,
<a href="http: //www.sina.com" class="du">杜甫</a>,
<a href="http://www.dudu.com" class="du">杜牧</a>,
<a href="http://ww.hana.com”id="feng">凤凰台上凤凰游，凤去台空江自流，吴宫花草埋幽径，晋代衣冠成古丘</a>]
5.获取标签之间的文本数据:
-soup.a.text/string/get_text()
-text/get_text():可以获取某一个标签中所有的文本内容
-string:只可以获取该标签下面直系的文本内容
6.获取标签中属性值:
soup.a[‘属性值’]
print(soup.select( '.tang > ul > li > a') [0]['href']) 结果： www.baidu.com
xpath解析
最常用且最便捷高效的一种解析方式。通用性。
xpath解析原理:
1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。
2调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。
实例化一个etree对象:
from lxml import etree
-1.将本地的html文档中的源码数据加载到etree对象中:
etree.parse(filePath)
-2.可以将从互联网上获取的源码数据加载到该对象中
etree.HTML( 'page_text')
xpath( ‘xpath表达式’)
xpath表达式:(返回一个列表)
-/:表示的是从根节点开始定位。表示的是一个层级。
-//:表示的是多个层级。可以表示从任意位置开始定位。
-属性定位://div[@class=‘song’] tag[@attrname=‘attrvalue’]
-索引定位：//div[@class=‘song’]/p[3]
索引从1开始的
取文本:
- /text(）获取的是标签中直系的文本内容
- //text(标签中非直系的文本内容(所有的文本内容)
取属性:
- /@attrName
- eg:/img/@src
- ./表示定位到当前位置（局部解析）
多个xpath之间用|分割:
- tree.xpath(’//div[@class=‘song’]/p[3] | //div[@class=‘song’]’)
总结
到此这篇关于python爬虫教程之bs4解析和xpath解析的文章就介绍到这了,更多相关python bs4和xpath解析内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
浅谈Python 命令行参数argparse写入图片路径操作
这篇文章主要介绍了浅谈Python 命令行参数argparse写入图片路径操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
今天小编就为大家分享一篇python简易实现任意位数的水仙花实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
这篇文章主要为大家整理总结了5个实用的Python小，可以实现时间戳处理和时间计算。文中的示例代码讲解详细，感兴趣的小伙伴可以学习一下2022-07-07
我发布了一个通过FTP自动优化新图像的教程。这次我们将抓取整个网站，并在本地优化我们遇到的图像，按URL组织，怎么来操作呢，下面跟随小编一起学习使用Python 抓取和优化所有网站图像的方法，感兴趣的朋友一起看看吧2023-02-02
爬虫代理池Python3WebSpider源代码测试过程解析
这篇文章主要介绍了爬虫代理池Python3WebSpider源代码测试过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
装饰器是一个返回函数的函数。写一个装饰器，除了最常见的在函数中定义函数以外，Python还允许使用类来定义一个装饰器。这篇文章给大家分享Python 使用类写装饰器的小技巧，一起看看吧2018-09-09
这篇文章主要介绍了python-设计并实现平面点类Point,定义一个平面点类Point,对其重载运算符关系运算符,关系运算以距离坐标原点的远近作为基准,需要的朋友可以参考下2024-05-05
这篇文章主要介绍了python中黄金分割法实现方法,涉及Python数学计算的相关技巧,需要的朋友可以参考下2015-05-05
Python异常是在程序执行时发生的错误，可能会导致程序终止运行。这篇文章主要为大家总结了Python中异常捕获与处理的方法，需要的可以参考一下2023-04-04
在本篇文章里小编给大家整理的是一篇关于python高级内置函数用法实例内容，有兴趣的朋友们可以学参考下。2021-09-09
最新评论