python爬虫教程之bs4解析和xpath解析详解

 更新时间:2022年02月28日 10:32:56   作者:A.way30  
这篇文章主要给大家介绍了关于python爬虫教程之bs4解析和xpath解析的相关资料,bs4、xpath比较容易上手但是功能有限,正则比较晦涩难懂但是功能超级强大,需要的朋友可以参考下

bs4解析

原理:

1.实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中

2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

如何实例化BeautifulSoup对象:

from bs4 import BeautifulSoup

BeautifulSoup(参数一,参数二)

参数一为文件描述符,参数二为解析器,一般为’lxml’

一对象的实例化:

1.将本地的html文档中的数据加载到该对象中

fp = open( './test.html','r',encoding='utf-8')
soup=BeautifulSoup(fp,'lxml')

2.将互联网上获取的页面源码加载到该对象中

page_text =response.text
soup=BeatifulSoup(page_text,'lxml')

soup指初始化的BeautifulSoup对象

用于数据解析的方法和属性:

1.soup.tagName:返回的是文档中第一次出现的tagName对应的标签

2.soup.find():

(1).find( ‘tagName’):等同于soup.tagName

(2).属性定位:soup.find(‘div’,class_/id/或者其他属性=‘song’)

定位到< div class=“song”>/< div id=“song”>的标签下

class如果没有加_则代表关键字

3.soup.find_all(‘tagName’):返回符合要求的所有标签(列表)

soup对象:

<div class="tang">
    <ul>
        <li><a href="http://www.baidu.com" rel="external nofollow"  title= "ging">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></1i>
        <li><a href="http://www.163.com" rel="external nofollow"  title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></1i>
        <li><a href=" http://ww.126.com" rel="external nofollow" alt="qi ">歧王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
        <li><a href="http: //www.sina.com" rel="external nofollow"  class="du">杜甫</a></li>
        <li><a href="http://www.dudu.com" rel="external nofollow"  class="du">杜牧</a></li>
        <li><b>杜小月</b></li>
        <li><i>度蜜月</i></li>
        <li><a href="http://ww.hana.com”id=" rel="external nofollow" feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
    </ul>
</div>

4.select:

- select(‘某种选择器(id,class,标签…选择器)’),返回的是一个列表。

标签什么都不加,class前面加. id前面加#

层级选择器:

>表示的是一个层级;空格表示的多个层级

     soup.select( '.tang > ul > li > a') 
     soup.select( '.tang >ul a')
     结果为:[<a href="http://www.baidu.com" title= "ging">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a>,
     <a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a>,
     <a href=" http://ww.126.com"alt="qi ">歧王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a>,
     <a href="http: //www.sina.com" class="du">杜甫</a>,
     <a href="http://www.dudu.com" class="du">杜牧</a>,
    <a href="http://ww.hana.com”id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a>]

5.获取标签之间的文本数据:

-soup.a.text/string/get_text()

-text/get_text():可以获取某一个标签中所有的文本内容

-string:只可以获取该标签下面直系的文本内容

6.获取标签中属性值:

soup.a[‘属性值’]

print(soup.select( '.tang > ul > li > a') [0]['href'])
结果:
www.baidu.com

xpath解析

最常用且最便捷高效的一种解析方式。通用性。

xpath解析原理:

1.实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中。

2调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。

实例化一个etree对象:

from lxml import etree

-1.将本地的html文档中的源码数据加载到etree对象中:

etree.parse(filePath)

-2.可以将从互联网上获取的源码数据加载到该对象中

etree.HTML( 'page_text')

xpath( ‘xpath表达式’)

xpath表达式:(返回一个列表)

-/:表示的是从根节点开始定位。表示的是一个层级。

-//:表示的是多个层级。可以表示从任意位置开始定位。

-属性定位://div[@class=‘song’] tag[@attrname=‘attrvalue’]

-索引定位://div[@class=‘song’]/p[3]

索引从1开始的

取文本:

  • /text()获取的是标签中直系的文本内容
  • //text(标签中非直系的文本内容(所有的文本内容)

取属性:

  • /@attrName
  • eg:/img/@src
  • ./表示定位到当前位置(局部解析)

多个xpath之间用|分割:

  • tree.xpath(’//div[@class=‘song’]/p[3] | //div[@class=‘song’]’)

总结

到此这篇关于python爬虫教程之bs4解析和xpath解析的文章就介绍到这了,更多相关python bs4和xpath解析内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • PyCharm设置SSH远程调试的方法

    PyCharm设置SSH远程调试的方法

    这篇文章主要介绍了PyCharm设置SSH远程调试的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-07-07
  • scrapy-splash简单使用详解

    scrapy-splash简单使用详解

    这篇文章主要介绍了scrapy-splash简单使用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-02-02
  • Python实现SQL注入检测插件实例代码

    Python实现SQL注入检测插件实例代码

    这篇文章主要给大家介绍了关于Python实现SQL注入检测插件的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-02-02
  • 基于Python的身份证验证识别和数据处理详解

    基于Python的身份证验证识别和数据处理详解

    这篇文章主要介绍了基于Python的身份证验证识别和数据处理,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-11-11
  • Python中itertools库的四个函数介绍

    Python中itertools库的四个函数介绍

    这篇文章主要介绍了Python中itertools库的四个函数,主要讨论itertools库中的十分使用的几个函数,并重点介绍什么时候我们应该考虑使用它们,需要的朋友可以参考一下
    2022-04-04
  • Python 游戏大作炫酷机甲闯关游戏爆肝数千行代码实现案例进阶

    Python 游戏大作炫酷机甲闯关游戏爆肝数千行代码实现案例进阶

    本篇文章给大家带来Python的一个游戏大制作—机甲闯关冒险,数千行代码实现的游戏,过程很详细,对大家的学习或工作具有一定的借鉴价值,需要的朋友可以参考下
    2021-10-10
  • Django如何使用第三方服务发送电子邮件

    Django如何使用第三方服务发送电子邮件

    这篇文章主要介绍了Django如何使用第三方服务发送电子邮件,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • Python中的with关键字和文件操作方法

    Python中的with关键字和文件操作方法

    在Python编程中,with关键字用于简化文件操作流程,包括文件的打开、读取、写入和关闭,它是一个上下文管理器,确保即使在发生异常的情况下,文件也能被正确关闭,释放系统资源,本文给大家介绍Python中的with关键字和文件操作方法,感兴趣的朋友一起看看吧
    2024-10-10
  • pycharm使用docker容器开发的详细教程

    pycharm使用docker容器开发的详细教程

    这篇文章主要介绍了pycharm使用docker容器开发的详细教程,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-01-01
  • Python用scipy生成特殊矩阵

    Python用scipy生成特殊矩阵

    本文主要介绍了Pytho用scipy生成特殊矩阵详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们可以参考一下
    2023-04-04

最新评论