Python中使用HTMLParser解析html实例
前几天遇到一个问题,需要把网页中的一部分内容挑出来,于是找到了urllib和HTMLParser两个库.urllib可以将网页爬下来,然后交由HTMLParser解析,初次使用这个库,在查官方文档时也遇到了一些问题,在这里写下来与大家分享.
一个例子
from HTMLParser import HTMLParser
class MyHTMLParser(HTMLParser):
def handle_starttag(self, tag, attrs):
print "a start tag:",tag,self.getpos()
parser=MyHTMLParser()
parser.feed('<div><p>"hello"</p></div>')
这个例子里HTMLParser是基类,重载了他的handle_starttag方法,输出了一些信息.parser是MyHTMLParser的实例,调用feed方法开始解析函数.值得注意的是,不需要显示调用handle_starttag方法就会执行.
HTMLParser方法的调用方式困惑了我很长时间,看了很多博文才恍然大悟,HTMLParser含有的方法分为两类,一类是需要显式调用的,而另一类不需显示调用.
不需显式调用的方法
下面的这些函数在解析的过程中会触发,但是默认情况下不会产生任何副作用,因而我们要根据自己的需求重载.
1.HTMLParser.handle_starttag(tag,attrs): 解析时遇到开始标签调用,如<p class='para'>,参数tag是标签名,这里是'p',attrs为标签所有属性(name,value)列表,这里是[('class','para')]
2.HTMLParser.handle_endtag(tag): 遇到结束标签时调用,tag是标签名
3.HTMLPars.handle_data(data): 遇到标签中间的内容时调用,如<style> p {color: blue; }</style>,参数data为开闭标签间的内容.值得注意的是在形如<div><p>...</p></div>的位置,并不会在div处调用,而是只在p处调用
当然还有其他函数,这里不做介绍
显式调用的方法
1.HTMLParser.feed(data): 参数为需要解析的html字符串,调用后字符串开始被解析
2.HTMLParser.getpos(): 返回当前的行号和偏移位置,如(23,5)
3.HTMLParser.get_starttag_text(): 返回当前位置最近的开始标签的内容
所有的内容写完了,最后还有一点注意事项,HTMLParser只是一个简单的模块,解析html的功能并不完善,例如不能准确的分别开标签和"自闭标签",看下面代码:
from HTMLParser import HTMLParser
class MyHTMLParser(HTMLParser):
def handle_starttag(self,tag,attrs):
print 'begin tag',tag
def handle_startendtag(self,tag,attrs):
print 'begin end tag',tag
str1='<br>'
str2='<br/>'
parser=MyHTMLParser()
parser.feed(str1) # 输出 "begin tag br"
parser.feed(str2) # 输出 "begin end br"
- Python lxml解析HTML并用xpath获取元素的方法
- Python基于lxml模块解析html获取页面内所有叶子节点xpath路径功能示例
- Python使用lxml模块和Requests模块抓取HTML页面的教程
- Python爬虫基础之XPath语法与lxml库的用法详解
- python3解析库lxml的安装与基本使用
- python库lxml在linux和WIN系统下的安装
- Python 网页解析HTMLParse的实例详解
- python 解析html之BeautifulSoup
- python解析html开发库pyquery使用方法
- Python使用BeautifulSoup库解析HTML基本使用教程
- Python中利用xpath解析HTML的方法
- Python大数据之使用lxml库解析html网页文件示例
相关文章
今天小编就为大家分享一篇使用pytorch和torchtext进行文本分类的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要介绍了Python 实现静态链表案例详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下2021-09-09
python实现自动化报表功能(Oracle/plsql/Excel/多线程)
这篇文章主要介绍了python实现自动化报表(Oracle/plsql/Excel/多线程)的相关知识，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了python中可以发生异常自动重试库retrying，retrying是一个极简的使用Python编写的库，主题更多相关内容需要的朋友可以参考一下2022-06-06
这篇文章主要介绍了Python subprocess模块详细解读，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-01-01
今天小编就为大家分享一篇解决pycharm运行时interpreter为空的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
今天小编就为大家分享一篇对Python 实现Mac 屏幕截图详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-10-10
Django imgareaselect手动剪切头像实现方法
这篇文章主要介绍了Django imgareaselect手动剪切头像实现方法,实例分析了Django框架操作图片的相关技巧,需要的朋友可以参考下2015-05-05
python3新特性函数注释Function Annotations用法分析
这篇文章主要介绍了python3新特性函数注释Function Annotations用法,结合实例形式分析了Python3函数注释的定义方法与使用技巧,需要的朋友可以参考下2016-07-07
本文先向大家分享了建立二叉树的简单代码，其次介绍了Python计算n个节点不同二叉树个数的问题及实现代码示例，具有一定参考价值，需要的朋友可以了解下。2017-10-10
最新评论