Python识别html主要文本框过程解析
更新时间：2020年02月18日 10:00:58 作者：TTyb
这篇文章主要介绍了python识别html主要文本框过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了python识别html主要文本框过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
在抓取网页的时候只想抓取主要的文本框，例如 csdn 中的主要文本框为下图红色框：
抓取的思想是，利用 bs4 查找所有的 div，用正则筛选出每个 div 里面的中文，找到中文字数最多的 div 就是属于正文的 div 了。定义一个抓取的头部抓取网页内容：
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36',
'Host': 'blog.csdn.net'}
session = requests.session()
def getHtmlByRequests(url):
headers.update(
dict(Referer=url, Accept="*/*", Connection="keep-alive"))
htmlContent = session.get(url=url, headers=headers).content
return htmlContent.decode("utf-8", "ignore")
识别每个 div 中文字的正则：
import re # 统计中文字数 def countContent(string): pattern = re.compile(u'[\u1100-\uFFFD]+?') content = pattern.findall(string) return content
遍历每一个 div ，利用正则判断里面中文的字数长度，找到长度最长的 div ：
# 分析页面信息
def analyzeHtml(html):
# 初始化网页
soup = BeautifulSoup(html, "html.parser")
part = soup.select('div')
match = ""
for paragraph in part:
content = countContent(str(paragraph))
if len(content) > len(match):
match = str(paragraph)
return match
得到主要的 div 后，提取里面的文字出来：
def main():
url = "http://blog.csdn.net/"
html = getHtmlByRequests(url)
mainContent = analyzeHtml(html)
soup = BeautifulSoup(mainContent, "html.parser")
print(soup.select('div')[0].text)
完整的代码如下：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests
import re
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36',
'Host': 'blog.csdn.net'}
session = requests.session()
def getHtmlByRequests(url):
headers.update(
dict(Referer=url, Accept="*/*", Connection="keep-alive"))
htmlContent = session.get(url=url, headers=headers).content
return htmlContent.decode("utf-8", "ignore")
# 统计中文字数
def countContent(string):
pattern = re.compile(u'[\u1100-\uFFFD]+?')
content = pattern.findall(string)
return content
# 分析页面信息
def analyzeHtml(html):
# 初始化网页
soup = BeautifulSoup(html, "html.parser")
part = soup.select('div')
match = ""
for paragraph in part:
content = countContent(str(paragraph))
if len(content) > len(match):
match = str(paragraph)
return match
def main():
url = "http://blog.csdn.net/"
html = getHtmlByRequests(url)
mainContent = analyzeHtml(html)
soup = BeautifulSoup(mainContent, "html.parser")
print(soup.select('div')[0].text)
if __name__ == '__main__':
main()
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
- Python使用get_text()方法从大段html中提取文本的实例
- python爬虫入门教程--HTML文本的解析库BeautifulSoup（四）
- Python转换HTML到Text纯文本的方法
- python如何发送带有附件、正文为HTML的邮件
- python中HTMLParser模块知识点总结
- python邮件中附加文字、html、图片、附件实现方法
- python 将html转换为pdf的几种方法
- python爬虫beautifulsoup解析html方法
- python爬虫 requests-html的使用
- 关于pycharm 切换 python3.9 报错 ‘HTMLParser‘ object has no attribute ‘unescape‘ 的问题
- Python HTMLTestRunner如何下载生成报告
- python 提取html文本的方法
相关文章
这篇文章主要介绍了python实现不同电脑之间视频传输,本文视频传输实现的前提是确保发送端和接收端接在同一个局域网下，分为发送端和接收端，通过实例代码给大家介绍的非常详细，需要的朋友参考下吧2021-06-06
这篇文章主要介绍了Python编码类型转换方法,结合实例形式详细分析了Python针对各种常见编码的转码与解码等操作技巧,需要的朋友可以参考下2016-07-07
PyQtGraph是一个基于PyQt和NumPy的Python库,它专为实时数据可视化而设计,本文通过实例代码给大家介绍pyqtgraph绘制实时更新数据的图,感兴趣的朋友一起看看吧2024-12-12
这篇文章主要介绍了python通过pil为png图片填充上背景颜色的方法,实例分析了Python使用pil模块操作png图片的技巧,非常具有实用价值,需要的朋友可以参考下2015-03-03
这篇文章主要介绍了OpenCV操作图像平移转换，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-09-09
在Python中，可以使用SciPy和NumPy库来处理信号，包括进行FM信号的解调，本文主要介绍了python 调制解调的实现，具有一定的参考价值，感兴趣的可以了解一下2024-03-03
在本篇文章里小编给大家整理的是关于Python转换字符串大小写代码和实例，需要的朋友们可以参考下。2020-06-06
通过Python的filestools库给图片添加全图水印的示例详解
这篇文章主要介绍了通过Python的filestools库给图片添加全图水印,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-04-04
这篇文章主要介绍了python标准库sys和OS的函数使用方法与实例详解,需要的朋友可以参考下2020-02-02
今天小编就为大家分享一篇Django处理文件上传File Uploads的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
最新评论