Python 数据分析之Beautiful Soup 提取页面信息
概述
数据分析 (Data Analyze) 可以在工作中的各个方面帮助我们. 本专栏为量化交易专栏下的子专栏, 主要讲解一些数据分析的基础知识.
Beautiful Soup
Beautiful 是一个可以从 HTML 或 XML 文件中提取数据的 Pyhton 库. 简单来说, 它能将 HTML 的标签文件解析成树形结构, 然后方便的获取到指定标签的对应属性.
安装:
pip install beautifulsoup4
例子:
from bs4 import BeautifulSoup
# 创建一段HTML代码
html_content = """
<html>
<head>
<title>我是小白呀的博客</title>
</head>
<body>
<p class="redColor">个人介绍</p>
</body>
</html>
"""
# 生成soup
soup = BeautifulSoup(html_content, "html.parser")
# 调试输出
print(soup.title) # 标题
print("name:", soup.title.name)
print(soup.head) # 头部
print("name:", soup.head.name)
print(soup.p) # 段落
print("name:", soup.p.name)
print("class:", soup.p.attrs)
输出结果:
<title>我是小白呀的博客</title>
name: title
<head>
<title>我是小白呀的博客</title>
</head>
name: head
<p class="redColor">个人介绍</p>
name: p
class: {'class': ['redColor']}
class: ['redColor']
提取页面信息
例子:
from urllib import request
from bs4 import BeautifulSoup
# 网页
url = "https://iamarookie.blog.csdn.net/"
# 发送请求
response = request.urlopen(url)
# 获取内容
html_content = response.read().decode("utf-8")
# 生成soup
soup = BeautifulSoup(html_content)
# 解析博客名字
blog_name = soup.find("div", attrs={"class":"user-profile-head-name"}).text
print("博客名字:\n", blog_name)
# 解析博客签名
blog_signature = soup.find("div", attrs={"class":"user-profile-head-introduction"}).text
print("博客签名:\n", blog_signature.strip())
输出结果:
博客名字:
我是小白呀 码龄2年
博客签名:
吾本布衣, 出自纽约, 四周大山. 箪瓢屡空, 环堵萧然, 不弊风日. 吾好读书, 滴水石穿, 笨鸟先飞, 求知不断, 方能立足. 不羡孔北海之座上客常满, 但求吾辈架上书常在. 涸辙遗鲋, 暮成枯, 人而无志, 与彼何殊. Self-study Computer Science. 愿为 open source 自效微力. 天高地阔，欲往观之. 因为啥也不会, 默默做一只小白
到此这篇关于Python 数据分析之Beautiful Soup 提取页面信息的文章就介绍到这了,更多相关Python Beautiful Soup内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
本文主要介绍了利用Pygame实现落球小游戏，即屏幕上落下一个球，通过鼠标移动，地下的木块如果接上则加分，否则就减去一命，三条命用完则游戏结束。感兴趣的可以学习2022-01-01
这篇文章主要是用 Python 实现了简单的中文分词的同音字纠错，目前的案例中只允许错一个字，感兴趣的小伙伴们可以参考一下2021-07-07
这篇文章主要为大家介绍了如何利用OpenCV实现视频的循环播放，本文为大家提供了两种方式，一个是利用Python语言实现，一个是利用C++语言实现，需要的可以参考一下2022-02-02
Python中集成了专用于处理csv文件的库，名为：csv，本文给大家介绍了Python使用csv库处理CSV文件的方法及csv库中4个常用的对象，结合实例代码给大家介绍的非常详细,需要的朋友可以参考下2023-06-06
Python 中如何使用 setLevel() 设置日志级别
这篇文章主要介绍了在 Python 中使用setLevel() 设置日志级别,Python 提供了一个单独的日志记录模块作为其标准库的一部分，以简化日志记录，本文将讨论日志记录 setLevel 及其在 Python 中的工作方式，需要的朋友可以参考下2023-07-07
这篇文章主要介绍了Python request设置HTTPS代理代码解析，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-02-02
本文主要介绍了PyMongo 查询数据，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-06-06
Python seaborn数据可视化绘图(直方图,密度图,散点图)
这篇文章主要介绍了Python seaborn数据可视化绘图(直方图,密度图,散点图)，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的朋友可以参考一下2022-07-07
今天小编就为大家分享一篇Jupyter中直接显示Matplotlib的图形方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
python 插入Null值数据到Postgresql的操作
这篇文章主要介绍了python 插入Null值数据到Postgresql的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
最新评论