python爬虫之爬取百度音乐的实现方法
在上次的爬虫中，抓取的数据主要用到的是第三方的Beautifulsoup库，然后对每一个具体的数据在网页中的selecter来找到它，每一个类别便有一个select方法。对网页有过接触的都知道很多有用的数据都放在一个共同的父节点上，只是其子节点不同。在上次爬虫中，每一类数据都要从其父类（包括其父节点的父节点）上往下寻找ROI数据所在的子节点，这样就会使爬虫很臃肿，因为很多数据有相同的父节点，每次都要重复的找到这个父节点。这样的爬虫效率很低。
因此，笔者在上次的基础上，改进了一下爬取的策略，笔者以实例来描述。
如图，笔者此次爬取的是百度音乐的页面，所爬取的类容是上面榜单下的所有内容（歌曲名，歌手，排名）。如果按照上次的爬虫的方法便要写上三个select方法，分别抓取歌曲名，歌手，排名，但笔者观察得知这三项数据皆放在一个li标签内，如图：
这样我们是不是直接抓取ul标签，再分析其中的数据便可得到全部数据了？答案是，当然可以。
但Beaufulsoup不能直接提供这样的方法，但Python无所不能，python里面自带的re模块是我见过最迷人的模块之一。它能在字符串中找到我们让我们roi的区域，上述的li标签中包含了我们需要的歌曲名，歌手，排名数据，我们只需要在li标签中通过re.findall()方法，便可找到我们需要的数据。这样就能够大大提升我们爬虫的效率。
我们先来直接分析代码：
def parse_one_page(html):
soup = BeautifulSoup(html, 'lxml')
data = soup.select('div.ranklist-wrapper.clearfix div.bd ul.song-list li')
pattern1 = re.compile(r'<li.*?<div class="index">(.*?)</div>.*?title="(.*?)".*?title="(.*?)".*?</li>', re.S)
pattern2 = re.compile(r'<li.*?<div class="index">(.*?)</div>.*?title="(.*?)".*?target="_blank">(.*?)</a>', re.S)
wants = []
for item in data:
# print(item)
final = re.findall(pattern1, str(item))
if len(final) == 1:
# print(final[0])
wants.append(final[0])
else:
other = re.findall(pattern2, str(item))
# print(other[0])
wants.append(other[0])
return wants
上面的代码是我分析网页数据的全部代码，这里不得不说python语言的魅力，数十行代码便能完成java100行的任务，C/C++1000行的任务。上述函数中，笔者首先通过Beautifulsoup得到该网页的源代码，再通过select()方法得到所有li标签中的数据。
到这里，这个爬虫便要进入到最重要的环节了，相信很多不懂re模块的童靴们有点慌张，在这里笔者真的是强烈推荐对python有兴趣的童靴们一定要学习这个非常重要的一环。首先，我们知道re的方法大多只针对string型数据，因此我们调用str()方法将每个list中的数据（即item）转换为string型。然后便是定义re的pattern了，这是个稍显复杂的东西，其中主要用到re.compile()函数得到要在string中配对的pattern，这里笔者便不累述了，感兴趣的童靴可以去网上查阅一下资料。
上述代码中，笔者写了两个pattern，因为百度音乐的网页里，li标签有两个结构，当用一个pattern在li中找不到数据时，便使用另一个pattern。关于re.findadd()方法，它会返回一个list，里面装着tuple，但其实我们知道我们找到的数据就是list[0]，再将每个数据添加到另一个List中，让函数返回。
相信很多看到这里的小伙伴已经云里雾里，无奈笔者对re板块也知道的不多，对python感兴趣的同学可以查阅相关资料再来看一下代码，相信能够如鱼得水。
完整的代码如下：
import requests
from bs4 import BeautifulSoup
import re
def get_one_page(url):
wb_data = requests.get(url)
wb_data.encoding = wb_data.apparent_encoding
if wb_data.status_code == 200:
return wb_data.text
else:
return None
def parse_one_page(html):
soup = BeautifulSoup(html, 'lxml')
data = soup.select('div.ranklist-wrapper.clearfix div.bd ul.song-list li')
pattern1 = re.compile(r'<li.*?<div class="index">(.*?)</div>.*?title="(.*?)".*?title="(.*?)".*?</li>', re.S)
pattern2 = re.compile(r'<li.*?<div class="index">(.*?)</div>.*?title="(.*?)".*?target="_blank">(.*?)</a>', re.S)
wants = []
for item in data:
# print(item)
final = re.findall(pattern1, str(item))
if len(final) == 1:
# print(final[0])
wants.append(final[0])
else:
other = re.findall(pattern2, str(item))
# print(other[0])
wants.append(other[0])
return wants
if __name__ == '__main__':
url = 'http://music.baidu.com/'
html = get_one_page(url)
data = parse_one_page(html)
for item in data:
dict = {
'序列': item[0],
'歌名': item[1],
'歌手': item[2]
}
print(dict)
最后我们看到的输出结果如下：
好了，笔者今天就到这里了。希望喜欢python的萌新能够快速实现自己的spider，也希望一些大神们能够看到这篇文章时不吝赐教。
以上这篇python爬虫之爬取百度音乐的实现方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家学习介绍了Python如何实现在不同坐标系中绘制曲线，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起了解一下2023-07-07
这篇文章主要给大家介绍了关于Python中函数返回值的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-08-08
这篇文章主要介绍了python查看FTP是否能连接成功的方法,实例分析了Python连接FTP的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-07-07
项目中需要快速搭建一个前后端系统,涉及到dash-fastapi架构的时候,对该架构的时候进行总结,本文主要总结的是对该架构的基本使用,后续再对该架构的项目源码进行总结分析,感兴趣的朋友一起看看吧2025-03-03
这篇文章主要介绍了Python数据提取-lxml模块，lxml模块和xpath语法的关系，lxml模块的使用场景、lxml模块的安装、谷歌浏览器xpath helper插件的安装和使用等相关内容介绍,需要的朋友可以参考一下2022-01-01
这篇文章主要介绍了prod()与cumprod()区别cumsum()，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
Python 代替 xftp 从 Linux 服务器下载文件的操作方法
我们经常需要从Linux服务器上同步文件,但是xftp等工具都需要注册了,这里用免费的Python代码来下载文件,还可以扩展更多的自定义用法,这篇文章主要介绍了Python 代替 xftp 从 Linux 服务器下载文件,需要的朋友可以参考下2024-06-06
这篇文章主要介绍了两个命令把 Vim 打造成 Python IDE,需要的朋友可以参考下2016-03-03
这篇文章主要介绍了通过python实现Google的精准搜索功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧2024-05-05
在吴恩达老师的深度学习专项课程中，老师有提到NumPy中的广播机制，同时那一周的测验也有涉及到广播机制的题目。那么，到底什么是NumPy中的广播机制？本文就来介绍一下2021-05-05
最新评论