详解python selenium 爬取网易云音乐歌单名

 更新时间:2019年03月28日 09:28:30   作者:Mandy。  
这篇文章主要介绍了python selenium爬取网易云音乐歌单名,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

目标网站:


首先获取第一页的数据,这里关键要切换到iframe里


打印一下

获取剩下的页数,这里在点击下一页之前需要设置一个延迟,不然会报错。


结果:

一共37页,爬取完毕后关闭浏览器

完整代码:

url = 'https://music.163.com/#/discover/playlist/'

from selenium import webdriver
import time
# 创建浏览器对象
window = webdriver.Chrome('./chromedriver')
window.get(url)
time.sleep(1)
# 切换到iframe窗口
iframe = window.find_element_by_id('g_iframe')
window.switch_to.frame(iframe)
music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li')
for music_element in music_list:
 print(music_element.text)
 print()
print('*'*20)

page = 1
# 开始提取
while True:
 time.sleep(2)
 # 获取下一页
 next = window.find_element_by_link_text('下一页')
 if not next.get_attribute('class') == 'zbtn znxt js-disabled':
  next.click()
 else:
  break
 time.sleep(1)
 # 提取数据
 music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li')
 for music_element in music_list:
  print(music_element.text)
  print()
 print(page,'*'*20)
 page+=1
# 退出浏览器
window.quit()

以上所述是小编给大家介绍的python selenium爬取网易云音乐歌单名详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

  • python中return的返回和执行实例

    python中return的返回和执行实例

    今天小编就为大家分享一篇python中return的返回和执行实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • 详解python做UI界面的方法

    详解python做UI界面的方法

    在本文里我们给大家整理了关于python做UI界面的方法和具体步骤,对此有需要的朋友们可以跟着学习参考下。
    2019-02-02
  • 我对PyTorch dataloader里的shuffle=True的理解

    我对PyTorch dataloader里的shuffle=True的理解

    这篇文章主要介绍了我对PyTorch dataloader里的shuffle=True的理解,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-05-05
  • 使用Python开发SQLite代理服务器的方法

    使用Python开发SQLite代理服务器的方法

    今天小编就为大家分享一篇使用Python开发SQLite代理服务器的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • Python表格数据处理库之tablib库详解

    Python表格数据处理库之tablib库详解

    这篇文章主要介绍了Python表格数据处理库之tablib库详解,Tablib是一个用于处理电子表格数据的Python库,它可以轻松地进行数据的导入和导出,以及数据格式的转换,需要的朋友可以参考下
    2023-08-08
  • Python可视化mhd格式和raw格式的医学图像并保存的方法

    Python可视化mhd格式和raw格式的医学图像并保存的方法

    今天小编就为大家分享一篇Python可视化mhd格式和raw格式的医学图像并保存的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • Python多进程的使用详情

    Python多进程的使用详情

    本篇重点介绍Python多进程的使用,主要介绍其的一些方法及进程的创建等,想进一步了解的小伙伴请跟小编一起进入下文吧
    2021-09-09
  • python 实现图片修复(可用于去水印)

    python 实现图片修复(可用于去水印)

    这篇文章主要介绍了python 实现图片修复(可用于去水印),帮助大家更好的理解和使用opencv库,感兴趣的朋友可以了解下
    2020-11-11
  • Python中的Decorator装饰器的使用示例

    Python中的Decorator装饰器的使用示例

    装饰器(decorator)在Python框架中扮演着重要角色,是Python中实现切面编程(AOP)的重要手段,本文将通过简单的示例和大家介绍下具体的使用方法,希望对大家有所帮助
    2022-12-12
  • Python爬虫模拟登陆哔哩哔哩(bilibili)并突破点选验证码功能

    Python爬虫模拟登陆哔哩哔哩(bilibili)并突破点选验证码功能

    这篇文章主要介绍了Python爬虫模拟登陆哔哩哔哩(bilibili)并突破点选验证码功能,本文通过图文实例相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-12-12

最新评论