详解python selenium 爬取网易云音乐歌单名

 更新时间:2019年03月28日 09:28:30   作者:Mandy。  
这篇文章主要介绍了python selenium爬取网易云音乐歌单名,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

目标网站:


首先获取第一页的数据,这里关键要切换到iframe里


打印一下

获取剩下的页数,这里在点击下一页之前需要设置一个延迟,不然会报错。


结果:

一共37页,爬取完毕后关闭浏览器

完整代码:

url = 'https://music.163.com/#/discover/playlist/'

from selenium import webdriver
import time
# 创建浏览器对象
window = webdriver.Chrome('./chromedriver')
window.get(url)
time.sleep(1)
# 切换到iframe窗口
iframe = window.find_element_by_id('g_iframe')
window.switch_to.frame(iframe)
music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li')
for music_element in music_list:
 print(music_element.text)
 print()
print('*'*20)

page = 1
# 开始提取
while True:
 time.sleep(2)
 # 获取下一页
 next = window.find_element_by_link_text('下一页')
 if not next.get_attribute('class') == 'zbtn znxt js-disabled':
  next.click()
 else:
  break
 time.sleep(1)
 # 提取数据
 music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li')
 for music_element in music_list:
  print(music_element.text)
  print()
 print(page,'*'*20)
 page+=1
# 退出浏览器
window.quit()

以上所述是小编给大家介绍的python selenium爬取网易云音乐歌单名详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

  • Django事务transaction的使用以及多个装饰器问题

    Django事务transaction的使用以及多个装饰器问题

    这篇文章主要介绍了Django事务transaction的使用以及多个装饰器问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • Python进程池基本概念

    Python进程池基本概念

    这篇文章主要介绍了Python进程池基本概念,当创建的子进程数量不多时,可以直接利用多处理进程中的进程动态形成需要的进程,下文关于Python线程池的概念做详细介绍,需要的小伙伴可以参考一下
    2022-03-03
  • python将txt文档每行内容循环插入数据库的方法

    python将txt文档每行内容循环插入数据库的方法

    今天小编就为大家分享一篇python将txt文档每行内容循环插入数据库的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • Flask登录注册项目的简单实现

    Flask登录注册项目的简单实现

    一个简单的用户注册和登录的页面,涉及到验证,数据库存储等等,本文主要介绍了Flask登录注册项目的简单实现,从目录结构开始,感兴趣的可以了解一下
    2021-05-05
  • windows下python虚拟环境virtualenv安装和使用详解

    windows下python虚拟环境virtualenv安装和使用详解

    这篇文章主要介绍了windows下python虚拟环境virtualenv安装和使用详解,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-07-07
  • Python使用pysmb库访问Windows共享文件夹的详细教程

    Python使用pysmb库访问Windows共享文件夹的详细教程

    本教程旨在帮助您使用pysmb库,通过SMB(Server Message Block)协议,轻松连接到Windows共享文件夹,并列举其中的文件与文件夹,此外,我们还将简要介绍如何下载和上传文件,以及如何处理可能遇到的连接错误,需要的朋友可以参考下
    2024-12-12
  • Python调用Windows API函数编写录音机和音乐播放器功能

    Python调用Windows API函数编写录音机和音乐播放器功能

    这篇文章主要介绍了Python调用Windows API函数编写录音机和音乐播放器功能,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-01-01
  • 利用Python编写个冷笑话生成器

    利用Python编写个冷笑话生成器

    这篇文章主要为大家分享了如何利用Python编写一个简易的冷笑话生成器,这样再惹女朋友生气,就可以说笑话哄她啦,快跟随小编一起学习一下
    2022-04-04
  • 使用python实现一个简单ping pong服务器

    使用python实现一个简单ping pong服务器

    这篇文章主要为大家介绍了使用python实现一个简单ping pong服务器,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-04-04
  • Anaconda2下实现Python2.7和Python3.5的共存方法

    Anaconda2下实现Python2.7和Python3.5的共存方法

    今天小编就为大家分享一篇Anaconda2下实现Python2.7和Python3.5的共存方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06

最新评论