python爬取酷狗音乐排行榜

 更新时间:2019年02月20日 09:40:28   作者:qq_18525247  
这篇文章主要为大家详细介绍了python爬取酷狗音乐排行榜,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

本文为大家分享了python爬取酷狗音乐排行榜的具体代码,供大家参考,具体内容如下

#coding=utf-8
from pymongo import MongoClient
import time 
import requests 
from lxml import etree 
 
client = MongoClient()      #连接mongo
hello = client.hello       #连接数据库
user = hello.song         #连接表
 
headers = { 
  'User-Agent': 'Mozilla/5.0 (Android 6.0; Nexus 5 Build/MRA58N)\
  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Mobile Safari/537.36'} 
 
def get_info(url): 
  '''
  get源码,encode,解析,xpath,保存 
  '''
  response = requests.get(url, headers=headers) 
  response = response.text.encode('utf-8') 
  selector = etree.HTML(response) 
  soup = selector.xpath('//*[@class="pc_temp_songlist "]/ul//li/a/text()') 
 
  #保存到本地
  # with open('aa.txt','a') as f:
    # for i in soup:
      # f.write(i.encode('utf-8') + '\n')
 
  #存入数据库
  for i in soup:
    user.insert({'song': i})
 
if __name__ == '__main__': 
  urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format(str(i)) for i in range(1, 24)] 
  for url in urls: 
    print(url) 
    get_info(url)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • 记一次python 内存泄漏问题及解决过程

    记一次python 内存泄漏问题及解决过程

    最近工作中慢慢开始用python协程相关的东西,所以用到了一些相关模块,如aiohttp, aiomysql, aioredis等,用的过程中也碰到的很多问题,这里整理了一次内存泄漏的问题。分享到脚本之家平台,需要的朋友参考下
    2018-11-11
  • 如何在mac环境中用python处理protobuf

    如何在mac环境中用python处理protobuf

    这篇文章主要介绍了如何在mac环境中用python处理protobuf,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • 如何爬取通过ajax加载数据的网站

    如何爬取通过ajax加载数据的网站

    这篇文章主要介绍了如何爬取通过ajax加载数据的网站,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • 利用Python求解阿基米德分牛问题

    利用Python求解阿基米德分牛问题

    这篇文章主要为大家详细介绍了如何利用Python优雅地求解阿基米德分牛问题,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起了解一下
    2023-03-03
  • Python实现监控程序执行时间并将其写入日志的方法

    Python实现监控程序执行时间并将其写入日志的方法

    这篇文章主要介绍了Python实现监控程序执行时间并将其写入日志的方法,实例分析了Python日志操作的相关技巧,需要的朋友可以参考下
    2015-06-06
  • Python中for循环语句实战案例

    Python中for循环语句实战案例

    这篇文章主要给大家介绍了关于Python中for循环语句的相关资料,python中for循环一般用来迭代字符串,列表,元组等,当for循环用于迭代时不需要考虑循环次数,循环次数由后面的对象长度来决定,需要的朋友可以参考下
    2023-09-09
  • Python+OpenCV图像处理——打印图片属性、设置存储路径、调用摄像头

    Python+OpenCV图像处理——打印图片属性、设置存储路径、调用摄像头

    这篇文章主要介绍了Python+OpenCV图像处理——打印图片属性、设置存储路径、调用摄像头的示例,帮助大家更好的利用python处理图片,感兴趣的朋友可以了解下
    2020-10-10
  • 使用pandas库对csv文件进行筛选保存

    使用pandas库对csv文件进行筛选保存

    这篇文章主要介绍了使用pandas库对csv文件进行筛选保存,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-05-05
  • python使用pypdf2实现pdf文档解密

    python使用pypdf2实现pdf文档解密

    利用pypdf2完成pdf的解密,这里的事例是python3环境下的,当然python2下也可以运行,只需要修改名称即可,文中通过代码示例给大家介绍的非常详细,需要的朋友可以参考下
    2023-12-12
  • Python基于递归实现电话号码映射功能示例

    Python基于递归实现电话号码映射功能示例

    这篇文章主要介绍了Python基于递归实现电话号码映射功能,结合实例形式分析了Python针对字典的递归、遍历相关操作技巧,需要的朋友可以参考下
    2018-04-04

最新评论