python制作花瓣网美女图片爬虫

 更新时间:2015年10月28日 09:20:04   投稿:hebedich  
本文通过python 来实现这样一个简单的爬虫功能,把我们想要的图片爬取到本地,需要的朋友可以参考下

花瓣图片的加载使用了延迟加载的技术,源代码只能下载20多张图片,修改后基本能下载所有的了,只是速度有点慢,后面再优化下

import urllib, urllib2, re, sys, os,requests
path=r"C:\wqa\beautify"
url = 'http://huaban.com/favorite/beauty'
#http://huaban.com/explore/zhongwenlogo/?ig1un9tq&max=327773629&limit=20&wfl=1
i_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36"}
count=0

def urlHandle(url):
  req = urllib2.Request(url, headers=i_headers)
  html = urllib2.urlopen(req).read()
  reg = re.compile(r'"pin_id":(\d+),.+?"file":{"farm":"farm1", "bucket":"hbimg",.+?"key":"(.*?)",.+?"type":"image/(.*?)"', re.S)
  groups = re.findall(reg, html)
  return groups

def imgHandle(groups):
  if groups:
    for att in groups:  
      pin_id = att[0]
      att_url = att[1] + '_fw236'
      img_type = att[2]
      img_url = 'http://img.hb.aicdn.com/' + att_url

      r = requests.get(img_url)
      with open(path + att_url + '.' + img_type, 'wb') as fd:
        for chunk in r.iter_content():
          fd.write(chunk)

groups = urlHandle(url)
imgHandle(groups)

while(groups):
  count+=1
  print count
  pin_id = groups[-1][0]
  print pin_id
  urltemp = url+'/?max=' + str(pin_id) + '&limit=' + str(20) + '&wfl=1'
  print(urltemp)
  groups = urlHandle(urltemp)
  #print groups
  imgHandle(groups)

相关文章

  • 基于Python实现用户管理系统

    基于Python实现用户管理系统

    这篇文章主要为大家详细介绍了基于Python实现用户管理系统,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-02-02
  • Python使用MYSQLDB实现从数据库中导出XML文件的方法

    Python使用MYSQLDB实现从数据库中导出XML文件的方法

    这篇文章主要介绍了Python使用MYSQLDB实现从数据库中导出XML文件的方法,涉及Python使用MYSQLDB操作数据库及XML文件的相关技巧,需要的朋友可以参考下
    2015-05-05
  • Python sublime安装及配置过程详解

    Python sublime安装及配置过程详解

    这篇文章主要介绍了Python sublime安装及配置过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-06-06
  • django模型中的字段和model名显示为中文小技巧分享

    django模型中的字段和model名显示为中文小技巧分享

    这里给大家分享2个可以让django模型中的字段和model名显示为中文的小技巧,非常的简单实用,给需要的小伙伴参考下。
    2014-11-11
  • Kotlin 中的 apply 函数用法详解

    Kotlin 中的 apply 函数用法详解

    apply 函数是 Kotlin 中一个十分方便的工具,它使得对对象进行初始化和配置变得更加简洁、清晰,通过与 Java 的对比,我们可以看出 Kotlin 在处理类似情况时具有更高的表现力和简洁性,本文给大家介绍Kotlin apply 函数的用法,感兴趣的朋友一起看看吧
    2024-03-03
  • Jupyter notebook 远程配置及SSL加密教程

    Jupyter notebook 远程配置及SSL加密教程

    这篇文章主要介绍了Jupyter notebook 远程配置及SSL加密教程,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • 使用Python进行视频相似度比较实例

    使用Python进行视频相似度比较实例

    这篇文章主要介绍了使用Python进行视频相似度比较实例,本文通过汉明距离算法与图片比较等方法对比两个视频流的相似度,文中提供了部分实现代码与解决思路,需要的朋友可以参考下
    2023-07-07
  • python登录WeChat 实现自动回复实例详解

    python登录WeChat 实现自动回复实例详解

    在本篇内容里小编给大家整理的是关于python登录WeChat 实现自动回复的相关实例内容以及知识点总结,有兴趣的朋友们参考下。
    2019-05-05
  • Python字符串和文件操作常用函数分析

    Python字符串和文件操作常用函数分析

    这篇文章主要介绍了Python字符串和文件操作常用函数,实例分析了Python中字符串及文件操作的常用技巧,非常具有实用价值,需要的朋友可以参考下
    2015-04-04
  • Python实现对象转换为xml的方法示例

    Python实现对象转换为xml的方法示例

    这篇文章主要介绍了Python实现对象转换为xml的方法,结合实例形式分析了Python对象属性、节点的操作及与xml相互转换的相关实现技巧,需要的朋友可以参考下
    2017-06-06

最新评论