Python实现爬取百度贴吧帖子所有楼层图片的爬虫示例

 更新时间:2018年04月26日 10:04:24   转载 作者:开心果汁  
这篇文章主要介绍了Python实现爬取百度贴吧帖子所有楼层图片的爬虫,涉及基于urllib的网页访问与正则匹配相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python实现爬取百度贴吧帖子所有楼层图片的爬虫。分享给大家供大家参考,具体如下:

下载百度贴吧帖子图片,好好看

python2.7版本:

#coding=utf-8
import re
import requests
import urllib
from bs4 import BeautifulSoup
import time
time1=time.time()
def getHtml(url):
  page = requests.get(url)
  html =page.text
  return html
def getImg(html):
  soup = BeautifulSoup(html, 'html.parser')
  img_info = soup.find_all('img', class_='BDE_Image')
  global index
  for index,img in enumerate(img_info,index+1):
    print ("正在下载第{}张图片".format(index))
    urllib.urlretrieve(img.get("src"),'C:/pic4/%s.jpg' % index)
def getMaxPage(url):
  html = getHtml(url)
  reg = re.compile(r'max-page="(\d+)"')
  page = re.findall(reg,html)
  page = int(page[0])
  return page
if __name__=='__main__':
  url  = "https://tieba.baidu.com/p/5113603072"
  page = getMaxPage(url)
  index = 0
  for i in range(1,page):
    url = "%s%s" % ("https://tieba.baidu.com/p/5113603072?pn=",str(i))
    html = getHtml(url)
    getImg(html)
  print ("OK!All DownLoad!")
  time2=time.time()
  print u'总共耗时:' + str(time2 - time1) + 's'

PS:这里再为大家提供2款非常方便的正则表达式工具供大家参考使用:

JavaScript正则表达式在线测试工具:
http://tools.jb51.net/regex/javascript

正则表达式在线生成工具:
http://tools.jb51.net/regex/create_reg

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总

希望本文所述对大家Python程序设计有所帮助。

相关文章

  • python实现连连看辅助之图像识别延伸

    python实现连连看辅助之图像识别延伸

    这篇文章主要为大家详细介绍了python实现连连看辅助之图像识别延伸,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-07-07
  • Python 互换字典的键值对实例

    Python 互换字典的键值对实例

    今天小编就为大家分享一篇Python 互换字典的键值对实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-02-02
  • Python 监测文件是否更新的方法

    Python 监测文件是否更新的方法

    今天小编就为大家分享一篇Python 监测文件是否更新的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-06-06
  • Python正则表达式常用函数总结

    Python正则表达式常用函数总结

    这篇文章主要介绍了Python正则表达式常用函数,结合实例形式总结分析了Python正则表达式常用函数功能、使用方法及相关注意事项,需要的朋友可以参考下
    2017-06-06
  • python获取服务器响应cookie的实例

    python获取服务器响应cookie的实例

    今天小编就为大家分享一篇python获取服务器响应cookie的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • Django框架中render_to_response()函数的使用方法

    Django框架中render_to_response()函数的使用方法

    这篇文章主要介绍了Django框架中render_to_response()函数的使用方法,注意范例中该方法的参数的使用,需要的朋友可以参考下
    2015-07-07
  • Python实现FTP文件传输的实例

    Python实现FTP文件传输的实例

    在本篇文章里小编给各位分享的是关于Python实现FTP文件传输的实例以及相关代码,需要的朋友们学习下。
    2019-07-07
  • python中将字典转换成其json字符串

    python中将字典转换成其json字符串

    Python的字典和JSON在表现形式上非常相似,其实实际上JSON就是Python字典的字符串表示,但是字典作为一个复杂对象是无法直接转换成定义它的代码的字符串,我们来详细分析下
    2014-07-07
  • Python单例模式实例分析

    Python单例模式实例分析

    这篇文章主要介绍了Python单例模式,以实例形式分析了Python单例模式的具体使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-01-01
  • Python读取英文文件并记录每个单词出现次数后降序输出示例

    Python读取英文文件并记录每个单词出现次数后降序输出示例

    这篇文章主要介绍了Python读取英文文件并记录每个单词出现次数后降序输出,涉及Python文件读取、字符串替换、分割以及字典遍历、排序等相关操作技巧,需要的朋友可以参考下
    2018-06-06

最新评论