Python实现爬取百度贴吧帖子所有楼层图片的爬虫示例

更新时间：2018年04月26日 10:04:24 作者：开心果汁

这篇文章主要介绍了Python实现爬取百度贴吧帖子所有楼层图片的爬虫,涉及基于urllib的网页访问与正则匹配相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python实现爬取百度贴吧帖子所有楼层图片的爬虫。分享给大家供大家参考，具体如下：

下载百度贴吧帖子图片，好好看

python2.7版本：

#coding=utf-8
import re
import requests
import urllib
from bs4 import BeautifulSoup
import time
time1=time.time()
def getHtml(url):
  page = requests.get(url)
  html =page.text
  return html
def getImg(html):
  soup = BeautifulSoup(html, 'html.parser')
  img_info = soup.find_all('img', class_='BDE_Image')
  global index
  for index,img in enumerate(img_info,index+1):
    print ("正在下载第{}张图片".format(index))
    urllib.urlretrieve(img.get("src"),'C:/pic4/%s.jpg' % index)
def getMaxPage(url):
  html = getHtml(url)
  reg = re.compile(r'max-page="(\d+)"')
  page = re.findall(reg,html)
  page = int(page[0])
  return page
if __name__=='__main__':
  url  = "https://tieba.baidu.com/p/5113603072"
  page = getMaxPage(url)
  index = 0
  for i in range(1,page):
    url = "%s%s" % ("https://tieba.baidu.com/p/5113603072?pn=",str(i))
    html = getHtml(url)
    getImg(html)
  print ("OK!All DownLoad!")
  time2=time.time()
  print u'总共耗时：' + str(time2 - time1) + 's'

PS：这里再为大家提供2款非常方便的正则表达式工具供大家参考使用：

JavaScript正则表达式在线测试工具：
http://tools.jb51.net/regex/javascript

正则表达式在线生成工具：
http://tools.jb51.net/regex/create_reg

更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

您可能感兴趣的文章:

python 内置库wsgiref的使用（WSGI基础入门）
WSGI（web服务器网关接口）主要规定了服务器端和应用程序之间的接口，即规定了请求的URL到后台处理函数之间的映射该如何实现。wsgiref是一个帮助开发者开发测试的Python内置库，程序员可以通过这个库了解WSGI的基本运行原理，但是不能把它用在生产环境上。
2021-06-06
一份python入门应该看的学习资料
关于python入门你应该看这些资料，帮助你快速入门python，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-04-04
关于Python操作Excel的基本方法
这篇文章主要介绍了关于Python操作Excel的基本方法,Python是一种功能强大的编程语言，可以用于许多任务，包括处理Excel文件,需要的朋友可以参考下
2023-05-05
Tensorflow 2.1完成对MPG回归预测详解
这篇文章主要为大家介绍了Tensorflow 2.1完成对MPG回归预测详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2022-11-11
OpenCV2学习笔记之视频流读取与处理
为OpenCV是搞计算机视觉必须要掌握的基础,这篇文章主要给大家介绍了关于OpenCV2学习笔记之视频流读取与处理的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
2022-01-01
Python加载文件内容的两种实现方式
这篇文章主要介绍了Python加载文件内容的两种实现方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-09-09
python实现监控指定进程的cpu和内存使用率
这篇文章主要为大家详细介绍了python实现监控指定进程的cpu和内存使用率，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-01-01
pycharm日志总是弹出“无法运行Git,未安装Git”的问题
这篇文章主要介绍了pycharm日志总是弹出“无法运行Git,未安装Git”的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-06-06
Python元组 tuple的概念与基本操作详解【定义、创建、访问、计数、推导式等】
这篇文章主要介绍了Python元组 tuple的概念与基本操作,结合实例形式详细分析了Python元组的定义、创建、访问、计数、推导式等常见操作技巧与操作注意事项,需要的朋友可以参考下
2019-10-10
Python执行系统命令的五种方式小结
在日常开发中,有时需要在Python脚本中执行系统命令,Python有五种方式来执行系统命令(推荐使用第五种),本文为大家整理了这五种方法的具体使用,希望对大家有所帮助
2024-01-01