Python制作豆瓣图片的爬虫

 更新时间:2017年12月28日 08:56:42   作者:是与非  
本文给大家分享的是作者制作的爬取豆瓣首页图片的爬虫代码,代码很简单,大家可以参考下思路,希望可以帮到大家

  前段时间自学了一段时间的Python,想着浓一点项目来练练手。看着大佬们一说就是爬了100W+的数据就非常的羡慕,不过对于我这种初学者来说,也就爬一爬图片。

  我相信很多人的第一个爬虫程序都是爬去贴吧的图片,嗯,我平时不玩贴吧,加上我觉得豆瓣挺良心的,我就爬了豆瓣首页上面的图片。其实最刚开始是想爬全站,后来一想我这简直是脑子犯抽,全站的图片爬下来得有多少,再说这个只是练一下手,所以就只爬取了首页上的图片。废话不多说 开始代码。

  首先是主文件的代码:

import re
from html_downloder import HtmlDownloader
from html_downloder import Image

"'起始URL'"
url = "https://www.douban.com"
"'保存目录'"
image_path = "F:\source\Python\爬虫\ImageGet\Image%s.jpg"
"'定义实体类'"
downloader = HtmlDownloader()
html = downloader.download(url)
"'SaveFile(html, html_path)'"
html = html.decode('utf-8')
"'正则表达式'"
reg1 = r'="(https://img[\S]*?[jpg|png])"'
"'提取图片的URL'"
dbdata = re.findall(reg1, html)
imgsave = Image()

"'下载保存图片'"
imgsave.ImageGet(dbdata, image_path)

我们打开豆瓣首页然后看一下里面图片的url会发现

都是以“=”等号开头,后面接双引号,中间都是https://img,末尾以双引号结束。

因此我们的正则表达式可以写成 reg1 = r'="(https://img[\S]*?[jpg|png])"'

在这个表达式中"[]"中括号里面的东西会作为一个整体,其中[\S]表示大小写字母和数字,[jpg|png]表示以png结尾或者jpg结尾(在这次爬虫中并没有包括gif,因为打开gif的url发现是空白)。

然后是html_downloder.py的代码:

 # file: html_downloader.py
 
 import urllib.request
 import urllib.error
 import time

 class HtmlDownloader(object):
  def download(self, url):
   if url is None:
    return None
   try:
    header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)'}
    "'发出请求'"
    request = urllib.request.Request(url=url, headers=header)
    "'获取结果'"
    response = urllib.request.urlopen(url)
   except urllib.error.URLError as e:
    if hasattr(e, "code"):
     print(e.code)
    if hasattr(e, "reason"):
     print(e.reason)
   if response.getcode() != 200:
    return None
   html = response.read()
   response.close()
   return html

 class Image (object):
  def ImageGet(self, imageurl, image_path):
   x = 0
   for li in imageurl:
    urllib.request.urlretrieve(li, image_path % x)
    x = x + 1
    "'休眠5s以免给服务器造成严重负担'"
    time.sleep(5)
这个文件的代码主要是负责下载html网页和下载具体的图片。

接下来就可以在保存路径对应的文件夹中中看到下载的图片了

至此,爬虫告一段落,离大佬的路还远得很,继续加油!!

相关文章

  • Pandas中Series的属性,方法,常用操作使用案例

    Pandas中Series的属性,方法,常用操作使用案例

    这篇文章主要介绍了Pandas中Series的属性,方法,常用操作使用案例,文章通过包的引入展开主题,需要的朋友可以参考一下
    2022-07-07
  • Python实现从脚本里运行scrapy的方法

    Python实现从脚本里运行scrapy的方法

    这篇文章主要介绍了Python实现从脚本里运行scrapy的方法,实例分析了Python脚本运行的使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-04-04
  • Python列表去重的几种方法整理

    Python列表去重的几种方法整理

    这篇文章介绍了Python列表去重的几种方法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-06-06
  • Python中[ ]、[:]和[::]的用法总结

    Python中[ ]、[:]和[::]的用法总结

    [:]与[::]语法是通用序列操作(Common Sequence Operations)其中的两个,下面这篇文章主要给大家介绍了关于Python中[ ]、[:]和[::]用法的相关资料,文中通过实例代码介绍的非常全面,需要的朋友可以参考下
    2023-06-06
  • 七种Python代码审查工具推荐

    七种Python代码审查工具推荐

    这篇文章主要介绍了七种Python代码审查工具推荐,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下
    2021-03-03
  • 使用Mac时psycopg2导入PyCharm失败的解决

    使用Mac时psycopg2导入PyCharm失败的解决

    这篇文章主要介绍了使用Mac时psycopg2导入PyCharm失败的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-01-01
  • Python中方法定义与方法调用举例详解

    Python中方法定义与方法调用举例详解

    在Python中,方法调用是编写程序时经常会涉及到的一个重要概念,下面这篇文章主要给大家介绍了关于Python中方法定义与方法调用的相关资料,文章通过代码介绍的非常详细,需要的朋友可以参考下
    2024-06-06
  • 解决tensorflow1.x版本加载saver.restore目录报错的问题

    解决tensorflow1.x版本加载saver.restore目录报错的问题

    今天小编就为大家分享一篇解决tensorflow1.x版本加载saver.restore目录报错的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07
  • 使用python pywin32模块创建windows服务实例探究

    使用python pywin32模块创建windows服务实例探究

    这篇文章主要为大家介绍了使用python pywin32模块创建windows服务实现实例探究,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2024-01-01
  • Python+imbox库实现邮件读取与删除和附件下载

    Python+imbox库实现邮件读取与删除和附件下载

    这篇文章主要为大家详细介绍了Python如何使用imbox库实现邮件读取与删除以及附件下载,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下
    2025-02-02

最新评论