Python爬虫入门案例之回车桌面壁纸网美女图片采集

 更新时间:2021年10月15日 10:11:15   作者:松鼠爱吃饼干  
读万卷书不如行万里路,学的扎不扎实要通过实战才能看出来,今天小编给大家带来一个python爬虫案例,采集回车桌面网站的美女图片,大家可以在过程中查缺补漏,看看自己掌握程度怎么样

知识点

  • requests
  • parsel
  • re
  • os

环境

  •  python3.8
  • pycharm2021

目标网址

https://mm.enterdesk.com/bizhi/63899-347866.html

【付费VIP完整版】只要看了就能学会的教程,80集Python基础入门视频教学

点这里即可免费在线观看

注意: 在我们查看网页源代码的时候 (1. 控制台为准 2. 以右键查看网页源代码 3. 元素面板)

  • 发送网络请求
  • 获取网页源代码
  • 提取想要的图片链接   css样式提取 xpath re正则表达式 bs4
  • 替换所有的图片链接 换成大图
  • 保存图片

爬虫代码

导入模块

import requests     # 第三方库 pip install requests
import parsel       # 第三方库 pip install parsel
import os           # 新建文件夹

发送网络请求

response = requests.get('https://mm.enterdesk.com/bizhi/64011-348522.html')

获取网页源代码

data_html = response_1.text

提取每个相册的详情页链接地址

selector_1 = parsel.Selector(data_html)
photo_url_list = selector_1.css('.egeli_pic_dl dd a::attr(href)').getall()
title_list = selector_1.css('.egeli_pic_dl dd a img::attr(title)').getall()
for photo_url, title in zip(photo_url_list, title_list):
    print(f'*****************正在爬取{title}*****************')
    response = requests.get(photo_url)
    # <Response [200]>: 请求成功的标识
    selector = parsel.Selector(response.text)
    # 提取想要的图片链接[第一个链接, 第二个链接,....]
    img_src_list = selector.css('.swiper-wrapper a img::attr(src)').getall()
    # 新建一个文件夹
    if not os.path.exists('img/' + title):
        os.mkdir('img/' + title)

替换所有的图片链接 换成大图

for img_src in img_src_list:
    # 字符串的替换
    img_url = img_src.replace('_360_360', '_source')

保存图片 图片名字

# 图片 音频 视频 二进制数据content
img_data = requests.get(img_url).content
# 图片名称 字符串分割
# 分割完之后 会给我们返回一个列表
img_title = img_url.split('/')[-1]
with open(f'img/{title}/{img_title}', mode='wb') as f:
    f.write(img_data)
print(img_title, '保存成功!!!')

翻页

page_html = requests.get('https://mm.enterdesk.com/').text
counts = parsel.Selector(page_html).css('.wrap.no_a::attr(href)').get().split('/')[-1].split('.')[0]
for page in range(1, int(counts) + 1):
    print(f'------------------------------------正在爬取第{page}页------------------------------------')
    发送网络请求
    response_1 = requests.get(f'https://mm.enterdesk.com/{page}.html')

爬取结果

到此这篇关于Python爬虫入门案例之回车桌面壁纸网美女图片采集的文章就介绍到这了,更多相关Python 图片采集内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 利用python实现简单的情感分析实例教程

    利用python实现简单的情感分析实例教程

    商品评论挖掘、电影推荐、股市预测……情感分析大有用武之地,下面这篇文章主要给大家介绍了关于利用python实现简单的情感分析的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
    2022-06-06
  • 使用Python在Word文档中添加,删除和回复批注

    使用Python在Word文档中添加,删除和回复批注

    在文档协作与审阅场景中,高效管理批注是提升团队效率的关键环节,下面我们就来看看如何使用Python在Word文档中实现添加、删除和回复批注的操作吧
    2025-03-03
  • 聊聊PyTorch中eval和no_grad的关系

    聊聊PyTorch中eval和no_grad的关系

    这篇文章主要介绍了聊聊PyTorch中eval和no_grad的关系,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-05-05
  • python处理自动化任务之同时批量修改word里面的内容的方法

    python处理自动化任务之同时批量修改word里面的内容的方法

    在本篇文章里小编给各位整理的是一篇关于利用python处理自动化任务之同时批量修改word里面的内容的文章,需要的可以参考学习下。
    2019-08-08
  • python requests模块封装详解

    python requests模块封装详解

    requests是一个常用的HTTP请求库,可以方便地向网站发送HTTP请求,并获取响应结果,本文主要和大家介绍一下requests模块的使用与封装,需要的可以参考下
    2023-09-09
  • Python 分支结构详解

    Python 分支结构详解

    这篇文章主要介绍了Python 分支结构,分支结构包括单分支结构、双分支结构、多分支结构等内容,下文ui分支结构进行详细分析,需要的小伙伴可以参考一下
    2022-02-02
  • python base64库给用户名或密码加密的流程

    python base64库给用户名或密码加密的流程

    这篇文章主要介绍了python base64库给用户名或密码加密,需要的朋友可以参考下
    2020-01-01
  • python csv实时一条一条插入且表头不重复问题

    python csv实时一条一条插入且表头不重复问题

    这篇文章主要介绍了python csv实时一条一条插入且表头不重复问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-05-05
  • Python开发之利用re模块去除代码块注释

    Python开发之利用re模块去除代码块注释

    Python的re模块主要是正则表达式的操作函数,下面这篇文章主要给大家介绍了关于Python开发之利用re模块去除代码块注释的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-11-11
  • Python图像处理之二值化处理

    Python图像处理之二值化处理

    所谓”二值化处理“就是将矩阵中每个点的RGB值(0,0,0)[黑色]或者(255,255,255)[白色],这篇文章主要介绍了Python图像处理之二值化处理,需要的朋友可以参考下
    2024-05-05

最新评论