Python使用BeautifulSoup解析并获取图片的实战分享

 更新时间:2024年06月05日 08:50:13   作者:江禾藜  
这篇文章主要介绍了Python使用BeautifulSoup解析并获取图片的实战分享,文中通过代码和图文结合的方式给大家讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下

一、前言

在本文我们将以下面的例子带着大家去看看在实战中是如何运用的。

目标url:https://www.58pic.com/tupian/1272.html

二、数据分析

根据下图所示,图片被保存至img标签下,并且class值为lazy。当然这个网站除了lazy的img标签还有其他的(比如:class="lazy-bg-img"),这个可以自己想办法处理一下,如何去获取所有跟图片有关的img标签。

三、数据获取及展示

数据获取

 '''
 爬虫:
 ​
 目标网站:https://www.58pic.com/c/27075257
 ​
 任务需求:1、抓取第一页前36张图片   2、使用bs4解析
 '''
 import time
 ​
 import requests
 from bs4 import BeautifulSoup
 ​
 ​
 class Image(object):
     def __init__(self):
         self.headers = {
             'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.62'
         }
 ​
     def parse_url(self,url):
         print('开始分析')
         resp = requests.get(url,headers=self.headers)
         #print(resp.text)
         if resp.status_code == 200:
             soup = BeautifulSoup(resp.text,'lxml')
             image_list = soup.find_all('img',class_='lazy-bg-img',limit=36)
             #print(image_list)
             for data in image_list:
                 title = data.get('alt')
                 # print(title)
                 print(f"开始下载 {title}")
                 img_url = 'https:'+data.get('data-original')
                 self.image_save(title,img_url)
         else:
             return None
 ​
     def image_save(self,title,url):
         resp = requests.get(url,headers=self.headers)
         content = resp.content
         with open('./img/'+title+'.jpg',mode='wb')as f:
             f.write(content)
 ​
 if __name__ == '__main__':
     t = time.time()
     url='https://www.58pic.com/tupian/1272.html'
     image = Image()
     image.parse_url(url)
     print("总共耗时:",time.time()-t)

最终效果展示

四、结语

根据示例,我们会发现通过bs4解析可以很快速的根据标签的特殊性得到我们想要的数据。但要注意,有时候我们得到的响应内容会与F12打开看到的不同,所有在发现没有拿到数据的时候,请考虑我们得到的相应内容里面究竟是什么样子的。

到此这篇关于Python使用BeautifulSoup解析并获取图片的实战分享的文章就介绍到这了,更多相关Python BeautifulSoup获取图片内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python制作春联的示例代码

    Python制作春联的示例代码

    春联是中国传统文化中最具内涵的元素之一,它以对仗工整、简洁精巧的文字描绘美好形象,抒发美好愿望,是中国特有的文学形式,是华人们过年的重要习俗。本文将通过Python制作春联,需要的可以参考一下
    2022-01-01
  • Python socket如何实现服务端和客户端数据传输(TCP)

    Python socket如何实现服务端和客户端数据传输(TCP)

    这篇文章主要介绍了Python socket如何实现服务端和客户端数据传输(TCP),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-05-05
  • python正则表达式匹配[]中间为任意字符的实例

    python正则表达式匹配[]中间为任意字符的实例

    今天小编就为大家分享一篇python正则表达式匹配[]中间为任意字符的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • python 解压pkl文件的方法

    python 解压pkl文件的方法

    今天小编就为大家分享一篇python 解压pkl文件的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10
  • Python3中常见配置文件写法汇总

    Python3中常见配置文件写法汇总

    在开发过程中,我们会用到一些固定参数或者是常量。对于这些较为固定且常用到的部分,往往会将其写到一个固定文件中,这些文件就是配置文件。本文为大家汇总了Python3中常见配置文件的写法,感兴趣的可以了解一下
    2022-08-08
  • python-pymongo常用查询方法含聚合问题

    python-pymongo常用查询方法含聚合问题

    这篇文章主要介绍了python-pymongo常用查询方法含聚合问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-05-05
  • Python调用pytdx的代码示例

    Python调用pytdx的代码示例

    本文主要介绍了Python调用pytdx的代码示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-01-01
  • Python练习之读取XML节点和属性值的方法

    Python练习之读取XML节点和属性值的方法

    这篇文章主要介绍了Python练习之读取XML节点和属性值的方法,通过parse函数可以读取XML文档,该函数返回ElementTree类型的对象,通过该对象的iterfind方法可以对XML中特定节点进行迭代
    2022-06-06
  • Python for Informatics 第11章 正则表达式(一)

    Python for Informatics 第11章 正则表达式(一)

    这篇文章主要介绍了Python for Informatics 第11章 正则表达式(一)的相关资料,需要的朋友可以参考下
    2016-04-04
  • Python3实现爬取简书首页文章标题和文章链接的方法【测试可用】

    Python3实现爬取简书首页文章标题和文章链接的方法【测试可用】

    这篇文章主要介绍了Python3实现爬取简书首页文章标题和文章链接的方法,结合实例形式分析了Python3基于urllib及bs4库针对简书网进行文章抓取相关操作技巧,需要的朋友可以参考下
    2018-12-12

最新评论