python抓取网页图片并放到指定文件夹

 更新时间:2014年04月24日 10:13:54   作者:  
这篇文章主要介绍了python抓取网页图片并放到指定文件夹,需要的朋友可以参考下

python抓取网站图片并放到指定文件夹

复制代码 代码如下:

# -*- coding=utf-8 -*-
import urllib2
import urllib
import socket
import os
import re
def Docment():
    print u'把文件存在E:\Python\图(请输入数字或字母)'
    h=raw_input()
    path=u'E:\Python\图'+str(h)
    if not os.path.exists(path):
        os.makedirs(path)
    return path
def getallurl(html):
    reg=r"a href='(.*?\.htm)'"
    allurl= re.compile(reg)
    allList = re.findall(allurl,html)
    return allList
def getHTML(url):
    url=url
    req_header = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    req_timeout = 20
    html='cuowu'
    try:
        req = urllib2.Request(url,None,req_header)
        resp = urllib2.urlopen(req,None,req_timeout)
        html = resp.read()
    except urllib2.URLError as e:
        print e.message
    except socket.timeout as e:
        getHTML(url,fu)
    return html
def getImg(html,path):
    reg = r'img class=IMG_show border=0 src=(.*?\.jpg)'
    imgre= re.compile(reg)
    imgList = re.findall(imgre, html)
    if imgList:
        print 'ghasghg',path
        for imgurl in imgList:
            print imgurl
            content2=urllib2.urlopen(imgurl).read()
            with open(path+'/'+imgurl[-7:],'wb') as code:
                code.write(content2)
    else:
        return 0
def getallurl(html):
    reg=r"a href='(.*?\.htm)'"
    allurl= re.compile(reg)
    allList = re.findall(allurl,html)
    return allList
j=1
i=0
print u'请输入网址:'
ul=raw_input()
print u'开始下载'
print u'第'+str(j)+u'页'
html=getHTML(ul)
allList=getallurl(html)
path=Docment()
getImg(html,path)
while i<len(allList):
    for lis in allList:
        l=lis[i]
        url=r'http://www.umei.cc/p/gaoqing/rihan/'+lis
        i=i+1
        j=j+1
        html=getHTML(url)
        getImg(html,path)
        print u'第'+str(j)+u'页'
    else:
        print u'下载完毕'

相关文章

  • Python使用正则表达式实现文本替换的方法

    Python使用正则表达式实现文本替换的方法

    这篇文章主要介绍了Python使用正则表达式实现文本替换的方法,结合实例形式分析了Python使用正则表达式实现文本替换的具体操作步骤与相关使用注意事项,需要的朋友可以参考下
    2017-04-04
  • python3中sorted函数里cmp参数改变详解

    python3中sorted函数里cmp参数改变详解

    在本篇文章里小编给大家整理的是关于python3中sorted函数里关于cmp这一参数的改变相关内容,需要的朋友们可以学习下。
    2020-03-03
  • Pandas分组聚合之groupby()、agg()方法的使用教程

    Pandas分组聚合之groupby()、agg()方法的使用教程

    今天看到pandas的聚合函数agg,比较陌生,平时的工作中处理数据的时候使用的也比较少,为了加深印象,总结一下使用的方法,下面这篇文章主要给大家介绍了关于Pandas分组聚合之groupby()、agg()方法的使用教程,需要的朋友可以参考下
    2023-01-01
  • python字典的常用操作方法小结

    python字典的常用操作方法小结

    下面小编就为大家带来一篇python字典的常用操作方法小结。小编觉得挺不错的,现在分享给大家,也给大家做个参考,一起跟随小编过来看看吧
    2016-05-05
  • 基于 Python实现云服务器的CDN域名远程鉴权配置

    基于 Python实现云服务器的CDN域名远程鉴权配置

    这篇文章主要介绍了基于 Python实现云服务器的CDN域名远程鉴权配置,文章内容技术详细,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-05-05
  • Python多分支语句的三种结构详解

    Python多分支语句的三种结构详解

    这篇文章主要介绍了Python多分支语句的三种结构,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • python Tkinter实例详解

    python Tkinter实例详解

    tkinter(Tk interface)是Python的标准GUl库,支持跨平台的GUl程序开发。tkinter适合小型的GUl程序编写,也特别适合初学者学习GUl编程,这篇文章主要介绍了python Tkinter详解,需要的朋友可以参考下
    2023-03-03
  • python实现向微信用户发送每日一句 python实现微信聊天机器人

    python实现向微信用户发送每日一句 python实现微信聊天机器人

    这篇文章主要为大家详细介绍了python实现向微信用户发送每日一句,python调实现微信聊天机器人,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-03-03
  • python 字符串追加实例

    python 字符串追加实例

    今天小编就为大家分享一篇python 字符串追加实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • Python 实现将大图切片成小图,将小图组合成大图的例子

    Python 实现将大图切片成小图,将小图组合成大图的例子

    这篇文章主要介绍了Python 实现将大图切片成小图,将小图组合成大图的例子,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03

最新评论