python从ftp下载数据保存实例

 更新时间:2013年11月20日 10:20:13   作者:  
这篇文章主要介绍了python从ftp下载数据到本地保存的实例代码方法,大家参考使用吧

《hadoop权威指南》的天气数据可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa下载,在网上看到这个数据好开心,打开ftp发现个问题,呀呀,这么多文件啊,我一个个去点另存为,得点到啥时候啊,迅雷应该有批量下载,只是我没找到,估计是我浏览器把迅雷禁掉了,干脆自己用python写一个实现下载好了,网上早了一下,发现很简单啊

复制代码 代码如下:

#!/usr/bin/python
#-*- coding: utf-8 -*-

from ftplib import FTP

def ftpconnect():
    ftp_server = 'ftp3.ncdc.noaa.gov'
    username = ''
    password = ''
    ftp=FTP()
    ftp.set_debuglevel(2) #打开调试级别2,显示详细信息
    ftp.connect(ftp_server,21) #连接
    ftp.login(username,password) #登录,如果匿名登录则用空串代替即可
    return ftp

def downloadfile(): 
    ftp = ftpconnect()   
    #print ftp.getwelcome() #显示ftp服务器欢迎信息
    datapath = "/pub/data/noaa/"
    year=1911
    while year<=1930:
        path=datapath+str(year)
        li = ftp.nlst(path)
        for eachFile in li:
            localpaths = eachFile.split("/")
            localpath = localpaths[len(localpaths)-1]
            localpath='weatherdata/'+str(year)+'--'+localpath#把日期放在最前面,方便排序
            bufsize = 1024 #设置缓冲块大小     
            fp = open(localpath,'wb') #以写模式在本地打开文件
            ftp.retrbinary('RETR ' + eachFile,fp.write,bufsize) #接收服务器上文件并写入本地文件
        year=year+1
    ftp.set_debuglevel(0) #关闭调试
    fp.close()
    ftp.quit() #退出ftp服务器


if __name__=="__main__":
    downloadfile()

相关文章

  • 实例详解Python模块decimal

    实例详解Python模块decimal

    这篇文章主要介绍了Python模块decimal ,Python提供了decimal模块用于十进制数学计算,它具有以下特点在文中给大家详细介绍,需要的朋友可以参考下
    2019-06-06
  • python操作mysql、excel、pdf的示例

    python操作mysql、excel、pdf的示例

    这篇文章主要介绍了python操作mysql、excel、pdf的示例,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下
    2021-03-03
  • PyTorch的nn.Module类的定义和使用介绍

    PyTorch的nn.Module类的定义和使用介绍

    在PyTorch中,nn.Module类是构建神经网络模型的基础类,所有自定义的层、模块或整个神经网络架构都需要继承自这个类,本文介绍PyTorch的nn.Module类的定义和使用介绍,感兴趣的朋友一起看看吧
    2024-01-01
  • tensorflow saver 保存和恢复指定 tensor的实例讲解

    tensorflow saver 保存和恢复指定 tensor的实例讲解

    今天小编就为大家分享一篇tensorflow saver 保存和恢复指定 tensor的实例讲解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07
  • 深入理解 python 虚拟机

    深入理解 python 虚拟机

    这篇文章主要介绍了深入理解 python 虚拟机的相关资料,需要的朋友可以参考下
    2023-04-04
  • pandas数据框,统计某列数据对应的个数方法

    pandas数据框,统计某列数据对应的个数方法

    下面小编就为大家分享一篇pandas数据框,统计某列数据对应的个数方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • Pyecharts V1和V0.5之间相互切换的方法

    Pyecharts V1和V0.5之间相互切换的方法

    这篇文章主要介绍了Pyecharts V1和V0.5之间相互切换的方法,Pyecharts这个可视化库火爆,官方如是说:Echarts 是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可,下面和小编一起进入文章了解具体内容吧
    2022-02-02
  • Perl中著名的Schwartzian转换问题解决实现

    Perl中著名的Schwartzian转换问题解决实现

    这篇文章主要介绍了Perl中著名的Schwartzian转换问题解决实现,本文详解讲解了Schwartzian转换涉及的排序问题,并同时给出实现代码,需要的朋友可以参考下
    2015-06-06
  • Python实现上课点名器系统

    Python实现上课点名器系统

    今天给大家分享一个读者粉丝投稿的,关于上课点名的实战案例,对Python上课点名器实现过程感兴趣的朋友,一起来看看是如何实现的吧
    2021-10-10
  • Python networkx包的实现

    Python networkx包的实现

    这篇文章主要介绍了Python networkx包的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-02-02

最新评论