Python爬虫实例扒取2345天气预报

 更新时间:2018年03月04日 14:17:52   作者:BieberSen  
本篇文章给大家详细分析了通过Python爬虫如何采集到2345的天气预报信息,有兴趣的朋友参考学习下吧。

寒假里学习了一下Python爬虫,使用最简单的方法扒取需要的天气数据,对,没听错,最简单的方法。甚至没有一个函数封装。。

网址:http://tianqi.2345.com/wea_history/53892.htm

火狐中右键查看网页源代码,没有发现天气数据,因此推断网页采用的json格式数据。

右击->查看元素->网络->JS,找到了位置

用Python爬虫下载为json格式数据存储下来,代码如下:

#-*- coding:utf-8 -*- 
import urllib2 
import json 
 
months = [1,2,3,4,5,6,7,8,9,10,11,12] 
years = [2011,2012,2013,2014,2015,2016] 
city = [53892]  #邯郸代码53892 
 
for y in years: 
  for m in months: 
    for c in city: 
      url = "http://tianqi.2345.com/t/wea_history/js/"+str(c)+"_"+str(y)+str(m)+".js?qq-pf-to=pcqq.c2c" 
      print url 
      html = urllib2.urlopen(url) 
      srcData = html.read() 
      #JsonData = json.loads(srcData) 
      file = open("d:/json/"+str(c)+"handan/weather"+str(c)+"_"+str(y)+str(m)+".json","w") 
      file.write(srcData) 
      file.close() 
扒取存到本地:

因为是刚学,学一点就动手实践了一下,还没有学到json的转换,直接使用的正则匹配,提取json中的数据,直接打印

提取转换json文件中的数据Python代码:

#-*- coding:utf-8 -*- 
import json 
import re 
import time 
 
Year = [2014] 
Month = [1] 
 
for y in Year: 
  for m in Month: 
     
    """ 
    2016年2月15日终于改成功。 
    是因为正则匹配后的编码问题,导致输出时无法显示。 
    在每个正则匹配的元组后添加 .decode('gbk').encode('utf-8'),成功输出 
    """ 
    content = fRead.read() 
    pattern = re.compile('{ymd:\'(.*?)\',bWendu:\'(.*?)\',yWendu:\'(.*?)\',tianqi:\'(.*?)\',fengxiang:\'(.*?)\',fengli:\'(.*?)\'},',re.S) 
    items = re.findall(pattern,content) 
    for item in items: 
      print item[0].decode('gbk').encode('utf-8'),","+item[1].decode('gbk').encode('utf-8'),","+item[2].decode('gbk').encode('utf-8'),","+item[3].decode('gbk').encode('utf-8'),","+item[4].decode('gbk').encode('utf-8'),","+item[5].decode('gbk').encode('utf-8') 
      time.sleep(0.1) 
 
    fRead.close() 

使用Sublime Text 3运行

使用正则处理的一大问题就是,格式不整齐,总会漏掉一些数据。可能是由于匹配的速度过快导致部分数据缺失,但是通过time.sleep() 睡眠依旧不能解决问题。

由此可以看出正则匹配时的缺陷,待以后使用Python中专门用于处理json数据的包以后,再重新试一下

相关文章

  • 一文详解为什么运行Python就是找不到文件路径

    一文详解为什么运行Python就是找不到文件路径

    这篇文章主要介绍了在编程中遇到文件路径找不到问题的原因和解决方法,包括路径错误、路径分隔符问题、工作目录错误、权限问题以及虚拟环境的影响,并提供了一些实用的解决方案,通过代码介绍的非常详细,需要的朋友可以参考下
    2025-01-01
  • python中内置函数range详解

    python中内置函数range详解

    Python内置函数range()是一个用于生成一系列连续的整数的函数,它常用于循环结构中,用于指定循环的次数或迭代的范围,这篇文章主要介绍了python之内置函数range,需要的朋友可以参考下
    2023-07-07
  • 解决使用PyCharm时无法启动控制台的问题

    解决使用PyCharm时无法启动控制台的问题

    今天小编就为大家分享一篇解决使用PyCharm时无法启动控制台的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • 利用anaconda保证64位和32位的python共存

    利用anaconda保证64位和32位的python共存

    这篇文章主要为大家详细介绍了利用anaconda保证64位和32位的python共存,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-06-06
  • 通过实例简单了解python yield使用方法

    通过实例简单了解python yield使用方法

    这篇文章主要介绍了通过实例简单了解python yield使用方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • Pygame用200行代码实现俄罗斯方块

    Pygame用200行代码实现俄罗斯方块

    俄罗斯方块的逻辑很简单,就是几个方块组合在一起,然后下落,当其碰到四周的墙壁后便无法移动,若某行被方块所填满,那么就删除这一行,然后此行上面的所有方块下降一行,本文给大家介绍了用Pygame实现俄罗斯方块,文中代码示例介绍的非常详细,需要的朋友可以参考下
    2023-12-12
  • Python猜数字算法题详解

    Python猜数字算法题详解

    在本篇文章里小编给大家整理的是关于Python猜数字算法题详解内容,有兴趣的朋友们可以学习下。
    2020-03-03
  • Python3访问MySQL数据库的实现步骤

    Python3访问MySQL数据库的实现步骤

    要实现一个简单的IM(即时通讯)系统,支持用户注册、登录和聊天记录存储,你可以使用Python和mysql数据库,以下是一个基本的实现步骤,并通过代码示例讲解的非常详细,需要的朋友可以参考下
    2024-11-11
  • 如何将yolo格式转化为voc格式:txt转xml(亲测有效)

    如何将yolo格式转化为voc格式:txt转xml(亲测有效)

    这篇文章主要介绍了如何将yolo格式转化为voc格式:txt转xml,亲测有效,可以使用,本文通过图文并茂的形式给大家介绍的非常详细,感兴趣的朋友参考下吧
    2023-12-12
  • python多进程读图提取特征存npy

    python多进程读图提取特征存npy

    这篇文章主要为大家详细介绍了python多进程读图提取特征存npy,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-05-05

最新评论