Python天气预报采集器实现代码(网页爬虫)
更新时间：2012年10月07日 00:36:02 作者：
这个天气预报采集是从中国天气网提取广东省内主要城市的天气并回显。本来是打算采集腾讯天气的，但是貌似它的数据是用js写上去还是什么的，得到的html文本中不包含数据，所以就算了
爬虫简单说来包括两个步骤：获得网页文本、过滤得到数据。
1、获得html文本。
python在获取html方面十分方便，寥寥数行代码就可以实现我们需要的功能。
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
这么几行代码相信不用注释都能大概知道它的意思。
2、根据正则表达式等获得需要的内容。
使用正则表达式时需要仔细观察该网页信息的结构，并写出正确的正则表达式。
python正则表达式的使用也很简洁。我的上一篇文章《Python的一些用法》介绍了一点正则的用法。这里需要一个新的用法：
def getWeather(html):
reg = '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
weatherList = re.compile(reg).findall(html)
return weatherList
其中reg是正则表达式，html是第一步获得的文本。findall的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。
这里的正则表达式reg有两个地方要注意。
一个是“(.*?)”。只要是（）中的内容都是我们将要获得的内容，如果有多个括号，那么findall的每个结果就都包含这几个括号中的内容。上面有三个括号，分别对应城市、最低温和最高温。
另一个是“.*?”。python的正则匹配默认是贪婪的，即默认尽可能多地匹配字符串。如果在末尾加上问号，则表示非贪婪模式，即尽可能少地匹配字符串。在这里，由于有多个城市的信息需要匹配，所以需要使用非贪婪模式，否则匹配结果只剩下一个，且是不正确的。
python的使用确实十分方便：）
1、获得html文本。
python在获取html方面十分方便，寥寥数行代码就可以实现我们需要的功能。
复制代码 代码如下:
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
这么几行代码相信不用注释都能大概知道它的意思。
2、根据正则表达式等获得需要的内容。
使用正则表达式时需要仔细观察该网页信息的结构，并写出正确的正则表达式。
python正则表达式的使用也很简洁。我的上一篇文章《Python的一些用法》介绍了一点正则的用法。这里需要一个新的用法：
复制代码 代码如下:
def getWeather(html):
reg = '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
weatherList = re.compile(reg).findall(html)
return weatherList
其中reg是正则表达式，html是第一步获得的文本。findall的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。
这里的正则表达式reg有两个地方要注意。
一个是“(.*?)”。只要是（）中的内容都是我们将要获得的内容，如果有多个括号，那么findall的每个结果就都包含这几个括号中的内容。上面有三个括号，分别对应城市、最低温和最高温。
另一个是“.*?”。python的正则匹配默认是贪婪的，即默认尽可能多地匹配字符串。如果在末尾加上问号，则表示非贪婪模式，即尽可能少地匹配字符串。在这里，由于有多个城市的信息需要匹配，所以需要使用非贪婪模式，否则匹配结果只剩下一个，且是不正确的。
python的使用确实十分方便：）
相关文章
Python中表达式x += y和x = x+y 的区别详解
这篇文章主要跟大家介绍了关于Python中x += y和x = x+y 的区别的相关资料，文中通过示例代码介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面来一起看看吧。2017-06-06
这篇文章主要介绍了python求最大连续子数组的和，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-07-07
python 3利用Dlib 19.7实现摄像头人脸检测特征点标定
这篇文章主要为大家详细介绍了python 3利用Dlib 19.7实现摄像头人脸检测特征点标定，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-02-02
这篇文章主要介绍了Python实现中英文全文搜索的示例，帮助大家更好的理解和学习python，感兴趣的朋友可以了解下2020-12-12
这篇文章主要介绍了Python面向对象程序设计多继承和多态用法,结合实例形式分析了Python面向对象程序设计中多继承、多态的概念、原理、实现方法及相关操作注意事项,需要的朋友可以参考下2019-04-04
本文主要介绍了浅谈pandas中空值的处理方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-07-07
这篇文章主要介绍了Python的条件锁与事件共享详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
最近发现的这款filestools非标准库其实真正实现添加水印的只要一个函数的调用，一行代码即可完成水印的添加，感兴趣的快跟随小编一起学起来吧2022-09-09
今天小编就为大家分享一篇pandas重新生成索引的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
在图像裁剪操作中，opencv和pillow两个库都具有相应的函数，如果想要对目标的最小外接矩形进行裁剪该如何操作呢？本文就来详细的介绍一下2021-06-06
最新评论