脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python采集腾讯新闻

Python采集腾讯新闻实例

 更新时间：2014年07月10日 11:41:14   投稿：junjie  
这篇文章主要介绍了Python采集腾讯新闻实例,一个简单的例子,着重于实现步骤的讲解,需要的朋友可以参考下

目标是把腾讯新闻主页上所有新闻爬取下来，获得每一篇新闻的名称、时间、来源以及正文。

接下来分解目标，一步一步地做。

步骤1：将主页上所有链接爬取出来，写到文件里。

python在获取html方面十分方便，寥寥数行代码就可以实现我们需要的功能。

复制代码 代码如下:
def getHtml(url):
     page = urllib.urlopen(url)
     html = page.read()
     page.close()
     return html

我们都知道html链接的标签是“a”，链接的属性是“href”，也就是要获得html中所有tag=a，attrs=href 值。

查阅了资料，一开始我打算用HTMLParser，而且也写出来了。但是它有一个问题，就是遇到中文字符的时候无法处理。

复制代码 代码如下:

 class parser(HTMLParser.HTMLParser):
     def handle_starttag(self, tag, attrs):
             if tag == 'a':
             for attr, value in attrs:
                 if attr == 'href':
                     print value

后来使用了SGMLParser，它就没有这个问题。
复制代码 代码如下:

class URLParser(SGMLParser):      
        def reset(self):
                SGMLParser.reset(self)
                self.urls = []
 
        def start_a(self,attrs):       
                href = [v for k,v in attrs if k=='href']         
                if href:
                        self.urls.extend(href)

SGMLParser针对某个标签都需要重载它的函数，这里是把所有的链接放到该类的urls里。

复制代码 代码如下:

lParser = URLParser()#分析器来的
socket = urllib.urlopen("http://news.qq.com/")#打开这个网页

fout = file('urls.txt', 'w')#要把链接写到这个文件里
lParser.feed(socket.read())#分析啦

reg = 'http://news.qq.com/a/.*'#这个是用来匹配符合条件的链接，使用正则表达式匹配
pattern = re.compile(reg)

for url in lParser.urls:#链接都存在urls里
    if pattern.match(url):
        fout.write(url+'\n')

fout.close()

这样子就把所有符合条件的链接都保存到urls.txt文件里了。

步骤2：对于每一个链接，获取它的网页内容。

很简单，只需要打开urls.txt文件，一行一行地读出来就可以了。

也许这里会显得多此一举，但是基于我对解耦的强烈愿望，我还是果断地写到文件里了。后面如果采用面向对象编程，重构起来是十分方便的。

获取网页内容部分也是相对简单的，但是需要把网页的内容都保存到一个文件夹里。

这里有几个新的用法：

复制代码 代码如下:

os.getcwd()#获得当前文件夹路径
os.path.sep#当前系统路径分隔符（是这个叫法吗？）windows下是“\”，linux下是“/”

#判断文件夹是否存在，如果不存在则新建一个文件夹
if os.path.exists('newsdir') == False:
    os.makedirs('newsdir')

#str()用来将某个数字转为字符串
i = 5
str(i)

有了这些方法，将字符串保存到某个文件夹下不同的文件就不再是一件困难的事了。

步骤3：枚举每一个网页，根据正则匹配获得目标数据。

下面的方法是用来遍历文件夹的。

复制代码 代码如下:

 #这个是用来遍历某个文件夹的
 for parent, dirnames, filenames in os.walk(dir):
     for dirname in dirnames
         print parent, dirname
     for filename in filenames:
         print parent, filename

遍历，读取，匹配，结果就出来了。

我使用的数据提取的正则表达式是这样的：

复制代码 代码如下:

reg = '<div class="hd">.*?<h1>(.*?)</h1>.*?<span class="pubTime">(.*?)</span>.*?<a .*?>(.*?)</a>.*?<div id="Cnt-Main-Article-QQ" .*?>(.*?)</div>'

其实这个并不能匹配到腾讯网的所有新闻，因为上面的新闻有两种格式，标签有一点差别，所以只能提取出一种。

另外一点就是通过正则表达式的提取肯定不是主流的提取方法，如果需要采集其他网站，就需要变更正则表达式，这可是一件比较麻烦的事情。

提取之后观察可知，正文部分总是会参杂一些无关信息，比如“<script>...</script>”“<p></p>”等等。所以我再通过正则表达式将正文切片。

复制代码 代码如下:

def func(str):#谁起的这个名字
    strs = re.split("<style>.*?</style>|<script.*?>.*?</script>|&#[0-9]+;|<!--\[if !IE\]>.+?<!\[endif\]-->|<.*?>", str)#各种匹配，通过“|”分隔
    ans = ''
    #将切分的结果组合起来
    for each in strs:
        ans += each
    return ans

这样腾讯网上面的正文基本全部能够提取出来。

到此整个采集也就结束了。

展示一下我提取到的结果（不使用自动换行，右边隐藏了）：

注意：

1、打开某个网址的时候，如果网址是坏的（打不开），若不处理则会报错。我简单地使用处理异常的方式，估计应该有其他方式。

复制代码 代码如下:

try:
    socket = urllib.urlopen(url)
except:
    continue

2、Python正则表达式中的“.”号，可以匹配任意字符，但是除了“\n”。

3、如何去除字符串末尾的“\n”？python的处理简直优雅到死啊！

复制代码 代码如下:
if line[-1] == '\n':
    line = line[0:-1]

您可能感兴趣的文章:

相关文章

  • python字典的setdefault的巧妙用法

    python字典的setdefault的巧妙用法

    这篇文章主要介绍了python字典的setdefault的巧妙用法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • Python中装饰器的基本功能理解

    Python中装饰器的基本功能理解

    装饰器本质上是一个Python函数,它可以让其他函数在不需要做任何代码变动的前提下增加额外功能,下面这篇文章主要给大家介绍了关于Python中装饰器的基本功能,需要的朋友可以参考下
    2021-10-10
  • python 通过 socket 发送文件的实例代码

    python 通过 socket 发送文件的实例代码

    这篇文章主要介绍了python 通过 socket 发送文件的实例代码,非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
    2018-08-08
  • 基于Python的数据分析与可视化

    基于Python的数据分析与可视化

    在当今数字化时代，数据分析和可视化已经成为了企业和个人必备的技能，Python 作为一种高级编程语言，具有易学易用、高效快捷的特点，在数据科学领域中得到了广泛应用，本篇文章将介绍基于 Python 的数据分析与可视化
    2023-07-07
  • 对python插入数据库和生成插入sql的示例讲解

    对python插入数据库和生成插入sql的示例讲解

    今天小编就为大家分享一篇对python插入数据库和生成插入sql的示例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • Python命令行解析模块详解

    Python命令行解析模块详解

    这篇文章主要介绍了Python命令行解析模块详解，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下
    2018-02-02
  • python调用api实例讲解

    python调用api实例讲解

    在本篇内容里小编给大家分享的是一篇关于python调用api实例讲解内容，有兴趣的朋友们可以参考下。
    2021-04-04
  • python创建临时文件夹的方法

    python创建临时文件夹的方法

    这篇文章主要介绍了python创建临时文件夹的方法,涉及Python基于tempfile模块创建临时文件夹的实现方法,需要的朋友可以参考下
    2015-07-07
  • python进程的状态、创建及使用方法详解

    python进程的状态、创建及使用方法详解

    这篇文章主要介绍了python进程的状态、创建及使用方法,结合实例形式详细分析了Python进程的概念、原理、工作状态、创建以及使用方法,需要的朋友可以参考下
    2019-12-12
  • Django项目如何正确配置日志(logging)

    Django项目如何正确配置日志(logging)

    本文将教你如何在Django项目中正确配置日志(logging)，让Django生成log日志文件，并在程序运行发生error级别故障时通知管理员。
    2021-04-04

最新评论