使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例
更新时间：2014年01月19日 15:37:07 作者：
这篇文章主要介绍了使用BeautifulSoup编写了一段爬虫程序获取百度搜索结果的标题和url的示例，大家参考使用吧
熟悉Java的jsoup包的话，对于Python的BeautifulSoup库应该很容易上手。
复制代码 代码如下:
#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
question_word = "吃货 程序员"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
a_click = result_table.find("a")
print "-----标题----\n" + a_click.renderContents()#标题
print "----链接----\n" + str(a_click.get("href"))#链接
print "----描述----\n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
print
相关文章
Python图像的增强处理操作示例【基于ImageEnhance类】
这篇文章主要介绍了Python图像的增强处理操作,结合实例形式分析了使用ImageEnhance类处理图片的亮度、对比度、色度以及锐度等相关操作技巧,需要的朋友可以参考下2019-01-01
今天小编就为大家分享一篇python迭代dict的key和value的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
今天小编就为大家分享一篇关于Python使用字典的嵌套功能详解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-02-02
函数是具有某种特定功能的代码块，可以重复使用。这篇文章将为大家详细介绍Python中函数的定义与使用，感兴趣的小伙伴可以学习一下2022-06-06
今天抽空给大家介绍Django模板层过滤器和继承的问题，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧2021-07-07
这篇文章主要介绍了Python不同目录间进行模块调用的实现方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了python 通过手机号识别出对应的微信性别，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了Python二叉树的定义及常用遍历算法,结合实例形式分析了基于Python的二叉树定义与先序、中序、后序、层序等遍历方法,需要的朋友可以参考下2017-11-11
本文给大家介绍的是在Python中调用fortran代码，主要是用到了f2py这个程序，十分的实用，有需要的小伙伴可以参考下2016-04-04
在本篇文章里小编给大家整理的是一篇关于python树的同构学习笔记以及相关实例代码内容，有需要的朋友们学习下。2019-09-09
最新评论