python使用BeautifulSoup分析网页信息的方法
本文实例讲述了python使用BeautifulSoup分析网页信息的方法。分享给大家供大家参考。具体如下：
这段python代码查找网页上的所有链接，分析所有的span标签，并查找class包含titletext的span的内容
import urllib2
#specify the url you want to query
url = "http://www.python.org"
#Query the website and return the html to the variable 'page'
page = urllib2.urlopen(url)
#import the Beautiful soup functions to parse the data returned from the website
from BeautifulSoup import BeautifulSoup
#Parse the html in the 'page' variable, and store it in Beautiful Soup format
soup = BeautifulSoup(page)
#to print the soup.head is the head tag and soup.head.title is the title tag
print soup.head
print soup.head.title
#to print the length of the page, use the len function
print len(page)
#create a new variable to store the data you want to find.
tags = soup.findAll('a')
#to print all the links
print tags
#to get all titles and print the contents of each title
titles = soup.findAll('span', attrs = { 'class' : 'titletext' })
for title in allTitles:
print title.contents
希望本文所述对大家的Python程序设计有所帮助。
相关文章
什么是运算符重载,就是让自定义的类生成的对象(实例)能够使用运算符进行操作,这篇文章主要给大家介绍了关于Python运算符重载的相关资料,需要的朋友可以参考下2022-01-01
今天带大家来复习Python底层代码LIST,文中有非常详细的介绍及代码示例,对正在学习python的小伙伴们有很好地帮助,需要的朋友可以参考下2021-05-05
解决pymongo连接数据库报错certificate verify failed:certific
这篇文章主要介绍了解决pymongo连接数据库报错certificate verify failed:certificate has expired问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-01-01
这篇文章主要介绍了使用Python生成你的LaTeX公式基础使用,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
这篇文章主要介绍了Python编程的代理模式与抽象工厂模式,文中举了两个简单的小例子来说明这两种设计模式的思路在Python编程中的体现,需要的朋友可以参考下2016-01-01
Python 文件重命名工具实现代码。2009-07-07
这篇文章主要介绍了Python中类的定义、继承及使用对象,较为详细的分析了Python中类的相关概念与使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了详解用Python为直方图绘制拟合曲线的两种方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08
这篇文章主要介绍了python如何查找所有子串位置问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-01-01
协程也被称为微线程，是一种用户态的上下文切换技术，简而言之，就是通过一个线程实现代码互相切换执行，本文主要给大家介绍实现协程的几种方法2021-09-09
最新评论