Python检测网站链接是否已存在
Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。
Python由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。
像Perl语言一样, Python 源代码同样遵循 GPL(GNU General Public License)协议。
早就听说Python语言操作简单，果然名不虚传，短短几句，就实现了基本的功能。
要检测目标网站上是否存在指定的URL，其实过程很简单：
1、获得指定网站网页的HTML代码
2、在HTML代码中查找指定的URL
3、如果存在，OK；否则，Error
整个程序引用了两个lib库，urllib2和sgmllib。
urllib2库主要定义了一些访问URL（基本通过HTTP）的函数与类。
sgmllib库主要负责解析HTML代码。
import urllib
from sgmllib import SGMLParser
class URLLister(SGMLParser):
def reset(self):
SGMLParser.reset(self)
self.urls = []
def start_a(self,attrs):
href=[v for k,v in attrs if k=='href']
if href:
if (href[].count('http://网站URL')==):
self.urls.extend(href)
links = ['http://www.google.com/',
'http://www.baidu.com',
'http://www.sohu.net',
'http://www..com',
'http://www.cnblogs.com',
'http://www.qq.com',
'http://www.yahoo.com/',
'http://www.bing.com/',
'http://www..com',]
for eachlink in links:
f = urllib.urlopen(eachlink)
if f.code ==:
parser = URLLister()
parser.feed(f.read())
f.close()
if (len(parser.urls)>=):
print 'The link from '+eachlink+' is OK!'
else:
print 'The link from '+eachlink+' is ERROR!'
这其中几个主要函数：
1、urllib2.urlopen(url[, data][, timeout])//打开一个URL
2、SGMLParser.feed(data) //获得需要解析的HTML数据
3、SGMLParser.start_tag(attributes) //指定需要解析的HTML标签，在本程序中，我们调用了start_a,说明我们需要解析HTML代码中<a>标签。通过查找<a>标签中href属性的value，可以获得该网页上所有链接的信息，只要我们指定的URL存在，就OK了。
这其实是一个很小的脚本，但也让我激动不已。一来，我已经跨进了Python的世界，并用它解决了实际工作中的问题，二来，它的简单语法、缩进格式着实让我眼前一亮。今后，希望能够多多使用Python,解决实际工作中的种种问题，做到学以致用.
以上内容是针对Python检测网站链接是否已存在的相关介绍，希望对大家有所帮助！
相关文章
python利用pytesseract 实现本地识别图片文字
这篇文章主要介绍了python利用pytesseract 实现本地识别图片文字，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2020-12-12
本文主要介绍了Python自动化测试之登录脚本的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
今天小编就为大家分享一篇使用python绘制cdf的多种实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
Django ORM多对多查询方法(自定义第三张表&ManyToManyField)
今天小编就为大家分享一篇Django ORM多对多查询方法(自定义第三张表&ManyToManyField)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这篇文章主要介绍了Python正则抓取网易新闻的方法,结合实例形式较为详细的分析了Python使用正则进行网易新闻抓取操作的相关实现技巧与注意事项,需要的朋友可以参考下2017-04-04
这篇文章主要介绍了python下对hsv颜色空间进行量化操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
这篇文章主要介绍了python对象及面向对象技术,结合实例形式详细分析了Python面向对象所涉及的类、对象、方法、属性等概念与使用技巧,需要的朋友可以参考下2016-07-07
这篇文章主要介绍了PyQt5基本控件使用:单选按钮、复选框、下拉框,本文中的内容和实例也基本回答了开篇提到的问题。需要的朋友可以参考下2019-08-08
今天小编就为大家分享一篇python操作excel文件并输出txt文件的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
2048的逻辑无非是操作4*4的方格,每个方格中有一个数,这些数可以移动,如果两个相同的数字在移动时相撞了,就可以彼此合并,本文将给大家介绍如何基于python做一个2048小游戏,感兴趣的小伙伴跟着小编一起来看看吧2024-01-01
最新评论