使用shell脚本找出网站的空页面和404错误页面
更新时间：2014年11月28日 17:13:40 投稿：junjie
这篇文章主要介绍了使用shell脚本找出网站的空页面和404错误页面,本文使用一句话实现,需要的朋友可以参考下
早之前记的一个笔记了，之前只是记录了两句代码，放出来的话也是一个低质量的页面，于是设置为了仅自己可见，今晚抽空补充一下。
记得当的情景应该是提交sitemap时百度老提示有错误的URL，导致sitemap不能正常被抓取，于是在想办法解决这个问题，所以才有下面这些笔记：用shell批量找出网站空页面和404错误页面。
废话不多说，直接上shell代码：
复制代码 代码如下:
time cat sitemap.txt|while read line;do curl -l $line -m 5 --connect-timeout 5 -o /dev/null -s -w "$line "%{http_code}" "%{size_download}"\n";done
前面加了一个time是为了看看代码执行所花的时间
%{http_code}意思是返回HTTP状态码，通过这个状态码我们就能知道该链接是正常的200链接，还是404错误链接；
%{size_download}意思是返回当前页面的大小，如果值太小的话，说明这些页面很有可能是低质量的空页面，得想办法剔除掉。
相关文章
这篇文章主要介绍了 linux 下同名符号冲突问题解决方案的相关资料,需要的朋友可以参考下2017-06-06
Shell脚本判断Linux系统是32位还是64位的几种方法分享
这篇文章主要介绍了Shell脚本判断Linux系统是32位还是64位的几种方法分享,本文共给出了4种方法实现系统位数在判断,需要的朋友可以参考下2014-12-12
本文主要介绍了shell脚本自动输入用户名和密码的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
获取站点的各类响应时间(dns解析时间,响应时间,传输时间)
有时候为了测试网络情况，需要返回每个阶段的耗时时间，比如DNS解析耗时，建立连接所消耗的时间，从建立连接到准备传输所使用的时间，从建立连接到传输开始所使用的时间，整个过程耗时，下载的数据量，下载速度，上传数据量，上传速度等等2014-03-03
在 Linux 系统中,Systemctl 是一个强大的工具,用于管理系统的服务和守护进程,它可以让用户轻松地启动、停止、重启以及管理各种系统服务,本文将详细介绍如何使用 Systemctl 来列出 Linux 中的所有服务,需要的朋友可以参考下2024-05-05
从程序员的角度来看， Shell本身是一种用C语言编写的程序，从用户的角度来看，Shell是用户与Linux操作系统沟通的桥梁。用户既可以输入命令执行，又可以利用 Shell脚本编程，完成更加复杂的操作。2015-08-08
这篇文章主要介绍了shell 里面的奇葩字符实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
Shell位置变量和预定义变量是Shell脚本编程中非常重要的概念,本文主要介绍了Shell位置变量&预定义变量的实现,具有一定的参考价值,感兴趣的可以了解一下2023-12-12
大家好，本篇文章介绍的是Linux系统上实现定时重启Tomcat服务脚本介绍，感兴趣的同学赶紧来看看，希望可以对你起到帮助2021-11-11
这篇文章主要介绍了在Shell命令行处理JSON数据的方法,使用jq工具实现,需要的朋友可以参考下2014-03-03
最新评论