apache使用.htaccess文件实现屏蔽wget下载网站内容

更新时间：2014年07月31日 08:38:01 投稿：hebedich

wget是一个从网络上自动下载文件的自由工具，支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载，并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。

经发现，虽然wget遵循 robots.txt 规则，但是那个还是可以绕过去，现在把我自己使用的屏蔽方法分享给大家：

1. 屏蔽下载任何文件

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>

2. 屏蔽下载部分文件

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ "\.(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>

您可能感兴趣的文章:

Linux中nohup与&的用法和区别详解
这篇文章主要给大家介绍了关于Linux中nohup与&的用法和区别的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者使用Linux具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2019-10-10
一分钟掌握linux系统目录结构
这篇文章主要介绍了linux系统目录结构，通过结构图和多张表格了解linux系统目录结构，感兴趣的小伙伴们可以参考一下
2016-05-05
Ubuntu16.04源码安装Mininet
今天小编就为大家分享一篇关于Ubuntu16.04源码安装Mininet，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
2018-10-10
Linux使用cd命令之实现切换目录的完全指南
这篇文章主要介绍了Linux使用cd命令之实现切换目录的完全指南,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-02-02
Linux下安装Keepalived及原理分析
这篇文章主要介绍了在Linux环境下安装Keepalived及原理分析，有兴趣的朋友学习参考下吧。
2017-12-12
centos7 mysql数据库安装和配置
本篇文章主要介绍了centos7 mysql数据库安装和配置，非常具有实用价值，希望对大家实用mysql能够有所帮助
2017-01-01
linux中通过文件描述符获取文件绝对路径的方法
下面小编就为大家带来一篇linux中通过文件描述符获取文件绝对路径的方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2016-12-12
Linux基线检查与安全加固方式
本文详细介绍了Linux安全加固的多个方面,包括账户管理、口令策略、SSH安全设置等,首先,对于账户管理,介绍了口令锁定策略、口令生存期、口令复杂度、密码重用限制以及禁止存在空密码账户等方面的检查和加固操作,其次,在服务管理方面
2024-10-10
Ubuntu 14.04下安装和配置redis数据库
安装Redis服务器，会自动地一起安装Redis命令行客户端程序。在本机输入redis-cli命令就可以启动，客户端程序访问Redis服务器。
2016-04-04
Linux修改用户密码使用期限账号到期时间问题
在Linux系统中,通过chage命令能够管理和查看用户密码的使用期限,特别是对root用户的密码过期时间进行设置,chage命令可以设置密码过期时间,提醒用户在密码过期前修改密码,例如,可以设定root用户的密码180天后过期,并在到期前15天提醒用户修改密码
2024-10-10

apache使用.htaccess文件实现屏蔽wget下载网站内容

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具