nginx 防盗链防爬虫配置详解
新建配置配置文件 （例如进入到nginx安装目录下的conf目录，创建： agent_deny.conf）
禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; }
禁止指定UA及UA为空的访问
#forbidden Scrapy
if ($http_user_agent ~* (Scrapy|Curl|HttpClient))
{
return 403;
}
#forbidden UA
if ($http_user_agent ~ "Bytespider|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" )
{
return 403;
}
#forbidden not GET|HEAD|POST method access
if ($request_method !~ ^(GET|HEAD|POST)$)
{
return 403;
}
然后，在网站相关配置中的 server段插入如下代码： include agent_deny.conf;
重启nginx：
/data/nginx/sbin/nginx -s reload
测试 使用curl -A 模拟抓取即可，比如：
curl -I -A 'YYSpider' <<www.xxx.con>>
结果
[root@11 conf]# curl -I -A 'YYSpider' www.xxx.cn
HTTP/1.1 403 Forbidden
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:35:21 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive
模拟UA为空的抓取：
curl -I -A' ' <<www.xxx.cn>>
结果
[root@11 conf]# curl -I -A' ' www.xxx.cn
HTTP/1.1 403 Forbidden
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:36:06 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive
模拟百度蜘蛛的抓取：
curl -I -A 'Baiduspider' <<<www.xxx.cn>>>
[root@11 conf]# curl -I -A 'Baiduspider' www.xxx.cn
HTTP/1.1 200 OK
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:36:47 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Fri, 12 Apr 2019 13:49:36 GMT
Connection: keep-alive
ETag: "5cb09770-264"
Accept-Ranges: bytes
UA类型
FeedDemon 内容采集 BOT/0.1 (BOT for JCE) sql注入 CrawlDaddy sql注入 Java 内容采集 Jullo 内容采集 Feedly 内容采集 UniversalFeedParser 内容采集 ApacheBench cc攻击器 Swiftbot 无用爬虫 YandexBot 无用爬虫 AhrefsBot 无用爬虫 YisouSpider 无用爬虫（已被UC神马搜索收购，此蜘蛛可以放开！） jikeSpider 无用爬虫 MJ12bot 无用爬虫 ZmEu phpmyadmin 漏洞扫描 WinHttp 采集cc攻击 EasouSpider 无用爬虫 HttpClient tcp攻击 Microsoft URL Control 扫描 YYSpider 无用爬虫 jaunty wordpress爆破扫描器 oBot 无用爬虫 Python-urllib 内容采集 Indy Library 扫描 FlightDeckReports Bot 无用爬虫 Linguee Bot 无用爬虫
nginx 防盗链配置
背景：防止第三方引用链接访问我们的图片，消耗服务器资源和网络流量，我们可以在服务器上做防盗链限制。
实现防盗链的方式有两种：refer方式和签名方式。
refer方式实现防盗链
工作模块：ngx_http_referer_module。
作用变量：$invalid_referer，全局变量。
配置域：server, location
配置：
server {
listen 80;
server_name www.imcati.com refer-test.imcati.com;
root /usr/share/nginx/html;
location ~*\.(gif|jpg|jpeg|png|bmp|swf)$ {
valid_referers none blocked www.imcati.com;
if ($invalid_referer) {
return 403;
}
}
}
- valid_referers: 指定资源访问是通过以下几种方式为合法，即白名单。 vaild_referers 有效的引用连接，如下，否则就进入$invaild_refere,返回403 forbiden。
- none：允许缺失的头部访问。
- blocked：允许referer没有对应值的请求。
- server_names：若referer站点域名与server_name中本机配的域名一样允许访问。
到此这篇关于nginx 防盗链防爬虫配置详解的文章就介绍到这了,更多相关nginx 防盗链防爬虫配置内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了windows下快速安装nginx 并配置开机自启动的相关知识，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2021-05-05
这篇文章主要介绍了nginx 配置指令之location使用,Nginx最大的安全问题并不是其安全漏洞，而是在运维上面，尤其是错误配置导致的问题，对nginx location使用感兴趣的朋友一起看看吧2022-05-05
这篇文章主要介绍了解决nginx代理 url重写的问题,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-01-01
Nginx添加ipv6模块以及遇到问题解决方案详解(亲测有效)
IPV4日益稀缺,ipv6已经慢慢走上日程,待ipv6在国内普及,使用nginx配置ipv6那是肯定的,下面这篇文章主要给大家介绍了关于Nginx添加ipv6模块以及遇到问题的解决方案,需要的朋友可以参考下2022-09-09
这篇文章主要介绍了Nginx添加lua模块的实现方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-11-11
要在Nginx上对同一IP访问的特定URL进行限流,您可以使用ngx_http_limit_req_module模块,本文就来介绍一下如何使用,具有一定的参考价值,感兴趣的饿2024-01-01
这篇文章主要介绍了nginx配置文件nginx.conf的配置参数详解,并增加了中文版注释,需要的朋友可以参考下2014-03-03
开启Nginx时端口被占用提示：Address already in use
这篇文章主要介绍了开启Nginx时端口被占用提示：Address already in use的解决方法，文中通过两种方法给大家介绍了Nginx的启动、停止与重启 的操作方法 ,需要的朋友可以参考下2018-09-09
本文主要介绍了Nginx禁止国外IP访问我的网站的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-07-07
这篇文章主要介绍了Nginx服务器中location配置的一些基本要点解析,特别对管理以及查找匹配作出了详细的讲解,需要的朋友可以参考下2015-12-12
最新评论