nginx修改配置限制恶意爬虫频率
更新时间：2016年08月25日 10:56:50 投稿：daisy
这篇文章主要介绍在nginx中怎样修改相关配置，以限制恶意爬虫频率的方法，有需要的朋友参考下。
如何在nginx中限制恶意网络爬虫抓取内容呢？也就是限制下恶意爬虫的抓取频率。下面来一起看看。
今天在微博发现@金荣叶 的处理方法很灵活，可以动态设定一个爬虫的频率，达到减轻服务器负载，并且不至于封杀爬虫。
#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
#某个server中
limit_req zone=anti_spider burst=30 nodelay;
if ($http_user_agent ~* “xxspider|xxbot”) {
set $anti_spider $http_user_agent;
}
超过设置的限定频率，就会给spider一个503。
总结
以上就是nginx修改配置限制恶意爬虫频率的全部内容，希望对大家的工作和学习能有所帮助，如果有疑问可以留言交流。
相关文章
本文主要介绍了Nginx Proxy缓存的具体实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-08-08
文章介绍了如何在Windows 11上将Nginx配置为系统服务,并提供了一个详细的步骤指南,包括下载和配置Winsw工具,以及安装和删除Nginx服务的方法2024-12-12
这篇文章主要介绍了Nginx DNS resolver配置实例,本文讲解在proxy_pass 和 upstream server 通信的时候需要手动指定 resolver,本文就给出了配置实例,需要的朋友可以参考下2015-01-01
这篇文章主要介绍了让Nginx支持shtml格式的配置方法,shtml格式可以包含一些服务端指令,同PHP中的include功能类似,需要的朋友可以参考下2014-08-08
详解Nginx之Location配置(Location匹配顺序)
这篇文章主要介绍了详解Nginx之Location配置(Location匹配顺序)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-11-11
这篇文章主要为大家介绍了nginx访问页面中文乱码解决方案,文中有相关的代码示例供大家参考,有需要的朋友可以借鉴参考下,希望能够有所帮助2023-09-09
这篇文章主要给大家介绍了关于Nginx中break与last区别的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
Nginx 作为高性能的反向代理服务器,缓存机制是其优化性能的重要手段之一,本文主要介绍了Nginx中实现请求的缓存数据过期通知,感兴趣的可以了解一下2024-09-09
本文主要介绍了浅谈nginx读写锁的实现逻辑,是通过自旋锁来实现的,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-05-05
这篇文章主要介绍了centos服务器中配置nginx的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-06-06
最新评论