nginx修改配置限制恶意爬虫频率

转载  更新时间:2016年08月25日 10:56:50   投稿:daisy   我要评论

这篇文章主要介绍在nginx中怎样修改相关配置,以限制恶意爬虫频率的方法,有需要的朋友参考下。

如何在nginx中限制恶意网络爬虫抓取内容呢?也就是限制下恶意爬虫的抓取频率。下面来一起看看。

今天在微博发现@金荣叶 的处理方法很灵活,可以动态设定一个爬虫的频率,达到减轻服务器负载,并且不至于封杀爬虫。

#全局配置

limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;

#某个server中

limit_req zone=anti_spider burst=30 nodelay;

if ($http_user_agent ~* “xxspider|xxbot”) {

set $anti_spider $http_user_agent;

}

超过设置的限定频率,就会给spider一个503。

总结

以上就是nginx修改配置限制恶意爬虫频率的全部内容,希望对大家的工作和学习能有所帮助,如果有疑问可以留言交流。

相关文章

  • 配置ab来为Nginx服务器做压力测试的方法

    配置ab来为Nginx服务器做压力测试的方法

    这篇文章主要介绍了配置ab来为Nginx服务器做压力测试的方法,ab是针对Apache的测试工具但本文讲解其测试Nginx的过程,需要的朋友可以参考下
    2016-01-01
  • nginx add_header指令使用方法

    nginx add_header指令使用方法

    这篇文章主要介绍了nginx add_header指令使用方法,nginx配置文件通过使用add_header指令来设置response header,需要的朋友可以参考下
    2014-03-03
  • nginx 配置服务启动的教程详解

    nginx 配置服务启动的教程详解

    本文给大家详细介绍了nginx 配置服务启动的相关知识,非常不错,具有一定的参考借鉴价值,感兴趣的朋友跟随脚本之家小编一起学习吧
    2018-05-05
  • nginx服务器配置解决ajax的跨域问题

    nginx服务器配置解决ajax的跨域问题

    本文给大家分享的是一个nginx服务器配置解决ajax的跨域问题的小技巧,非常的实用,有相同需求的小伙伴可以参考下
    2017-03-03
  • 浅析nginx刚刚发布的JavaScript能力nginScript

    浅析nginx刚刚发布的JavaScript能力nginScript

    Nginx [engine x]是全球最受欢迎,也是最优秀的web服务器、反向代理服务器。nginScript是JavaScript/ECMAscript的子集,nginScript不是通过V8引擎实现的。本文给大家介绍nginx刚刚发布的JavaScript能力nginScript,感兴趣的朋友跟着小编一起了解了解吧
    2015-09-09
  • CentOS 4.0安装配置Nginx的方法

    CentOS 4.0安装配置Nginx的方法

    这篇文章主要介绍了CentOS 4.0安装配置Nginx的方法,需要的朋友可以参考下
    2014-11-11
  • Nginx应对Permission denied和File not found的配置

    Nginx应对Permission denied和File not found的配置

    这篇文章主要介绍了Nginx应对Permission denied和File not found的错误配置,文中介绍了两个PHP程序使用时出现相关问题后的解决案例,需要的朋友可以参考下
    2015-12-12
  • Nginx(Tengine)启用 SPDY 支持的配置方法

    Nginx(Tengine)启用 SPDY 支持的配置方法

    当老迈的 HTTP 协议逐渐不能满足人们需求的时候,Google 的 SPDY 协议出现在面前,那么这个长期以来一直被认为是 HTTP 2.0 唯一可行选择的 SPDY 是什么呢?当下我们如何能部署上 SPDY 呢
    2014-12-12
  • 高性能WEB开发 nginx HTTP服务器篇

    高性能WEB开发 nginx HTTP服务器篇

    新产品为了效果,做的比较炫,用了很多的图片和JS,所以前端的性能是很大的问题,分篇记录前端性能优化的一些小经验。
    2010-05-05
  • 详解Ngigx+Tomcat配置动静分离,负载均衡

    详解Ngigx+Tomcat配置动静分离,负载均衡

    本篇文章主要介绍了Ngigx+Tomcat配置动静分离,负载均衡,具有一定的参考价值,有需要的可以了解一下。
    2016-11-11

最新评论