脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → nginx → Nginx中拦截特定用户代理

在Nginx中拦截特定用户代理的教程

 更新时间：2015年06月03日 09:32:38   投稿：goldensun  
这篇文章主要介绍了在Nginx中拦截特定用户代理的教程,并为这些被拦截的用户设置一个黑名单以方便管理,需要的朋友可以参考下

现代互联网滋生了大量各种各样的恶意机器人和网络爬虫，比如像恶意软件机器人、垃圾邮件程序或内容刮刀，这些恶意工具一直偷偷摸摸地扫描你的网站，干些诸如检测潜在网站漏洞、收获电子邮件地址，或者只是从你的网站偷取内容。大多数机器人能够通过它们的“用户代理”签名字符串来识别。

作为第一道防线，你可以尝试通过将这些机器人的用户代理字符串添加入robots.txt文件来阻止这些恶意软件机器人访问你的网站。但是，很不幸的是，该操作只针对那些“行为良好”的机器人，这些机器人被设计遵循robots.txt的规范。许多恶意软件机器人可以很容易地忽略掉robots.txt，然后随意扫描你的网站。

另一个用以阻挡特定机器人的途径，就是配置你的网络服务器，通过特定的用户代理字符串拒绝要求提供内容的请求。本文就是说明如何在nginx网络服务器上阻挡特定的用户代理。

在Nginx中将特定用户代理列入黑名单

要配置用户代理阻挡列表，请打开你的网站的nginx配置文件，找到server定义部分。该文件可能会放在不同的地方，这取决于你的nginx配置或Linux版本（如，/etc/nginx/nginx.conf,/etc/nginx/sites-enabled/<your-site>,/usr/local/nginx/conf/nginx.conf,/etc/nginx/conf.d/<your-site>）。

复制代码 代码如下:
    server {
        listen       80 default_server;
        server_name  xmodulo.com;
        root         /usr/share/nginx/html;
        ....
    }
  

在打开该配置文件并找到 server 部分后，添加以下 if 声明到该部分内的某个地方。

  

复制代码 代码如下:
    server {
        listen       80 default_server;
        server_name  xmodulo.com;
        root         /usr/share/nginx/html;
        # 大小写敏感的匹配
        if ($http_user_agent ~ (Antivirx|Arian) {
            return 403;
        }
  
        #大小写无关的匹配
      
复制代码 代码如下:
    if ($http_user_agent ~* (netcrawl|npbot|malicious)) {
            return 403;
        }
        ....
    }
  

如你所想，这些 if 声明使用正则表达式匹配了任意不良用户字符串，并向匹配的对象返回403 HTTP状态码。 $http_user_agent是HTTP请求中的一个包含有用户代理字符串的变量。‘~'操作符针对用户代理字符串进行大小写敏感匹配，而‘~*'操作符则进行大小写无关匹配。‘|'操作符是逻辑或，因此，你可以在 if 声明中放入众多的用户代理关键字，然后将它们全部阻挡掉。

在修改配置文件后，你必须重新加载nginx以激活阻挡：

  

 $ sudo /path/to/nginx -s reload

你可以通过使用带有 “--user-agent” 选项的 wget 测试用户代理阻挡。

  

 $ wget --user-agent "malicious bot" http://<nginx-ip-address>

  20156392400452.jpg (786×375)

    管理Nginx中的用户代理黑名单

目前为止，我已经展示了在nginx中如何阻挡一些用户代理的HTTP请求。如果你有许多不同类型的网络爬虫机器人要阻挡，又该怎么办呢？

由于用户代理黑名单会增长得很大，所以将它们放在nginx的server部分不是个好点子。取而代之的是，你可以创建一个独立的文件，在该文件中列出所有被阻挡的用户代理。例如，让我们创建/etc/nginx/useragent.rules，并定义以下面的格式定义所有被阻挡的用户代理的图谱。

  $ sudo vi /etc/nginx/useragent.rules

   

复制代码 代码如下:
   map $http_user_agent $badagent {
            default         0;
            ~*malicious     1;
            ~*backdoor      1;
            ~*netcrawler    1;
            ~Antivirx       1;
            ~Arian          1;
            ~webbandit      1;
    } 
 

与先前的配置类似，‘~*'将匹配以大小写不敏感的方式匹配关键字，而‘~'将使用大小写敏感的正则表达式匹配关键字。“default 0”行所表达的意思是，任何其它文件中未被列出的用户代理将被允许。

接下来，打开你的网站的nginx配置文件，找到里面包含 http 的部分，然后添加以下行到 http 部分某个位置。

   

复制代码 代码如下:
   http {
        .....
        include /etc/nginx/useragent.rules
    } 
 

注意，该 include 声明必须出现在 server 部分之前（这就是为什么我们将它添加到了 http 部分里）。

现在，打开nginx配置定义你的服务器的部分，添加以下 if 声明：

   

复制代码 代码如下:
   server {
        ....
        if ($badagent) {
            return 403;
        }
        ....
    } 
 

最后，重新加载nginx。

  

 $ sudo /path/to/nginx -s reload

现在，任何包含有/etc/nginx/useragent.rules中列出的关键字的用户代理将被nginx自动禁止。

您可能感兴趣的文章:

相关文章

  • nginx 配置代理服务地址最后多加反斜杠和不加反斜杠的区别小结

    nginx 配置代理服务地址最后多加反斜杠和不加反斜杠的区别小结

    在使用Nginx配置代理服务时,地址最后是否添加反斜杠（/）会对代理的URL处理产生影响,下面就来具体介绍一下,感兴趣的可以了解一下
    2024-08-08
  • nginx+lua+redis防刷和限流的实现

    nginx+lua+redis防刷和限流的实现

    本文将介绍如何使用nginx lua redis实现防刷和限流,首先,我们将了解防刷和限流的基本概念和必要性,然后,我们将详细介绍如何使用nginx lua redis实现防刷和限流,感兴趣的可以了解一下
    2023-09-09
  • 使Nginx服务器支持.htaccess的方法

    使Nginx服务器支持.htaccess的方法

    这篇文章主要介绍了使Nginx服务器支持.htaccess的方法,.htaccess配置文件设置是Apache上的好东西,现在我们让Nginx服务器也能使用它,需要的朋友可以参考下
    2015-07-07
  • nginx实现根据URL转发请求的实战经历

    nginx实现根据URL转发请求的实战经历

    这篇文章主要给大家介绍了一次关于nginx实现根据URL转发请求的实战经历，文中通过示例代码介绍的非常详细，对大家学习或者使用nginx具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-11-11
  • 浅谈Nginx 中的两种限流方式

    浅谈Nginx 中的两种限流方式

    这篇文章主要介绍了浅谈Nginx 中的两种限流方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-11-11
  • Linux版本中Nginx平滑升级与回退

    Linux版本中Nginx平滑升级与回退

    这篇文章主要介绍了Linux中的Nginx平滑升级与回退,详细介绍了平滑升级概念和思路讲解，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2023-01-01
  • Nginx使用if指令实现多个proxy_pass方式

    Nginx使用if指令实现多个proxy_pass方式

    这篇文章主要介绍了Nginx使用if指令实现多个proxy_pass方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-01-01
  • 生产环境部署Nginx服务器双机热备部署keepalived的步骤(多种模式教程)

    生产环境部署Nginx服务器双机热备部署keepalived的步骤(多种模式教程)

    今天演示下生产环境keepalived的部署方式,安装模式有很多,比如说主备模型和双主模型,主备分：抢占模式 和 非抢占模式,对Nginx keepalived 双机热备部署相关知识感兴趣的朋友跟随小编一起看看吧
    2024-07-07
  • Nginx配置文件详解以及优化建议指南

    Nginx配置文件详解以及优化建议指南

    Nginx是一款面向性能设计的HTTP服务器,相较于Apache、lighttpd具有占有内存少,稳定性高等优势,下面这篇文章主要给大家介绍了关于Nginx配置文件详解以及优化的相关资料,需要的朋友可以参考下
    2021-09-09
  • Nginx本地目录映射实现代码实例

    Nginx本地目录映射实现代码实例

    这篇文章主要介绍了Nginx本地目录映射实现代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-10-10

最新评论