Nginx流量拷贝ngx_http_mirror_module模块使用方法详解
更新时间：2022年04月07日 15:35:12 作者：散尽浮华
这篇文章主要介绍了Nginx流量拷贝,Nginx专门提供了ngx_http_mirror_module模块，用来实现流量拷贝。将生产环境的流量拷贝到预上线环境或测试环境
一、Nginx的ngx_http_mirror_module模块实现流量复制介绍
Nginx专门提供了ngx_http_mirror_module模块，用来实现流量拷贝。将生产环境的流量拷贝到预上线环境或测试环境，这样做有很多好处：
- 可以验证功能是否正常，以及服务的性能；
- 用真实有效的流量请求去验证，又不用造数据，不影响线上正常访问；
- 相比于灰度发布，镜像流量不会影响真实流量；
- 可以用来排查线上问题；
- 重构，假如服务做了重构，这也是一种测试方式；
ngx_http_mirror_module模块就像是一个镜像站点一样，将所有的请求都收集起来，这个镜像站点就代表了所有真实有效的原始请求。有了这个镜像站点，后续就可以复现所有的请求，实现把线上的流程复制到别的地方。
ngx_http_mirror_module模块特性：
- nginx 1.13.4及后续版本内置ngx_http_mirror_module模块，提供流量镜像(复制)的功能。
- 支持流量放大，做法为：配置多份相同镜像。
- 相比tcp-copy的优势：无需录制流量，实时可用；配置相当简单。
- 源站请求，直接原路返回；正常配置下，mirror请求不影响源站请求及响应，源站nginx-server将流量复制到mirror站后，两者不再有任何交集。
二、Nginx编译安装，要加上ngx_http_mirror_module模块
下面是Nginx解压后，编译安装的示例
# ./configure
--sbin-path=/usr/local/nginx/nginx
--conf-path=/usr/local/nginx/nginx.conf
--pid-path=/usr/local/nginx/nginx.pid
--with-http_ssl_module
--without-http_limit_req_module
--without-http_mirror_module
--with-pcre=../pcre-8.43
--with-zlib=../zlib-1.2.11
--add-module=/path/to/ngx_devel_kit
--add-module=/path/to/lua-nginx-module
# make & make install三、Nginx流量拷贝的配置示例
upstream kevin-order {
server 127.0.0.1:8088;
}
upstream kevin-customer {
server 127.0.0.1:8089;
}
upstream kevin-mirror1 {
server 172.16.60.230:8088;
}
upstream kevin-mirror2 {
server 172.16.60.230:8089;
}
server {
listen 80;
server_name kevin.com;
access_log /usr/local/nginx/logs/kevin.com-access.log main;
error_log /usr/local/nginx/logs/kevin.com-error.log;
# 源站点1
location /order {
proxy_pass http://kevin-order;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
# 复制请求体
mirror_request_body on;
# 流量复制
mirror /mirror1;
}
# 源站点2
location /customer {
proxy_pass http://kevin-customer;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
mirror_request_body on;
mirror /mirror2;
}
# 镜像站点1
location /mirror1 {
proxy_pass http://kevin-mirror1$request_uri;
proxy_pass_request_body on;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
# 镜像站点2
location /mirror2 {
proxy_pass http://kevin-mirror2$request_uri;
proxy_pass_request_body on;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}配置说明：上面配置中，将访问http://kevin.com/order、http://kevin.com/customer的流量分别复制到172.16.60.230服务器的8088和8089端口。
四、Nginx使用ngx_http_mirror_module模块进行流量拷贝的配置技巧
1）Nginx复制GET及POST请求流量
server {
listen 80;
server_name kevin.com;
# 源站配置
location / {
access_log /usr/local/nginx/logs/access.log accesslog;
mirror /mirror;
mirror_request_body on;
proxy_pass http://kevin.upstream.name;
}
# 镜像站点配置
location /mirror {
internal; # 内部配置
proxy_pass http://mirror.kevin.upstream.name$request_uri;
proxy_pass_request_body on;
proxy_set_header X-Original-URI $request_uri; #使用真实的url重置url
}
}2）Nginx不允许复制POST请求流量
默认是支持POST流量复制的，需要通过下面配置来禁止。
server {
listen 80;
server_name kevin.com;
# 源站配置
location / {
access_log /usr/local/nginx/logs/access.log accesslog;
mirror /mirror;
mirror_request_body off;
proxy_pass http://kevin.upstream.name;
}
# 镜像站点配置
location /mirror {
# 判断请求方法，不是GET返回403
if ($request_method != GET) {
return 403;
}
internal; #内部配置
proxy_pass http://mirror.kevin.upstream.name$request_uri;
proxy_pass_request_body off;
# mirror_request_body和proxy_pass_request_body都设置为off，则Conten-length需要设置为""，否则有坑！
proxy_set_header Content-Length "";
proxy_set_header X-Original-URI $request_uri; # 使用真实的url重置url
}
}3）拷贝流量放大
配置多分mirror镜像点
server {
listen 80;
server_name kevin.com;
# 源站配置
location / {
access_log /usr/local/nginx/logs/access.log accesslog;
mirror /mirror;
# 多加一份mirror，流量放大一倍
mirror /mirror;
mirror_request_body on;
proxy_pass http://kevin.upstream.name;
}
# 镜像站点配置
location /mirror {
internal; # 内部配置
proxy_pass http://mirror.kevin.upstream.name$request_uri;
proxy_pass_request_body on;
proxy_set_header X-Original-URI $request_uri; #使用真实的url重置url
}
}4）配置mirror镜像日志
mirror中不支持配置access_log，解决方法：mirror-location跳转到server，在server中配置accesslog。
server {
listen 80;
server_name kevin.com;
# 源站配置
location / {
access_log /usr/local/nginx/logs/access.log accesslog;
mirror /mirror;
mirror_request_body on;
proxy_pass http://kevin.upstream.name;
}
# 镜像站点配置
location /mirror {
internal; # 内部配置
# 跳转到下面的内部server
proxy_pass http://127.0.0.1:10992$request_uri;
proxy_pass_request_body off;
proxy_set_header Content-Length "";
proxy_set_header X-Original-URI $request_uri; #使用真实的url重置url
}
server {
# server没法设置为内部
listen 127.0.0.1:10992;
location / {
# 判断放在server，使得post请求日志可以记录
if ($request_method != GET) {
return 403;
}
access_log /usr/local/nginx/logs/access.log accesslog;
proxy_pass http://mirror.kevin.upstream.name;
}
}五、Nginx流量拷贝的注意事项
1）mirror镜像配置日志
镜像配置不正确，导致流量复制操作没正常执行。如果mirror镜像配置缺少日志，会严重影响调试。所以强烈建议配置镜像日志，配置方法如如上"配置mirror镜像日志"。部分错误配置的错误信息在在error日志中。
2）mirror_request_body/proxy_pass_request_body与Content-Length需配置一致
如果mirror_request_body或者proxy_pass_request_body设置为off，则Content-Length必须设置为""，因为nginx(mirror_request_body)或tomcat(mirror_request_body)处理post请求时，会根据Content-Length获取请求体，如果Content-Length不为空，而由于mirror_request_body或者proxy_pass_request_body设置为off，处理方以为post有内容，当request_body中没有，处理方会一直等待至超时，则前者为off，nginx会报upstream请求超时；后者为off，tomcat会报如下错误：
"2020-11-18T17:26:36.803+08:00" "331632b86ec64b829672066a96fc6324" "department" "group" "project_name" "hostname" "127.0.0.1" "" "/post" "p=11" "-" "PostmanRuntime/7.1.1" "ERROR" "xxx.GlobalControllerAdvice" "operateExp" "-" "26" "xxxx.GlobalControllerAdvice" "unknown" "org.springframework.http.converter.HttpMessageNotReadableException" "I/O error while reading input message; nested exception is java.net.SocketTimeoutException" "GlobalControllerAdvice中捕获全局异常" "org.springframework.http.converter.HttpMessageNotReadableException: I/O error while reading input message; nested exception is java.net.SocketTimeoutException
at org.springframework.web.servlet.mvc.method.annotation.AbstractMessageConverterMethodArgumentResolver.readWithMessageConverters(AbstractMessageConverterMethodArgumentResolver.java:229)
at org.springframework.web.servlet.mvc.method.annotation.RequestResponseBodyMethodProcessor.readWithMessageConverters(RequestResponseBodyMethodProcessor.java:150)
at org.springframework.web.servlet.mvc.method.annotation.RequestResponseBodyMethodProcessor.resolveArgument(RequestResponseBodyMethodProcessor.java:128)
at org.springframework.web.method.support.HandlerMethodArgumentResolverComposite.resolveArgument(HandlerMethodArgumentResolverComposite.java:121)
at org.springframework.web.method.support.InvocableHandlerMethod.getMethodArgumentValues(InvocableHandlerMethod.java:158)
at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:128)
at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:97)
at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:827)
at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:738)
at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:85)更多关于Nginx流量拷贝技术文章请查看下面的相关链接
您可能感兴趣的文章:
相关文章
解决Nginx启动报错Job for nginx.service failed
Nginx启动报错,需检查配置文件是否正确（执行nginx -t）,若错误则修正并重载,若80端口被占用,查进程并终止,重启服务以解决2025-08-08
本文主要介绍了使用Lvs+Nginx集群搭建高并发架构的实现示例，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-12-12
在Nginx中配置禁止缓存内容,可通过设置HTTP响应头中的缓存控制指令实现,全局禁用缓存可在http或server上下文中添加特定的add_header指令,本文就来详细的介绍一下,感兴趣的可以了解一下2024-11-11
nginx 部署 vue 项目找不到js css文件的解决方法
这篇文章主要介绍了nginx 部署 vue 项目找不到js css文件的解决方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-07-07
Nginx的map指令是一个强大的工具,用于根据变量的值来设置另一个变量的值,本文就来介绍一下Nginx中map指令的具体使用,感兴趣的可以了解一下2024-07-07
Nginx是一个高性能的HTTP和反向代理web服务器,同时也提供了 IMAP/POP3/SMTP服务,这篇文章主要介绍了Nginx服务器部署的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下2025-12-12
由于nginx的日志本身只是支持按照server_name或者大小进行划分，对于习惯了apache的按照一个网站每天一个日志的我来说是不可以接受的，所以就实现了按天切割的功能，这篇文章主要介绍了关于Nginx日志按日期切割的相关资料，需要的朋友可以参考下。2017-03-03
一个网站项目,肯定是避免不了404页面的,下面这篇文章主要给大家介绍了关于前端部署项目后nginx转发接口404(页面正常)的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2023-06-06
在大型互联网架构中,Nginx作为反向代理和负载均衡的核心组件,其路径匹配精度直接影响系统路由的准确性,所以本文给大家详细介绍了Nginx路径匹配的配置指南,需要的朋友可以参考下2025-07-07
在一些场景中,我们需要根据客户端的IP地址或网段对访问进行控制,在Nginx中针对某些URL只允许特定网段访问,本文就来介绍一下如何实现,具有一定的参考价值,感兴趣的可以了解一下2023-09-09
最新评论