通过Nginx服务器获取大文件MD5值的配置方法

 更新时间:2016年01月22日 09:37:12   投稿:goldensun  
这篇文章主要介绍了通过Nginx服务器获取大文件MD5值的配置方法,同时文中也附带了对大文件下载优化的介绍,需要的朋友可以参考下

HTTP协议新增了Content-MD5 HTTP头,但是nginx并不支持这个功能,而且官方也明确表示不会增加这项功能,为什么呢?因为每次请求都需要读取整个文件来计算MD5值,以性能著称的nginx绝对不愿意干出违背软件宗旨的事情。但是有些应用中,需要验证文件的正确性,有些人通过下载当前文件,然后计算MD5值来比对当前文件是否正确。不仅仅浪费带宽资源也浪费了大把的时间。有需求就有解决方案,网友开发了file-md5模块。
1. 下载模块file-md5

  # cd /usr/local/src
  # wget https://github.com/cfsego/file-md5/archive/master.zip -O file-md5-master.zip
  # unzip file-md5-master.zip

2. 安装模块file-md5

  # wget http://nginx.org/download/nginx-1.4.2.tar.gz
  # tar -xzf nginx-1.4.2.tar.gz
  # cd nginx-1.4.2
  # ./configure --prefix=/usr/local/nginx-1.4.2 --add-module=../file-md5-master
  # make
  # make isntall

如果你已经安装了nginx,仅需要增加file-md5模块即可。

3. 配置file-md5
3.1 MD5追加到http响应头中

  server {
    listen    80;
    server_name test.ttlsa.com;
    root /data/site/test.ttlsa.com;
  
    # for add content-md5 to http header
    location ~ /download
    {
        add_header  Content-MD5  $file_md5;
    }
  }

所有请求download的请求,都会在响应http头部增加Content-MD5,值为这个文件的MD5,看如下测试:


  # curl -I test.ttlsa.com/download/1.exe  
  HTTP/1.1 200 OK
  Server: nginx
  Date: Wed, 26 Feb 2014 03:00:05 GMT
  Content-Type: application/octet-stream
  Content-Length: 1535488
  Last-Modified: Mon, 24 Feb 2014 10:08:10 GMT
  Connection: keep-alive
  ETag: "530b1a0a-176e00"
  Content-MD5: 6adda4a06dbad3ac9b53a08f4ff9c4f8
  Accept-Ranges: bytes

大家可以看到Content-MD5: 6adda4a06dbad3ac9b53a08f4ff9c4f8,这个就是1.exe文件的MD5值.
3.2 直接响应MD5值到内容中

  server {
    listen    80;
    server_name test.ttlsa.com;
    root /data/site/test.ttlsa.com;
 
    # for add content-md5 to http header
    location ~ /download
    {
      if ( $arg_md5 ~* "true" ){
        echo $file_md5;
      }
    }
  }

这边直接使用echo输出MD5值(echo模块需要额外安装),只需在下载的文件后面加上参数&md5=true即可得到MD5值,使用过程中,参数可以随心定义。下面来测试一下。

  # curl test.ttlsa.com/download/1.exe?md5=true  
  6adda4a06dbad3ac9b53a08f4ff9c4f8

直接得到md5值,与第一种方法得到同样的MD5。
4. 最后
使用nginx模块也是一种方法,这种方法有个不足支持,每个请求都需要从新计算一次MD5值。想减小他的压力,可以在nginx加缓存,或者借用memcache以及使用perl或者lua等模块,希望大家继续支持运维生存时间。
项目地址:https://github.com/cfsego/file-md5
项目文档:https://github.com/cfsego/file-md5/blob/master/README

PS:nginx大文件下载优化
默认情况下proxy_max_temp_file_size值为1024MB,也就是说后端服务器的文件不大于1G都可以缓存到nginx代理硬盘中,如果超过1G,那么文件不缓存,而是直接中转发送给客户端.如果proxy_max_temp_file_size设置为0,表示不使用临时缓存。
在大文件的环境下,如果想启用临时缓存,那么可以修改配置,值改成你想要的。
修改nginx配置

location /
 {
 ...
 proxy_max_temp_file_size 2048m;
 ...
 }

重启nginx

# /usr/local/nginx-1.7.0/sbin/nginx -s reload

相关文章

  • 在Nginx用htpasswd对网站进行密码保护的设置方法

    在Nginx用htpasswd对网站进行密码保护的设置方法

    很多时候我们需要对一些网站进行密码保护,比如团队内部的站点、demo站点等等。这里所说的密码保护是服务器级的,并非网站应用层的注册登录那一套,而是利用服务器配置和htpasswd文件来实现访问的密码验证
    2013-06-06
  • nginx配置客户端保存cookie的实现

    nginx配置客户端保存cookie的实现

    本文主要介绍了nginx配置客户端保存cookie的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • 加速nginx性能: 开启gzip和缓存

    加速nginx性能: 开启gzip和缓存

    nginx 是一个高性能的 Web 服务器,之前也写过一些关于 nginx 的文章。为了提高博客的响应速度,可以从设置 nginx 的 gzip 和缓存这2方面入手。为字体开启 gzip 和缓存能大大减少带宽的消耗
    2017-03-03
  • Nginx搭建rtmp直播服务器实现代码

    Nginx搭建rtmp直播服务器实现代码

    这篇文章主要介绍了Nginx搭建rtmp直播服务器实现代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • Nginx的伪静态配置中使用rewrite来实现自动补全的实例

    Nginx的伪静态配置中使用rewrite来实现自动补全的实例

    这篇文章主要介绍了Nginx的伪静态配置中使用rewrite来实现自动补全的实例,文中对rewrite的相关参数和正则表达使用也做了介绍,需要的朋友可以参考下
    2015-12-12
  • nginx部署vue项目,给访问路径加前缀的实现

    nginx部署vue项目,给访问路径加前缀的实现

    这篇文章主要介绍了nginx部署vue项目,给访问路径加前缀的实现方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-12-12
  • 详解用ELK来分析Nginx服务器日志的方法

    详解用ELK来分析Nginx服务器日志的方法

    这篇文章主要介绍了用ELK来分析Nginx服务器日志的方法,ELK是三个开源软件的缩写,分别表示Elasticsearch,Logstash,Kibana,需要的朋友可以参考下
    2016-03-03
  • nginx编译安装出现的常见错误及解决方法

    nginx编译安装出现的常见错误及解决方法

    这篇文章给大家介绍了nginx在编译安装过程中容易出现的常见错误以及解决方法,文中有详细的代码讲解,对我们的学习或工作有一定的帮助,需要的朋友可以参考下
    2023-08-08
  • Windows下使用Nginx+Tomcat做负载均衡的完整步骤

    Windows下使用Nginx+Tomcat做负载均衡的完整步骤

    这篇文章主要介绍了Windows下使用Nginx+Tomcat做负载均衡的完整步骤,帮助大家搭建负载均衡集群,感兴趣的朋友可以了解下
    2020-09-09
  • PHP(FastCGI)在Nginx的alias下出现404错误的解决方法

    PHP(FastCGI)在Nginx的alias下出现404错误的解决方法

    这篇文章主要介绍了PHP(FastCGI)在Nginx的alias下出现404错误的解决方法,涉及nginx平台的相关配置技巧,需要的朋友可以参考下
    2016-05-05

最新评论