HTTP缓存之ETag使用经验及效果

 更新时间:2023年05月20日 09:28:41   投稿:yin  
服务器首先产生ETag,服务器可在稍后使用它来判断页面是否已经被修改。本质上,客户端通过将该记号传回服务器要求服务器验证其(客户端)缓存。这种机制允许缓存更有效并节省带宽,因为如果内容没有更改,Web 服务器不再需要发送完整的响应。

Etag是URL的Entity Tag,用于标示URL对象是否改变,区分不同语言和Session等等。具体内部含义是使服务器控制的,就像Cookie那样。服务器首先产生ETag,服务器可在稍后使用它来判断页面是否已经被修改。本质上,客户端通过将该记号传回服务器要求服务器验证其(客户端)缓存。这种机制允许缓存更有效并节省带宽,因为如果内容没有更改,Web 服务器不再需要发送完整的响应。

sitemap是解决网站收录至关重要的途径之一,而通常sitemap的更新都不是很及时,并且体量都相对较大,此时也消耗了相应的网站流量及带宽。而ETag可以用来标示网页是否发生了变化,如果没有变化返回304状态码,就不用再重新传输整个网页了。

在我们的sitemap配置了ETag之后,对日志一段时间的监测发现,其sitemap响应时间以及耗时的平均时间均大幅度下降,爬虫访问sitemap文件的次数有所增加,对于收录而言,通过图表也能看出相对的增长曲线,我们的整体收录率大致提升范围在2% – 5%左右。所以在此,强烈建议大家设置sitemap的ETag,简简单单的一个小动作就能看到相对明显的效果还是很不错的。

ETag全称EntityTags,HTTP协议规格说明中定义“ETag”为“被请求变量的实体值”。我们也可以把ETag理解为是一个客户端与服务器关联的记号。这个记号告诉客户端,当前网页在上次请求之后是否有发生变化,当发生变化时,ETag的值重新计算,并返回200状态码。如果没有变化,返回304状态码。从而不会重新加载整个页面信息。

在我们与技术沟通配置ETag时,需要通过此种方式进行验证。第一次访问200状态码,有ETag的一行文本,再次访问该页面时,状态码为304,ETag的值不变。至此,我们就可以确定ETag配置成功。

sitemap启用Etag的优势

sitemap启用Etag后:

1、百度可以更及时地响应sitemap的更新;

2、页面没有更新的情况下,对流量的消耗极小;

3、百度更加及时的抓取sitemap,便于更好的收录;

但多数情况下,ETag会与Last-Modified一起使用,这样可利用客户端(例如浏览器)的缓存。因为服务器首先产生Last-Modified/Etag标记,服务器可在稍后使用它来判断页面是否已经被修改。本质上,客户端通过将该记号传回服务器要求服务器验证其(客户端)缓存。

站点服务器如何配置ETag?

最好是对全站进行配置ETag,这样对于站点而言,在带宽消耗、爬虫抓取上的提升还是会有很大收益的。

一、Apache

Apache根据配置文件中的配置来设置Etag值,默认的Apache的FileEtag设置为:

FileEtagINode Mtime Size

也就是根据这三个属性来生成Etag值,他们之间通过一些算法来实现,并输出成hex的格式,相邻属性之间用-分隔,比如:"2e681a-6-5d044840",这里面的三个段,分别代表了INode,MTime,Size根据算法算出的值的Hex格式,可以改变Apache的FileEtag设置,比如设置成FileEtagSize,那么得到的Etag可能为:"6",设置了几个段,Etag值就有几个段。

详细配置:

步骤1

在要启用ETag的目录下增加.htaccess文件并在其中增加一行,如图:FileETagMTime Size

以覆盖默认的Innode MTime Size的ETag,因为默认的ETag使用到的Innode会导致相同的文件在分布式服务器上产生的ETag不同。

步骤2

如果.htacces文件已经存在,请确保要启用ETag的目录/.htacces文件中没有FileETagNone。如果存在FileETag None,请删去该行。

检查没有用mod_headers将ETag除去,即httpd.conf文件中没有出现下面的语句,

LoadModuleheaders_module modules/mod_headers.so

Headerunset ETag

如果出现如图情况,请删除Headerunset ETag这一行。

步骤3

重新启动httpd,就启用ETag了。

二、Nginx

步骤1

确认Nginx版本,命令:Nginx安装目录/sbin/nginx–v,

版本为1.7.3及更高,继续步骤2;版本为1.7.3以下,1.3.3及以上,进行步骤3;版本为1.3.3以下,不支持ETag,请升级您的Nginx。

步骤2

确认没有关闭ETag:打开Nginx的配置文件nginx.conf(默认位置Nginx安装目录/conf/),确保其中没有出现etagoff;,下图为出现的情况,请将此行删除。

确认没有使用ngx_headers_more清除ETag头:同样在配置文件中不能出现如下语句的任意一句,如果出现请将其删除。

重新启动Nginx,就启用ETag功能了。

步骤3

查看是否开启了gzip,且是否和etag出现冲突,出现冲突去步骤4,没有去步骤2。

打开Nginx的配置文件nginx.conf(默认位置Nginx安装目录/conf/),其中出现gzip on;语句证明开启了gzip

开启gzip时,可能与etag出现冲突,用浏览器多次请求此网站的静态元素,如果只返回200,不返回304,证明存在冲突,请去步骤4;没有冲突去步骤2。

步骤4

请关闭gzip,即将上一步中的gzipon;改为gzip off;然后去步骤2。

若不想关闭gzip,并要开启ETag,同时仍要坚持使用当前的Nginx版本,只能修改源码并重新编译。

下载此版本安装包并解压,将其目录下/src/http/modules/ngx_http_gzip_filter_module.c

文件中约309行左右的ngx_http_clear_etag(r);一行注释掉或删掉。

如果没有找到ngx_http_clear_etag(r);而是发现ngx_http_weak_etag(r);证明此Nginx没有gzip和etag冲突的问题,不必进行任何修改。

重新编译源码安装Nginx,解决这个冲突,然后去步骤2。

三、IIS

IIS7是默认开启ETag的,如果没有ETag,请按以下步骤设置。

打开Internet Information Services (IIS) Manager,如图双击HTTP响应头部(HTTPResponse Headers),

选择No Grouping标签,在空白处右键选择Add。

设置Name为ETag,Value为双引号

配置web.config:­

<system.webServer>
<httpProtocol>
<customHeaders>
<add name="ETag"value="&quot;&quot;" />
</customHeaders>
</httpProtocol>
</system.webServer>

完成。

到此这篇关于HTTP缓存之ETag使用经验及效果的文章就介绍到这了,更多相关HTTP缓存ETag讲解内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 一文带你快速梳理ChatGPT、GPT4 和OpenAPI的关系

    一文带你快速梳理ChatGPT、GPT4 和OpenAPI的关系

    最近最火的几个词无疑是ChatGPT、GPT4 和OpenAPI,那么这三者究竟有什么关系呢,本文将带你进行快速梳理三者的关系,感兴趣的同学可以参考阅读下
    2023-06-06
  • ChatGPT帮我看下这段代码有什么问题

    ChatGPT帮我看下这段代码有什么问题

    今天一个很简单的功能,触发了一个 BUG,处理后我想起了最近爆火的 ChatGPT,于是我尝试测试 ChatGPT 能否发现这个 BUG,这篇文章会先介绍功能代码,然后手动分析 BUG 原因,需要的朋友可以参考下
    2023-02-02
  • Git 标签使用详解

    Git 标签使用详解

    这篇文章主要介绍了Git 标签使用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • OAuth 2.0 概念及授权流程梳理

    OAuth 2.0 概念及授权流程梳理

    这篇文章主要介绍了OAuth 2.0 概念及授权流程梳理,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-08-08
  • cnpm不是内部命令的解决方案:配置环境变量【推荐】

    cnpm不是内部命令的解决方案:配置环境变量【推荐】

    这篇文章主要介绍了cnpm不是内部命令的解决方案:配置环境变量的相关知识,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-07-07
  • 关于Interlij 无法使用中文输入法的解决方法(适用于Interlij全家桶 Linux环境)

    关于Interlij 无法使用中文输入法的解决方法(适用于Interlij全家桶 Linux环境)

    这篇文章主要介绍了关于Interlij 无法使用中文输入法的解决方法(适用于Interlij全家桶 Linux环境),本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-02-02
  • 使用Git Bash向GitHub上传本地项目

    使用Git Bash向GitHub上传本地项目

    这篇文章介绍了使用Git Bash向GitHub上传本地项目的方法,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-04-04
  • chatGPT本地部署、运行和接口调用的详细步骤

    chatGPT本地部署、运行和接口调用的详细步骤

    这篇文章主要介绍了chatGPT本地部署、运行和接口调用的详细步骤,文中给大家介绍了cookie 信息写入 config.json的三种方式,每种方式给大家介绍的非常详细,需要的朋友可以参考下
    2023-02-02
  • git push & git pull 推送/拉取分支的具体使用

    git push & git pull 推送/拉取分支的具体使用

    这篇文章主要介绍了git push & git pull 推送/拉取分支的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-08-08
  • 详细JSON解析教程

    详细JSON解析教程

    JSON即JS对象简谱 , 是一种轻量级的数据交换格式,Java官方没有提供JSON解析相应的API,本文提供两个最常用的JSON解析方法,分别是Google的Gson,阿里的FastJson,使用JSON解析之前要先获取相应的jar包,感兴趣的朋友一起看看吧
    2023-08-08

最新评论