php 向访客和爬虫显示不同的内容
更新时间：2009年11月09日 18:59:56 作者：
为了提高网页的用户体验, 我们经常会做一些对搜索引擎不太友好的事情, 但某些情况下这并不是无法挽回的, 可以通过向自然人和搜索引擎机器人显示不同的内容来提供好的用户体验和 SEO.
听说本方法会触犯搜索引擎的一些操作原则, 有可能被被各搜索引擎处罚, 甚至删除网站. 所以我刚刚已经撤下这样的处理, 直到确定其不属于作弊. 有魄力的朋友可以继续使用, 但后果自负.
本博客的首页和存档页面以列表的形式显示文章, 在访客点击展开文章时才加载文章的内容. 因为文章的内容部分包含了大量的文字和图片, 需要大量的加载时间和流量. 尽快地向访客展示网页可以挽留大量的来访者. 而对于手机用户来说, 加载时间和流量则更为重要.
一般来说, 网站的首页是搜索引擎访问最多的页面, 应该尽可能的向它们展示有意义的内容, 但是要以列表的形式显示文章的话, 访客和搜索引擎只能获取到文章标题信息. 文章内容或者摘要 (尤其是文章的第一句) 对于 SEO 来说是极其重要的, 所以我们要设法向爬虫发送这些内容.
好, 我们可以通过 User Agent 来判断访问者是否为爬虫, 如果是, 则以一般形式显示文章, 否则以列表形式显示文章列表. 可以用以下的 PHP 方法判断是否为爬虫:
function is_crawler() {
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
‘Googlebot', // Google 爬虫
‘Baiduspider', // 百度爬虫
‘Yahoo! Slurp', // 雅虎爬虫
‘YodaoBot', // 有道爬虫
‘msnbot' // Bing爬虫
// 更多爬虫关键字
);
foreach ($spiders as $spider) {
$spider = strtolower($spider);
if (strpos($userAgent, $spider) !== false) {
return true;
}
}
return false;
}
这是我使用的方法, 各爬虫以访问评论由高到低进行排序. 然后通过下面的的方法向爬虫和自然人显示不同的内容
本博客的首页和存档页面以列表的形式显示文章, 在访客点击展开文章时才加载文章的内容. 因为文章的内容部分包含了大量的文字和图片, 需要大量的加载时间和流量. 尽快地向访客展示网页可以挽留大量的来访者. 而对于手机用户来说, 加载时间和流量则更为重要.
一般来说, 网站的首页是搜索引擎访问最多的页面, 应该尽可能的向它们展示有意义的内容, 但是要以列表的形式显示文章的话, 访客和搜索引擎只能获取到文章标题信息. 文章内容或者摘要 (尤其是文章的第一句) 对于 SEO 来说是极其重要的, 所以我们要设法向爬虫发送这些内容.
好, 我们可以通过 User Agent 来判断访问者是否为爬虫, 如果是, 则以一般形式显示文章, 否则以列表形式显示文章列表. 可以用以下的 PHP 方法判断是否为爬虫:
复制代码 代码如下:
function is_crawler() {
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
‘Googlebot', // Google 爬虫
‘Baiduspider', // 百度爬虫
‘Yahoo! Slurp', // 雅虎爬虫
‘YodaoBot', // 有道爬虫
‘msnbot' // Bing爬虫
// 更多爬虫关键字
);
foreach ($spiders as $spider) {
$spider = strtolower($spider);
if (strpos($userAgent, $spider) !== false) {
return true;
}
}
return false;
}
这是我使用的方法, 各爬虫以访问评论由高到低进行排序. 然后通过下面的的方法向爬虫和自然人显示不同的内容
相关文章
这篇文章主要为大家详细介绍了php设计模式之委托模式，以一个实例为大家介绍了php委托模式，感兴趣的朋友可以参考一下2016-02-02
php对全站的所有内页进行域名301转向2008-09-09
所谓的CC攻击就是对方利用程序或一些代理对您的网站进行不间断的访问，造成您的网站处理不了而处于当机状态2011-12-12
php adodb连接带密码access数据库实例，测试成功
最近前台有个开票系统需要改进导致需要用PHP去连接那个系统的 数据库，ACCESS的带密码的。写了个简单的实例，记录下。2008-05-05
这篇文章给大家详细分析了为什么PHP程序员需要学习使用Swoole，并通过实例做了分析，有兴趣的朋友参考下。2018-06-06
PHP中有time函数，也有date函数，这两个函数在使用时候的区别很明显。但更应注意，time和date是两个完全不时的格式，当然还有一种字符串格式。本文重点介绍这几者的区别。2016-11-11
这篇文章主要介绍了php恢复数组的key为数字序列的方法,涉及php操作数组键名的技巧,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了php验证手机号码的方法，验证手机号码通常利用php正则表达试验证了,手机号的规则是长度11位然后是13，15，18等等开头,这个我们只要加以分类规划并可实现完美手机号码验证正则了，需要的朋友可以参考下2015-11-11
PHP函数内引用全局变量的解决方法2008-10-10
PHPWind与Discuz截取字符函数substrs与cutstr性能比较
PHP性能优化系列第四期实战篇，如何使用PEAR Benchmark类工具获取函数执行性能，这里以PHPWind与Discuz!两个社区论坛的截取字符函数substrs与cutstr为例，分析两个函数的执行性能情况2011-12-12
最新评论