php记录搜索引擎爬行记录的实现代码

 更新时间:2018年03月02日 16:36:10   投稿:mrr  
这篇文章主要介绍了php记录搜索引擎爬行记录的实现代码,然后在文中给大家补充介绍了php获取各搜索蜘蛛爬行记录的代码,需要的朋友可以参考下

下面是完整代码:

//记录搜索引擎爬行记录 $searchbot = get_naps_bot(); 
if ($searchbot) 
{ $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url = $_SERVER['HTTP_REFERER']; 
$file = WEB_PATH.'robotslogs.txt'; 
$date = date('Y-m-d H:i:s'); 
$data = fopen($file,'a'); 
fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); 
fclose($data);
}

WEB_PATH为index.PHP下define的根目录路径,意思就是说robotslogs.txt文件是放在根目录下的。

通过get_naps_bot()获取蜘蛛爬行记录,然后在通过addslashes处理一下,将数据存储于变量$tlc_thispage中。

fopen打开robotslogs.txt文件,将数据通过函数fwrite写入,在通过函数fclose关闭就可以了。

因为我觉得没必要,所以把自己网站上的代码删除了,所以也没有效果示例了。

PS:php获取各搜索蜘蛛爬行记录的代码

支持如下的搜索引擎:Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录!

代码:

<?php 
/**
* 获取搜索引擎爬行记录
* edit by www.jb51.net
*/
function get_naps_bot() 
{ 
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
if (strpos($useragent, 'googlebot') !== false){ 
return 'Google'; 
} 
if (strpos($useragent, 'baiduspider') !== false){ 
return 'Baidu'; 
} 
if (strpos($useragent, 'msnbot') !== false){ 
return 'Bing'; 
} 
if (strpos($useragent, 'slurp') !== false){ 
return 'Yahoo'; 
} 
if (strpos($useragent, 'sosospider') !== false){ 
return 'Soso'; 
} 
if (strpos($useragent, 'sogou spider') !== false){ 
return 'Sogou'; 
} 
if (strpos($useragent, 'yodaobot') !== false){ 
return 'Yodao'; 
} 
return false; 
} 
function nowtime(){ 
$date=date("Y-m-d.G:i:s"); 
return $date; 
} 
$searchbot = get_naps_bot(); 
if ($searchbot) { 
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url=$_SERVER['HTTP_REFERER']; 
$file="www.jb51.net.txt"; 
$time=nowtime(); 
$data=fopen($file,"a"); 
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); 
fclose($data); 
} 
?>

总结

以上所述是小编给大家介绍的php记录搜索引擎爬行记录,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

  • typecho插件编写教程(二):写一个新插件

    typecho插件编写教程(二):写一个新插件

    这篇文章主要介绍了typecho插件编写教程(二):写一个新插件,本文是系列文章的第二篇,需要的朋友可以参考下
    2015-05-05
  • 详解php中的implements 使用

    详解php中的implements 使用

    php类中接口的应用关键字是interface、implements了,接口是一种成员属性全部为抽象或常量的特殊抽象类,implements主要是对类名,类所拥有的方法,以及所传参数起约束和规范做用,有点像 abstract 抽象类
    2017-06-06
  • Yii2实现增删改查后留在当前页的方法详解

    Yii2实现增删改查后留在当前页的方法详解

    yii2.0框架是PHP开发的一个比较高效率的框架,集合了作者的大量心血,下面这篇文章主要介绍了Yii2如何实现增删改查后仍留在当前页的方法,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-01-01
  • ThinkPHP使用Smarty第三方插件方法小结

    ThinkPHP使用Smarty第三方插件方法小结

    这篇文章主要介绍了ThinkPHP使用Smarty第三方插件方法,结合实例形式总结分析了ThinkPHP使用Smarty模板的具体步骤与相关注意事项,需要的朋友可以参考下
    2016-03-03
  • php用户注册页面利用js进行表单验证具体实例

    php用户注册页面利用js进行表单验证具体实例

    这篇文章介绍了php用户注册页面利用js进行表单验证具体实例,有需要的朋友可以参考一下
    2013-10-10
  • CI框架无限级分类+递归的实现代码

    CI框架无限级分类+递归的实现代码

    CodeIgniter是一个轻量级但功能强大的PHP框架,基于MVC设计模式,提供了一套丰富的类库,简单易学,高效实用。下面给大家介绍CI框架无限级分类+递归的实现代码,感兴趣的朋友参考下吧
    2016-11-11
  • phpmailer中文乱码问题的解决方法

    phpmailer中文乱码问题的解决方法

    这篇文章主要介绍了phpmailer中文乱码问题的解决方法,需要的朋友可以参考下
    2014-04-04
  • 如何使用微信公众平台开发模式实现多客服

    如何使用微信公众平台开发模式实现多客服

    其实微信公众平台的多客服功能已经出来好久了,并且一出来的时候我就已经为自己的公众号实现了,原本以为大家都已经会了,但是今天还是有人问起这个多客服功能怎么使用,我找了下网上也没什么好的教程,今天我就给大家发一篇比较简单易懂的教程吧
    2016-01-01
  • PHP程序员简单的开展服务治理架构操作详解(一)

    PHP程序员简单的开展服务治理架构操作详解(一)

    这篇文章主要介绍了PHP程序员简单的开展服务治理架构操作,结合实例形式详细分析了PHP开展服务治理架构操作相关原理、RPC通信实现技巧与注意事项,需要的朋友可以参考下
    2020-05-05
  • THINKPHP3.2使用soap连接webservice的解决方法

    THINKPHP3.2使用soap连接webservice的解决方法

    这篇文章主要为大家详细介绍了THINKPHP3.2使用soap连接webservice的解决方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-12-12

最新评论