php实现的一个很好用HTML解析器类可用于采集数据

 更新时间:2013年09月23日 17:24:33   作者:  
下面就是这个 HTML解析类及用法,下面的功能是采集www.opendir.cn这个网站的百度收录数据,需要的朋友可以测试下
复制代码 代码如下:

<?php  
 $oldSetting = libxml_use_internal_errors( true );   
libxml_clear_errors();  
/**
 * 
 * -+-----------------------------------
 * |PHP5 Framework - 2011
 * |Web Site: www.iblue.cc
 * |E-mail: mejinke@gmail.com
 * |Date: 2012-10-12
 * -+-----------------------------------
 * 
 * @desc HTML解析器
 * @author jingke
 */   
class XF_HtmlDom  
{  
    private $_xpath = null;  
    private $_nodePath = '';  

    public function __construct($xpath = null, $nodePath = '')  
    {  
        $this->_xpath = $xpath;  
        $this->_nodePath = $nodePath;  
    }  

    public function loadHtml($url)  
    {  
        ini_set('user_agent', 'Mozilla/5.0 (Linux; U; Android 2.1; en-us; Nexus One Build/ERD62) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17 –Nexus');  
        $content = '';  
        if(strpos(strtolower($url), 'http')===false)  
        {  
            $content = file_get_contents($url);  
        }  
        else 
        {  
            $ch = curl_init();   
            $user_agent = "Baiduspider+(+http://www.baidu.com/search/spider.htm)";  
            $user_agent1='Mozilla/5.0 (Windows NT 5.1; rv:6.0) Gecko/20100101 Firefox/6.0';  
            curl_setopt($ch, CURLOPT_URL, $url);   
            curl_setopt($ch, CURLOPT_HEADER, false);   
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);   
            curl_setopt($ch, CURLOPT_REFERER, $url);  
            curl_setopt($ch, CURLOPT_USERAGENT, $user_agent1);  
            curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);  
            $content =curl_exec($ch);   
            curl_close($ch);  
        }  

        $html = new DOMDocument();   
        $html->loadHtml($content);   
        $this->_xpath = new DOMXPath( $html );   
        //return $this; 

    }  

    public function find($query, $index = null)  
    {  
        if($this->_nodePath == '')  
            $this->_nodePath = '//'; 
        else 
            $this->_nodePath .= '/';  

        $nodes = $this->_xpath->query($this->_nodePath.$query);  
        //echo $nodes->item(0)->getNodePath();exit; 

          
        if ($index == null && !is_numeric($index))   
        {   
            $tmp = array();  
            foreach ($nodes as $node)   
            {  
                $tmp[] = new XF_HtmlDom($this->_xpath, $node->getNodePath());  
            }  
            return $tmp;  
        }  
        return new XF_HtmlDom($this->_xpath,$this->_xpath->query($this->_nodePath.$query)->item($index)->getNodePath());  
    }  

    /**
     * 获取内容
     */ 
    public function text()  
    {  
        if ($this->_nodePath != '' && $this->_xpath != null )   
            return $this->_xpath->query($this->_nodePath)->item(0)->textContent;  
        else 
            return false;  
    }  

    /**
     * 获取属性值
     */ 
    public function getAttribute($name)  
    {  
        if ($this->_nodePath != '' && $this->_xpath != null )   
            return $this->_xpath->query($this->_nodePath)->item(0)->getAttribute($name);  
        else 
            return false;  
    }  

    public function __get($name)  
    {  
        if($name == 'innertext')  
            return $this->text();  
        else 
            return $this->getAttribute($name);  
    }    
}    
$xp = new xf_HtmlDom();  
$xp->loadHtml('http://www.aizhan.com/siteall/www.opendir.cn/'); 
$rows = $xp->find("td[@id='baidu']/a", 0)->innertext;  
print_r($rows); 

相关文章

  • ThinkPHP 5.x远程命令执行漏洞复现

    ThinkPHP 5.x远程命令执行漏洞复现

    这篇文章主要介绍了ThinkPHP 5.x远程命令执行漏洞复现的方法,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-09-09
  • ecshop 批量上传(加入自定义属性)

    ecshop 批量上传(加入自定义属性)

    ECSHOP的批量上传功能没有像shopex一下可以根据商品类型导出相应的csv也就是说批量上传只能上传一般的商品属性,对于我们自己定义的特殊属性我们还是要自己一个一个填过去
    2012-03-03
  • Codeigniter出现错误提示Error with CACHE directory的解决方案

    Codeigniter出现错误提示Error with CACHE directory的解决方案

    这篇文章主要介绍了Codeigniter出现错误提示Error with CACHE directory的解决方案,需要的朋友可以参考下
    2014-06-06
  • Yii2 rbac权限控制之rule教程详解

    Yii2 rbac权限控制之rule教程详解

    这篇文章主要介绍了Yii2 rbac权限控制之rule教程详解的相关资料,非常不错具有参考借鉴价值,需要的朋友可以参考下
    2016-06-06
  • jQuery向下滚动即时加载内容实现的瀑布流效果

    jQuery向下滚动即时加载内容实现的瀑布流效果

    下拉滚动条或鼠标滚轮滚动到页面底部时, 动态即时加载新内容,通过本文给大家介绍jQuery向下滚动即时加载内容实现的瀑布流效果,感兴趣的朋友参考下
    2016-01-01
  • jquery+thinkphp实现跨域抓取数据的方法

    jquery+thinkphp实现跨域抓取数据的方法

    这篇文章主要介绍了jquery+thinkphp实现跨域抓取数据的方法,结合实例形式分析了thinkPHP结合jQuery的ajax实现跨域抓取数据的相关操作技巧,需要的朋友可以参考下
    2016-10-10
  • PHP 绘制网站登录首页图片验证码

    PHP 绘制网站登录首页图片验证码

    几乎所有的网站登录页都会有验证码,验证码是一种安全保护机制,用于防止垃圾注册机大量注册用户账号占用服务器内存从而使服务器瘫痪。接下来通过本文给大家介绍PHP 绘制网站登录首页图片验证码,需要的朋友参考下
    2016-04-04
  • laravel执行php artisan migrate报错的解决方法

    laravel执行php artisan migrate报错的解决方法

    今天小编就为大家分享一篇laravel执行php artisan migrate报错的解决方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-10-10
  • PHP字符串中提取文件名的实例方法

    PHP字符串中提取文件名的实例方法

    在本篇文章里小编给大家分享的是一篇关于PHP字符串中提取文件名的实例方法,有兴趣的朋友们可以跟着学习测试下。
    2021-08-08
  • ThinkPHP中order()使用方法详解

    ThinkPHP中order()使用方法详解

    本文介绍ThinkPHP的order()方法的用法。order方法可以用于对数据库操作的结果进行排序。即相当于是在select语句中一个order by的子句
    2016-04-04

最新评论