php实现的一个很好用HTML解析器类可用于采集数据

 更新时间:2013年09月23日 17:24:33   作者:   我要评论
下面就是这个 HTML解析类及用法,下面的功能是采集www.opendir.cn这个网站的百度收录数据,需要的朋友可以测试下
复制代码 代码如下:

<?php  
 $oldSetting = libxml_use_internal_errors( true );   
libxml_clear_errors();  
/**
 * 
 * -+-----------------------------------
 * |PHP5 Framework - 2011
 * |Web Site: www.iblue.cc
 * |E-mail: mejinke@gmail.com
 * |Date: 2012-10-12
 * -+-----------------------------------
 * 
 * @desc HTML解析器
 * @author jingke
 */   
class XF_HtmlDom  
{  
    private $_xpath = null;  
    private $_nodePath = '';  

    public function __construct($xpath = null, $nodePath = '')  
    {  
        $this->_xpath = $xpath;  
        $this->_nodePath = $nodePath;  
    }  

    public function loadHtml($url)  
    {  
        ini_set('user_agent', 'Mozilla/5.0 (Linux; U; Android 2.1; en-us; Nexus One Build/ERD62) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17 –Nexus');  
        $content = '';  
        if(strpos(strtolower($url), 'http')===false)  
        {  
            $content = file_get_contents($url);  
        }  
        else 
        {  
            $ch = curl_init();   
            $user_agent = "Baiduspider+(+http://www.baidu.com/search/spider.htm)";  
            $user_agent1='Mozilla/5.0 (Windows NT 5.1; rv:6.0) Gecko/20100101 Firefox/6.0';  
            curl_setopt($ch, CURLOPT_URL, $url);   
            curl_setopt($ch, CURLOPT_HEADER, false);   
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);   
            curl_setopt($ch, CURLOPT_REFERER, $url);  
            curl_setopt($ch, CURLOPT_USERAGENT, $user_agent1);  
            curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);  
            $content =curl_exec($ch);   
            curl_close($ch);  
        }  

        $html = new DOMDocument();   
        $html->loadHtml($content);   
        $this->_xpath = new DOMXPath( $html );   
        //return $this; 

    }  

    public function find($query, $index = null)  
    {  
        if($this->_nodePath == '')  
            $this->_nodePath = '//'; 
        else 
            $this->_nodePath .= '/';  

        $nodes = $this->_xpath->query($this->_nodePath.$query);  
        //echo $nodes->item(0)->getNodePath();exit; 

          
        if ($index == null && !is_numeric($index))   
        {   
            $tmp = array();  
            foreach ($nodes as $node)   
            {  
                $tmp[] = new XF_HtmlDom($this->_xpath, $node->getNodePath());  
            }  
            return $tmp;  
        }  
        return new XF_HtmlDom($this->_xpath,$this->_xpath->query($this->_nodePath.$query)->item($index)->getNodePath());  
    }  

    /**
     * 获取内容
     */ 
    public function text()  
    {  
        if ($this->_nodePath != '' && $this->_xpath != null )   
            return $this->_xpath->query($this->_nodePath)->item(0)->textContent;  
        else 
            return false;  
    }  

    /**
     * 获取属性值
     */ 
    public function getAttribute($name)  
    {  
        if ($this->_nodePath != '' && $this->_xpath != null )   
            return $this->_xpath->query($this->_nodePath)->item(0)->getAttribute($name);  
        else 
            return false;  
    }  

    public function __get($name)  
    {  
        if($name == 'innertext')  
            return $this->text();  
        else 
            return $this->getAttribute($name);  
    }    
}    
$xp = new xf_HtmlDom();  
$xp->loadHtml('http://www.aizhan.com/siteall/www.opendir.cn/'); 
$rows = $xp->find("td[@id='baidu']/a", 0)->innertext;  
print_r($rows); 

相关文章

  • 页面利用渐进式JPEG来提升用户体验度

    页面利用渐进式JPEG来提升用户体验度

    这篇文章主要介绍了页面利用渐进式JPEG来提升用户体验度的相关资料,需要的朋友可以参考下
    2014-12-12
  • 浅析PHP中strlen和mb_strlen的区别

    浅析PHP中strlen和mb_strlen的区别

    在php中常见的计算字符串长度的函数有:strlen和mb_strlen.当字符全是英文字符的时候,两者是一样。这里主要比较一下,中英文混排的时候,两个计算结果。
    2014-08-08
  • php获取指定日期之间的各个周和月的起止时间

    php获取指定日期之间的各个周和月的起止时间

    本文推荐给大家一个php类文件,可以根据指定日期获取所在周的起始时间和结束时间,并附上使用实例,有需要的小伙伴参考下吧
    2014-11-11
  • PHP开发框架kohana中处理ajax请求的例子

    PHP开发框架kohana中处理ajax请求的例子

    这篇文章主要介绍了PHP开发框架kohana中处理ajax请求的例子,kohana是一个PHP5开发框架,需要的朋友可以参考下
    2014-07-07
  • 完美的php分页类

    完美的php分页类

    这篇文章主要分享了一段完美的php分页类,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-10-10
  • Laravel5.5中利用Passport实现Auth认证的方法

    Laravel5.5中利用Passport实现Auth认证的方法

    Laravel5.3 开始使用Passport作为API授权,Passport 是基于 OAuth2 的,下面这篇文章主要给大家介绍了关于Laravel5.5中利用Passport实现Auth认证的方法,文中通过示例代码介绍介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-12-12
  • yii2简单使用less代替css示例

    yii2简单使用less代替css示例

    本篇文章主要介绍了yii2简单使用less代替css示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-03-03
  • php像数组一样存取和修改字符串字符

    php像数组一样存取和修改字符串字符

    PHP中字符串中的字符可以通过一个以0为开始的,用类似数组结构中的方括号包含对应的数字来查找和修改,
    2014-03-03
  • 使用Apache的htaccess防止图片被盗链的解决方法

    使用Apache的htaccess防止图片被盗链的解决方法

    本篇文章介绍了,php中使用Apache的htaccess防止图片被盗链的解决方法。需要的朋友参考下
    2013-04-04
  • laravel学习笔记之模型事件的几种用法示例

    laravel学习笔记之模型事件的几种用法示例

    这篇文章主要给大家介绍了关于laravel学习笔记之模型事件用法的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用laravel具有一定的参考学习价值,需要的朋友可以参考借鉴,下面来跟着小编一起学习学习吧。
    2017-08-08

最新评论