PHP解析html类库simple_html_dom的转码bug

 更新时间:2014年05月22日 15:02:53   作者:  
这篇文章主要介绍了PHP解析html类库simple_html_dom的转码bug ,需要的朋友可以参考下

这几天有在用simple_html_dom抓一些文章。不同网站的编码在国内基本上是gbk gb2312 utf-8。而以gb2312和utf-8居多。

我这一版的simple_html_dom有一个方法 convert_text 是这个样子的。

复制代码 代码如下:

 // PaperG - Function to convert the text from one character set to another if the two sets are not the same.
 function convert_text($text)
 {
  global $debug_object;
  if (is_object($debug_object)) {$debug_object->debug_log_entry(1);}
  $converted_text = $text;
  $sourceCharset = "";
  $targetCharset = "";
  if ($this->dom)
  {
   $sourceCharset = strtoupper($this->dom->_charset);
   $targetCharset = strtoupper($this->dom->_target_charset);
  }
  if (is_object($debug_object)) {$debug_object->debug_log(3, "source charset: " . $sourceCharset . " target charaset: " . $targetCharset);}
  if (!empty($sourceCharset) && !empty($targetCharset) && (strcasecmp($sourceCharset, $targetCharset) != 0))
  {
   // Check if the reported encoding could have been incorrect and the text is actually already UTF-8
   if ((strcasecmp($targetCharset, 'UTF-8') == 0) && ($this->is_utf8($text)))
   {
    $converted_text = $text;
   }
   else
   {
    $converted_text = iconv($sourceCharset, $targetCharset, $text);
   }
  }
  // Lets make sure that we don't have that silly BOM issue with any of the utf-8 text we output.
  if ($targetCharset == 'UTF-8')
  {
   if (substr($converted_text, 0, 3) == "\xef\xbb\xbf")
   {
    $converted_text = substr($converted_text, 3);
   }
   if (substr($converted_text, -3) == "\xef\xbb\xbf")
   {
    $converted_text = substr($converted_text, 0, -3);
   }
  }
  return $converted_text;
 }

来看这一行:

复制代码 代码如下:

    $converted_text = iconv($sourceCharset, $targetCharset, $text); 

会引起转码不正确。比如会把gb2312的文字转成:

复制代码 代码如下:

4月26日在<span style="color:#C03">鏈濋槼</span>公园马术场举行的2014浪琴国际马联场地障碍世界杯中国联赛资格赛上,24岁的韩壮壮不仅拿到零罚分的成绩 ...第7个出场的<span style="color:#C03">鍖椾含</span>奥运骑手赵志文第一个收获零罚分,用时77秒07 ...

既成的事实了,证明里头的转码功能没有处理好。由于我使用这个simple_html_dom只是想要用来构建dom。我并没有打算花时间去很好地处理这个bug。而是简单地把

复制代码 代码如下:

$converted_text = iconv($sourceCharset, $targetCharset, $text);

改成

复制代码 代码如下:

$converted_text = $text;

就行了。思路就是取消它的转码。好吧工作不必纠结,可以继续了。

相关文章

  • 在PHP8中向数组添加元素的常用方法

    在PHP8中向数组添加元素的常用方法

    这篇文章主要介绍了在PHP8中向数组添加元素的常用方法,在这里主要讲解几个常用的方法:使用方括号[]添加元素、使用array_unshift()函数,向数组的头部添加元素、使用array_push()函数,向数组的尾部添加元素、使用array_splice()函数添加元素,需要的朋友可以参考下
    2023-09-09
  • PHP合并静态文件详解

    PHP合并静态文件详解

    文章详细介绍了php合并静态文件所需要的相关配置以及完整代码,以及使用说明,非常的详尽,这里推荐给有需要的小伙伴
    2014-11-11
  • laravel多视图共享数据实例代码

    laravel多视图共享数据实例代码

    页面视图用于显示文档所有内容在整个页面的分布状况和整个文档在每一页上的位置,并可对其进行编辑操作,具有真正的“所见即所得”的显示效果,下面这篇文章主要给大家介绍了关于laravel多视图共享数据的相关资料,需要的朋友可以参考下
    2021-08-08
  • yii2多图上传组件的使用教程

    yii2多图上传组件的使用教程

    这篇文章主要介绍了yii2多图上传组件的使用教程,在使用过程中有许多注意要点,下面小编给大家分享到脚本之家平台,需要的朋友可以参考下
    2018-05-05
  • PHP反射机制案例讲解

    PHP反射机制案例讲解

    这篇文章主要介绍了PHP反射机制案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下
    2021-07-07
  • 解决Laravel自定义类引入和命名空间的问题

    解决Laravel自定义类引入和命名空间的问题

    今天小编就为大家整理了一篇解决Laravel自定义类引入和命名空间的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-10-10
  • ThinkPHP3.2利用QQ邮箱/163邮箱通过PHPMailer发送邮件的方法

    ThinkPHP3.2利用QQ邮箱/163邮箱通过PHPMailer发送邮件的方法

    最近因为工作的需要,要实现给我们的网站用户发送邮件的需求,所以下面这篇文章主要给大家介绍了关于ThinkPHP3.2利用QQ邮箱/163邮箱通过PHPMailer发送邮件的方法,需要的朋友可以参考借鉴,下面随着小编来一起来学习学习吧。
    2017-11-11
  • ThinkPHP提交表单时默认自动转义的解决方法

    ThinkPHP提交表单时默认自动转义的解决方法

    这篇文章主要介绍了ThinkPHP提交表单时默认自动转义的解决方法,可解决针对单引号和双引号的自动转移问题,提供了两种解决方法供大家对比选择,具有一定的实用价值,需要的朋友可以参考下
    2014-11-11
  • PHP输出缓冲控制Output Control系列函数详解

    PHP输出缓冲控制Output Control系列函数详解

    这篇文章主要介绍了PHP输出缓冲控制Output Control系列函数详解,本文讲解了输出缓冲的简介、输出缓冲的作用、php.ini 中的相关配置项、Output Control 函数详解等内容,需要的朋友可以参考下
    2015-07-07
  • PHP获取页面执行时间的方法(推荐)

    PHP获取页面执行时间的方法(推荐)

    这篇文章主要介绍了PHP获取页面执行时间的方法(推荐)的相关资料,需要的朋友可以参考下
    2016-12-12

最新评论