php 一元分词算法

 更新时间:2009年11月30日 21:09:39   作者:  
php 一元分词算法

复制代码 代码如下:


/**
* 一元分词算法
* UTF8编码下一个字符如果首字符ASCII码不大于192则只占1个字节
* 如果首字符ASCII码大于192小于224则占用2个字节,否则占用3个字节
* 一元分词需要在mysql的my.ini文件中增加 ft_min_word_len=1
* 可以使用mysql查询语句 show variables like '%ft%' 查看mysql全文搜索相关设置
*
* @access global
* @param string $str
* @param boolean $unique 是否去除重复值
* @param boolean $merge 是否合并附加值
* @return array
*/
function seg_word($str,$unique=false,$merge=true)
{
$str = trim(strip_tags($str));
$strlen = strlen($str);
if($strlen == 0) return array();
$spc = ' ';
//按需增加需要过滤的字符
$search = array(',', '/', '\\', '.', ';', ':', '\'', '!', '~','"', '`', '^', '(', ')', '?', '-', "\t", "\n", '\'', '<', '>', "\r", "\r\n", '\$', '&', '%', '#', '@', '+', '=', '{', '}', '[', ']', ')', '(', '.', '。', ',', '!', ';', '“', '”', '‘', ''', '[', ']', '、', '—', ' ', '《', '》', '-', '…', '【', '】',':');
$numpairs = array('1'=>'一','2'=>'二','3'=>'三','4'=>'四','5'=>'五','6'=>'六','7'=>'七','8'=>'八','9'=>'九','0'=>'零');
$str = alab_num($str);
$str = str_replace($search,' ',$str);
$ord = $i = $k = 0;
$prechar = 0;// 0-空白 1-英文和符号 2-中文
$result = array();
$annex = array();

while($ord = ord($str[$i]))
{
//1字节字符
if ($ord <= 0xC0 )
{
//去除空字符串
if($ord < 33) {
$prechar=0;
$i++;
$k++;
continue;
}
//附加中文大写数字转换
if(isset($numpairs[$str[$i]])) {
$annex[]=$numpairs[$str[$i]];
}
//如果前面是中文
if( $prechar == 2 ){
$result[++$k] = $str[$i];
}
else {
$result[$k] .= $str[$i];
}
$prechar = 1;
$i++;
}
else //2-3字节字符(中文)
{
if($ord < 0xE0)
$step = 2;
else
$step = 3;
$c = substr($str,$i,$step);
if(false !== $key = array_search($c,$numpairs)){
$annex[] = $key;
}
if ($prechar != 0) {
$result[++$k] = $c;
}
else {
$result[$k] .= $c;
}

$prechar = 2;
$i+=$step;
}
}
$result = $merge ? array_merge($result,$annex) : $result ;
return $unique ? array_unique($result) : $result ;
}

相关文章

  • PHP使用preg_split和explode分割textarea存放内容的方法分析

    PHP使用preg_split和explode分割textarea存放内容的方法分析

    这篇文章主要介绍了PHP使用preg_split和explode分割textarea存放内容的方法,结合实例形式分析preg_split和explode函数的功能、使用技巧与文本字符串分割过程中的相关注意事项,需要的朋友可以参考下
    2017-07-07
  • 解析在PHP中使用mysqli扩展库对mysql的操作

    解析在PHP中使用mysqli扩展库对mysql的操作

    本篇文章是对在PHP中使用mysqli扩展库对mysql的操作进行了详细的分析介绍,需要的朋友参考下
    2013-07-07
  • 分享一个超好用的php header下载函数

    分享一个超好用的php header下载函数

    这篇文章主要为大家分享一个超好用的php header下载函数,需要的朋友可以参考下
    2014-01-01
  • 高质量PHP代码的50个实用技巧必备(上)

    高质量PHP代码的50个实用技巧必备(上)

    这篇文章主要为大家分享了50个高质量PHP代码的实用技巧,大家必备的php实用代码,感兴趣的小伙伴们可以参考一下
    2016-01-01
  • php使用GD库创建图片缩略图的方法

    php使用GD库创建图片缩略图的方法

    这篇文章主要介绍了php使用GD库创建图片缩略图的方法,涉及php使用GD库操作图片的相关技巧,需要的朋友可以参考下
    2015-06-06
  • php下获取http状态的实现代码

    php下获取http状态的实现代码

    在项目开发中,有时我们需要知道远程的URL地址是否能访问正常,判断其正常与否后进行下一步的操作,那么在PHP中如何获取远程HTTP的状态呢
    2014-05-05
  • PHP数据对象PDO操作技巧小结

    PHP数据对象PDO操作技巧小结

    这篇文章主要介绍了PHP数据对象PDO操作方法,结合实例形式总结分析了php基于pdo的各种常见数据库操作相关技巧与注意事项,需要的朋友可以参考下
    2016-09-09
  • Lumen timezone 时区设置方法(慢了8个小时)

    Lumen timezone 时区设置方法(慢了8个小时)

    今天用 Lumen 框架写代码时, 也是初次体验 Lumen, 遇到了一个问题, 从数据库里查出的时间比数据库里保存的 TIMESTAMP 时间慢了8个小时, 很明显这是一个时区设置的问题, 本以为可以在1分钟内解决的, 但是我错了
    2018-01-01
  • 浅谈如何提高PHP代码质量之端到端集成测试

    浅谈如何提高PHP代码质量之端到端集成测试

    在本系列的前几部分中,我们建立了一个构建工具,一些静态代码分析器,并开始编写单元测试。为了使我们的测试堆栈更完整,有一些测试可以检查你的代码是否在真实环境中运行,以及它是否能在更复杂的业务场景中运行良好。
    2021-05-05
  • jQuery+PHP实现图片上传并提交功能

    jQuery+PHP实现图片上传并提交功能

    这篇文章主要介绍了jQuery加PHP实现图片上传并提交实现详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07

最新评论