java实现屏蔽词功能

 更新时间:2015年12月30日 11:32:23   作者:xiaojimanman  
这篇文章主要介绍了java实现屏蔽词功能,类似贴吧里面屏蔽各种用户的发帖内容,感兴趣的小伙伴们可以参考一下

经常会看到贴吧里面屏蔽各种用户的发帖内容,当时就想这个该如何去实现。自己当时想过用字符串去替代的方式(replaceAll)去实现,但是这种效率又非常低,也不能保证最长匹配,这就是自己当时最初的想法。最近自己做的一个项目中,需要对一些内容做屏蔽,自己又对这个问题做了一次分析,最终形成下面的代码。

 /** 
 *@Description: 屏蔽词功能实现  
 */ 
package cn.yicha.novel.search.util; 
 
import java.io.BufferedReader; 
import java.io.File; 
import java.io.FileInputStream; 
import java.io.FileNotFoundException; 
import java.io.IOException; 
import java.io.InputStreamReader; 
import java.util.HashSet; 
 
import cn.yicha.novel.search.config.Config; 
 
public class Forbidden { 
  
 private static Forbidden forbidden = new Forbidden(); 
 //屏蔽词HashSet 
 private HashSet<String> keyString = new HashSet<String>(); 
 private final static int maxLength = Character.MAX_VALUE; 
 //屏蔽词长度HashSet数组 
 @SuppressWarnings("unchecked") 
 private HashSet<Integer>[] keyLength = new HashSet[maxLength]; 
  
 private Forbidden() { 
  loadForbidden(Config.getClassRoot() + "forbidden.txt"); 
 } 
 public static Forbidden getForbidden(){ 
  return forbidden; 
 } 
  
 /** 
  * @param str 
  * @return 
  * @Description: 输入的字符串通过屏蔽处理,实现最大长度匹配 
  */ 
 public String read(String str){ 
  if (str == null){ 
   return null; 
  } 
  StringBuffer stringBuffer = new StringBuffer(); 
  int start = 0; 
  for (int i = 0; i < str.length();){ 
   int at = str.charAt(i); 
   if (keyLength[at] == null){ 
    i++; 
    continue; 
   } else { 
    int ml = 0; 
    for (Object obj : keyLength[at].toArray()){ 
     int len = ((Integer)obj).intValue(); 
     if (i + len <= str.length()){ 
      String s = str.substring(i, i + len); 
      if (keyString.contains(s)){ 
       //最大长度匹配 
       ml = len > ml ? len : ml; 
      } 
     } 
    } 
    if (ml > 0){ 
     stringBuffer.append(str.substring(start, i)).append("***"); 
     i += ml; 
     start = i; 
    } else { 
     i++; 
    } 
   } 
  } 
  if (start < str.length()){ 
   stringBuffer.append(str.substring(start)); 
  } 
  return stringBuffer.toString(); 
 } 
  
 /** 
  * @param path 
  * @Description: 初始化加载屏蔽词 
  * @Description: 存储屏蔽词的数据格式逻辑如下 
  * @Description: 构建一个HashSet<String>用于存储所有的屏蔽词 
  * @Description: 构建长度为maxLength = Character.MAX_VALUE 的 HashSet<Integer>数组 
  * @Description: 将加载的屏蔽中第一个字符转化成int值,即相关信息存储在数组中的位置, 
  * @Description: 如“你好呀”得到'你'的int值为20320,即“你好呀”相关信息存储在数组的第20320位置 
  * @Description: 数组每一位存储的HashSet<Integer>结构存储在该位置的屏蔽词的长度 
  */ 
 public void loadForbidden(String path){ 
  File forbiddenFile = new File(path); 
  FileInputStream fileInputStream; 
  try { 
   fileInputStream = new FileInputStream(forbiddenFile); 
   InputStreamReader inputStreamReader = new InputStreamReader(fileInputStream, "utf-8"); 
   BufferedReader bufferedReader = new BufferedReader(inputStreamReader); 
   String s; 
   while ((s = bufferedReader.readLine()) != null){ 
    s = s.trim(); 
    if (s.length() > 0){ 
     keyString.add(s); 
     int i = s.charAt(0); 
     if (keyLength[i] == null){ 
      //屏蔽词长度HashSet 
      HashSet<Integer> a = new HashSet<Integer>(); 
      a.add(s.length()); 
      keyLength[i] = a; 
     } else { 
      keyLength[i].add(s.length()); 
     } 
    } 
   } 
   fileInputStream.close(); 
   bufferedReader.close(); 
   fileInputStream.close(); 
  } catch (FileNotFoundException e) { 
   e.printStackTrace(); 
  } catch (IOException e) { 
   e.printStackTrace(); 
  } 
 } 
 
 public static void main(String[] args) { 
//  System.out.println(Forbidden.getForbidden().read("AV女优nihao")); 
  int i = '你'; 
  System.out.println(i); 
 } 
} 

以上就是java实现屏蔽词功能的关键代码,希望对大家的学习有所帮助。

相关文章

  • SpringBoot项目与Nacos配置全过程

    SpringBoot项目与Nacos配置全过程

    本文介绍了如何在SpringBoot项目中使用Nacos作为配置中心,实现动态配置管理和实时更新配置的能力,通过配置命名空间和yml文件,创建SpringBoot项目并添加Nacos依赖,编写Controller和启动类,配置Tomcat启动程序,最终在Nacos服务端注册成功
    2024-11-11
  • Java实现简易HashMap功能详解

    Java实现简易HashMap功能详解

    这篇文章主要介绍了Java实现简易HashMap功能,结合实例形式详细分析了Java实现HashMap功能相关原理、操作步骤与注意事项,需要的朋友可以参考下
    2020-05-05
  • SpringCloud项目集成Feign、Hystrix过程解析

    SpringCloud项目集成Feign、Hystrix过程解析

    这篇文章主要介绍了SpringCloud项目集成Feign、Hystrix过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-11-11
  • 深入理解java中Arrays.sort()的用法

    深入理解java中Arrays.sort()的用法

    这篇文章主要介绍了深入理解java中Arrays.sort()的用法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-05-05
  • Java语言的安装、配置、编译与运行过程

    Java语言的安装、配置、编译与运行过程

    本文详细介绍了如何在Windows、macOS和Linux操作系统上安装、配置Java开发环境(JDK),并展示了如何编写、编译和运行Java程序,同时,还提供了常见问题的解决方案,正确配置Java环境对Java开发至关重要,是进行Java编程的基础
    2025-02-02
  • SpringBoot Mail邮件任务详情

    SpringBoot Mail邮件任务详情

    这篇文章主要介绍了SpringBoot Mail邮件任务详情,文章通过spring-boot-starter-mail包展开详细内容,需要的小伙伴可以参考一下
    2022-05-05
  • Spring注解 TX声明式事务实现过程解析

    Spring注解 TX声明式事务实现过程解析

    这篇文章主要介绍了Spring注解 - TX 声明式事务实现过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-04-04
  • 详解Kotlin的空指针处理

    详解Kotlin的空指针处理

    这篇文章主要介绍了详解Kotlin的空指针处理的相关资料,需要的朋友可以参考下
    2017-06-06
  • Java8新增的重复注解功能示例

    Java8新增的重复注解功能示例

    这篇文章主要介绍了Java8新增的重复注解功能,结合实例形式分析了java8重复注解的功能、定义、使用方法及相关操作注意事项,需要的朋友可以参考下
    2019-10-10
  • Java实现简易扑克牌游戏的完整实例

    Java实现简易扑克牌游戏的完整实例

    这篇文章主要介绍了Java实现简易扑克牌游戏的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-04-04

最新评论