Java实现敏感词过滤实例

 /** 
  * 读取敏感词库，将敏感词放入HashSet中，构建一个DFA算法模型：<br> 
  * 中 = { 
  *  isEnd = 0 
  *  国 = {<br> 
  *   isEnd = 1 
  *   人 = {isEnd = 0 
  *    民 = {isEnd = 1} 
  *    } 
  *   男 = { 
  *     isEnd = 0 
  *     人 = { 
  *      isEnd = 1 
  *      } 
  *    } [ 0-9]
  *   } 
  *  } 
  * 五 = { 
  *  isEnd = 0 
  *  星 = { 
  *   isEnd = 0 
  *   红 = { 
  *    isEnd = 0 
  *    旗 = { 
  *     isEnd = 1 
  *     } 
  *    } 
  *   } 
  *  } 
  * @author chenming 
  * @date 2014年4月20日 下午3:04:20 
  * @param keyWordSet 敏感词库 
  * @version 0 
  */ 
 @SuppressWarnings({ "rawtypes", "unchecked" }) 
 private void addSensitiveWordToHashMap(Set<String> keyWordSet) { 
  sensitiveWordMap = new HashMap(keyWordSetsize());  //初始化敏感词容器，减少扩容操作 
  String key = null; 
  Map nowMap = null; 
  Map<String, String> newWorMap = null; 
  //迭代keyWordSet 
  Iterator<String> iterator = keyWordSetiterator(); 
  while(iteratorhasNext()){ 
   key = iteratornext(); //关键字 
   nowMap = sensitiveWordMap; 
   for(int i = 0 ; i < keylength() ; i++){ 
    char keyChar = keycharAt(i);  //转换成char型 
    Object wordMap = nowMapget(keyChar);  //获取 
     
    if(wordMap != null){  //如果存在该key，直接赋值 
     nowMap = (Map) wordMap; 
    } 
    else{  //不存在则，则构建一个map，同时将isEnd设置为0，因为他不是最后一个 
     newWorMap = new HashMap<String,String>(); 
     newWorMapput("isEnd", "0");  //不是最后一个 
     nowMapput(keyChar, newWorMap); 
     nowMap = newWorMap; 
    } 
     
    if(i == keylength() - 1){ 
     nowMapput("isEnd", "1"); //最后一个 
    } 
   } 
  } 
 } 

/** 
  * 检查文字中是否包含敏感字符，检查规则如下：<br> 
  * @author chenming 
  * @date 2014年4月20日 下午4:31:03 
  * @param txt 
  * @param beginIndex 
  * @param matchType 
  * @return，如果存在，则返回敏感词字符的长度，不存在返回0 
  * @version 0 
  */ 
 @SuppressWarnings({ "rawtypes"}) 
 public int CheckSensitiveWord(String txt,int beginIndex,int matchType){ 
  boolean flag = false; //敏感词结束标识位：用于敏感词只有1位的情况 
  int matchFlag = 0;  //匹配标识数默认为0 
  char word = 0; 
  Map nowMap = sensitiveWordMap; 
  for(int i = beginIndex; i < txtlength() ; i++){ 
   word = txtcharAt(i); 
   nowMap = (Map) nowMapget(word);  //获取指定key 
   if(nowMap != null){  //存在，则判断是否为最后一个 
    matchFlag++;  //找到相应key，匹配标识+1 
    if("1"equals(nowMapget("isEnd"))){  //如果为最后一个匹配规则,结束循环，返回匹配标识数 
     flag = true;  //结束标志位为true  
     if(SensitivewordFilterminMatchTYpe == matchType){ //最小规则，直接返回,最大规则还需继续查找 
      break; 
     } 
    } 
   } 
   else{  //不存在，直接返回 
    break; 
   } 
  } 
  if(matchFlag < 2 && !flag){  
   matchFlag = 0; 
  } 
  return matchFlag; 
 } 

public static void main(String[] args) { 
  SensitivewordFilter filter = new SensitivewordFilter(); 
  Systemoutprintln("敏感词的数量：" + filtersensitiveWordMapsize()); 
  String string = "太多的伤感情怀也许只局限于饲养基地 荧幕中的情节，主人公尝试着去用某种方式渐渐的很潇洒地释自杀指南怀那些自己经历的伤感。" 
      + "然后法轮功 我们的扮演的角色就是跟随着主人公的喜红客联盟 怒哀乐而过于牵强的把自己的情感也附加于银幕情节中，然后感动就流泪，" 
      + "难过就躺在某一个人的怀里尽情的阐述心扉或者手机卡复制器一个人一杯红酒一部电影在夜三级片 深人静的晚上，关上电话静静的发呆着。"; 
  Systemoutprintln("待检测语句字数：" + stringlength()); 
  long beginTime = SystemcurrentTimeMillis(); 
  Set<String> set = filtergetSensitiveWord(string, 1); 
  long endTime = SystemcurrentTimeMillis(); 
  Systemoutprintln("语句中包含敏感词的个数为：" + setsize() + "。包含：" + set); 
  Systemoutprintln("总共消耗时间为：" + (endTime - beginTime)); 
 }