SpringBoot使用SensitiveWord实现敏感词过滤

更新时间：2023年01月14日 09:01:27 作者：墨水记忆

这篇文章主要为大家详细介绍了SpringBoot如何使用SensitiveWord实现敏感词过滤功能，文中示例代码讲解详细，感兴趣的小伙伴可以了解一下

导入依赖

<dependency>
  <groupId>com.github.houbb</groupId>
  <artifactId>sensitive-word</artifactId>
  <version>0.2.0</version>
</dependency>

Github地址

方法

方法	参数	返回值	说明
contains(String)	待验证的字符串	布尔值	验证字符串是否包含敏感词
replace(String, ISensitiveWordReplace)	使用指定的替换策略替换敏感词	字符串	返回脱敏后的字符串
replace(String, char)	使用指定的 char 替换敏感词	字符串	返回脱敏后的字符串
replace(String)	使用 * 替换敏感词	字符串	返回脱敏后的字符串
findAll(String)	待验证的字符串	字符串列表	返回字符串中所有敏感词
findFirst(String)	待验证的字符串	字符串	返回字符串中第一个敏感词
findAll(String, IWordResultHandler)	IWordResultHandler 结果处理类	字符串列表	返回字符串中所有敏感词
findFirst(String, IWordResultHandler)	IWordResultHandler 结果处理类	字符串	返回字符串中第一个敏感词

ISensitiveWordReplace：敏感词替换策略。

IWordResultHandler：结果处理。可以对敏感词的结果进行处理，允许用户自定义。内置了WordResultHandlers 工具类。

WordResultHandlers.word()：只保留敏感词单词本身。
WordResultHandlers.raw()：保留敏感词相关信息，包含敏感词以及敏感词对应的开始和结束下标。

默认示例

使用默认提供的方法。

@Test
void testWord() {
  String text = "红旗迎风飘扬，主席的画像屹立在天安门前。";
  System.out.println(SensitiveWordHelper.contains(text));

  System.out.println(SensitiveWordHelper.replace(text));
  System.out.println(SensitiveWordHelper.replace(text, '0'));

  System.out.println(SensitiveWordHelper.findFirst(text));
  System.out.println(SensitiveWordHelper.findFirst(text, WordResultHandlers.word()));
  System.out.println(SensitiveWordHelper.findFirst(text, WordResultHandlers.raw()));

  System.out.println(SensitiveWordHelper.findAll(text));
  System.out.println(SensitiveWordHelper.findAll(text, WordResultHandlers.word()));
  System.out.println(SensitiveWordHelper.findAll(text, WordResultHandlers.raw()));

}

输出：

Init sensitive word map end! Cost time: 163ms
true
****迎风飘扬，***的画像屹立在***前。
0000迎风飘扬，000的画像屹立在000前。
红旗
红旗
WordResult{word='红旗', startIndex=0, endIndex=4}
[红旗, 主席, 天安门]
[红旗, 主席, 天安门]
[WordResult{word='红旗', startIndex=0, endIndex=4}, WordResult{word='主席', startIndex=9, endIndex=12}, WordResult{word='天安门', startIndex=18, endIndex=21}]

自定义替换策略示例

采用自定义的替换策略实现。首先需要实现 ISensitiveWordReplace接口自定义替换策略：

package com.tothefor;

import com.github.houbb.heaven.util.lang.CharUtil;
import com.github.houbb.sensitive.word.api.ISensitiveWordReplace;
import com.github.houbb.sensitive.word.api.ISensitiveWordReplaceContext;

public class MySensitiveWordReplace implements ISensitiveWordReplace {

  @Override
  public String replace(ISensitiveWordReplaceContext context) {
    String sensitiveWord = context.sensitiveWord();
    // 自定义不同的敏感词替换策略，可以从数据库等地方读取
    if ("红旗".equals(sensitiveWord)) {
      return "旗帜";
    }

    if ("天安门".equals(sensitiveWord)) {
      return "门";
    }

    if ("主席".equals(sensitiveWord)) {
      return "教员";
    }
    // 其他默认使用 * 代替
    int wordLength = context.wordLength();
    return CharUtil.repeat('*', wordLength);
  }

}

使用：

@Test
void testWord() {
  String text = "红旗迎风飘扬，主席的画像屹立在天安门前。";
  System.out.println(SensitiveWordHelper.contains(text));
  System.out.println(SensitiveWordHelper.replace(text, new MySensitiveWordReplace()));

  String text1 = "最好的记忆不如最淡的墨水。";
  System.out.println(SensitiveWordHelper.contains(text1));
  System.out.println(SensitiveWordHelper.replace(text1, new MySensitiveWordReplace()));

}

输出：

Init sensitive word map end! Cost time: 16ms
true
旗帜迎风飘扬，教员的画像屹立在门前。
false
最好的记忆不如最淡的墨水。

自定义

点进 SensitiveWordHelper 源码，可以看见以下代码：

private static final SensitiveWordBs WORD_BS = SensitiveWordBs.newInstance().init();

而且可以发现，方法也都是调用的 SensitiveWordBs 类的方法。所以，可以理解成 SensitiveWordHelper 只是对 SensitiveWordBs 的一层封装，而之所以封装就是为了提供给开发者针对简单场景的快速的使用。

而且从上面的创建语句中可以看见，没有加任何其他的东西，就只是初始化了一个，这也是最简单的。接下来就是自定义 SensitiveWordBs 实现敏感词过滤。

自定义SensitiveWordBs

下来看有哪些参数可以加，各项配置的说明如下：

序号	方法	说明
1	ignoreCase	忽略大小写
2	ignoreWidth	忽略半角圆角
3	ignoreNumStyle	忽略数字的写法
4	ignoreChineseStyle	忽略中文的书写格式
5	ignoreEnglishStyle	忽略英文的书写格式
6	ignoreRepeat	忽略重复词
7	enableNumCheck	是否启用数字检测。默认连续 8 位数字认为是敏感词
8	enableEmailCheck	是有启用邮箱检测
9	enableUrlCheck	是否启用链接检测

然后创建自定义的 SensitiveWordBs，如下：

package com.tothefor.motorcode.core.SensitiveWord;

import com.github.houbb.sensitive.word.bs.SensitiveWordBs;
import com.github.houbb.sensitive.word.support.allow.WordAllows;
import com.github.houbb.sensitive.word.support.deny.WordDenys;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class SensitiveWordConfig {

  @Autowired
  private CustomWordAllow customWordAllow;

  @Autowired
  private CustomWordDeny customWordDeny;

  /**
     * 初始化引导类
     *
     * @return 初始化引导类
     * @since 1.0.0
     */
  @Bean
  public SensitiveWordBs sensitiveWordBs() {
    // 可根据数据库数据判断 动态增加配置
    return SensitiveWordBs.newInstance()
      .wordDeny(WordDenys.chains(WordDenys.system(),customWordDeny)) // 设置黑名单
      .wordAllow(WordAllows.chains(WordAllows.system(), customWordAllow)) // 设置白名单
      .ignoreCase(true)
      .ignoreWidth(true)
      .ignoreNumStyle(true)
      .ignoreChineseStyle(true)
      .ignoreEnglishStyle(true)
      .ignoreRepeat(true)
      .enableEmailCheck(true)
      .enableUrlCheck(true)
      // 各种其他配置
      .init();
  }

}

其中，wordDeny、wordAllow是自定义敏感词的黑名单和白名单。可以设置单个，也可以设置多个。如下：

// 设置系统默认敏感词
SensitiveWordBs wordBs = SensitiveWordBs.newInstance()
     .wordDeny(WordDenys.system()) // 黑名单
     .wordAllow(WordAllows.system()) // 白名单
     .init();

// 设置自定义敏感词
SensitiveWordBs wordBs = SensitiveWordBs.newInstance()
     .wordDeny(new MyWordDeny())
     .wordAllow(new MyWordAllow())
     .init();

// 设置多个敏感词，系统默认和自定义
IWordDeny wordDeny = WordDenys.chains(WordDenys.system(), new MyWordDeny());
IWordAllow wordAllow = WordAllows.chains(WordAllows.system(), new MyWordAllow());
SensitiveWordBs wordBs = SensitiveWordBs.newInstance()
     .wordDeny(wordDeny)
     .wordAllow(wordAllow)
     .init();

接下来再加自定义敏感词配置。

自定义敏感词白名单

自定义有哪一些是敏感词白名单，如果遇见是需要进行展示的。通过实现 IWordAllow 接口重写 allow() 方法返回白名单敏感词。

package com.tothefor.motorcode.core.SensitiveWord;

import com.github.houbb.sensitive.word.api.IWordAllow;
import org.springframework.stereotype.Service;

import java.util.Arrays;
import java.util.List;

@Service
public class CustomWordAllow implements IWordAllow {

  /**
     * 允许的内容-返回的内容不被当做敏感词
     * @return
     */
  @Override
  public List<String> allow() {
    // 从数据库中查询白名单敏感词
    return Arrays.asList("红旗");
  }

}

自定义敏感词黑名单

增加敏感词黑名单。通过实现 IWordDeny 接口重写 deny() 方法返回黑名单敏感词。

package com.tothefor.motorcode.core.SensitiveWord;

import com.github.houbb.sensitive.word.api.IWordDeny;
import org.springframework.stereotype.Service;

import java.util.Arrays;
import java.util.List;

/**
 * 自定义敏感词
 */
@Service
public class CustomWordDeny implements IWordDeny {

  /**
     * 拒绝出现的数据-返回的内容被当做是敏感词
     *
     * @return
     */
  @Override
  public List<String> deny() {
    // 从数据库中查询自定义敏感词
    return Arrays.asList("红旗");
  }

}

示例

测试自定义使用：

@Autowired
private SensitiveWordBs sensitiveWordBs;

@Test
void testWord() {
  String text = "红旗迎风飘扬，主席的画像屹立在天安门前。";
  System.out.println(sensitiveWordBs.contains(text));

  System.out.println(sensitiveWordBs.replace(text));
  System.out.println(sensitiveWordBs.replace(text, '0'));
  System.out.println(sensitiveWordBs.replace(text, new MySensitiveWordReplace()));

  System.out.println(sensitiveWordBs.findFirst(text));
  System.out.println(sensitiveWordBs.findFirst(text, WordResultHandlers.word()));
  System.out.println(sensitiveWordBs.findFirst(text, WordResultHandlers.raw()));

  System.out.println(sensitiveWordBs.findAll(text));
  System.out.println(sensitiveWordBs.findAll(text, WordResultHandlers.word()));
  System.out.println(sensitiveWordBs.findAll(text, WordResultHandlers.raw()));

}

输出：

true
红旗迎风飘扬，***的画像屹立在***前。
红旗迎风飘扬，000的画像屹立在000前。
红旗迎风飘扬，教员的画像屹立在门前。
主席
主席
WordResult{word='主席', startIndex=9, endIndex=12}
[主席, 天安门]
[主席, 天安门]
[WordResult{word='主席', startIndex=9, endIndex=12}, WordResult{word='天安门', startIndex=18, endIndex=21}]

可以看见，和之前的有一点不一样。‘红旗’ 并没有被过滤掉，主要原因就是因为我们的自定义敏感词白名单中加入了 ‘红旗’ ，所以没有被过滤掉。但是黑名单中又有这个词，为什么没有被过滤掉？这里有个点就是：如果黑名单和白名单中都有同一个敏感词，那么这个词是不会被过滤的。

重置词库

因为敏感词库的初始化较为耗时，建议程序启动时做一次 init 初始化。但为了保证敏感词修改可以实时生效且保证接口的尽可能简化，可以在数据库词库发生变更时，需要词库生效，主动触发一次初始化 sensitiveWordBs.init()。因为在调用 sensitiveWordBs.init() 的时候，根据 IWordDeny+IWordAllow 重新构建敏感词库。因为初始化可能耗时较长（秒级别），所有优化为 init 未完成时不影响旧的词库功能，完成后以新的为准。

@Autowired
private SensitiveWordBs sensitiveWordBs;
sensitiveWordBs.init();

每次数据库的信息发生变化之后，首先调用更新数据库敏感词库的方法，然后调用这个方法。但不推荐将此方法放在数据库被修改后就调用，而推荐单独开一个接口，手动调用。

总结

所有的操作均是在 SensitiveWordBs 上操作的。

以上就是SpringBoot使用SensitiveWord实现敏感词过滤的详细内容，更多关于SpringBoot SensitiveWord敏感词过滤的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

Spring MVC深度解析从原理到实战(最新推荐)
MVC是一种经典的软件架构模式,本文给大家介绍Spring MVC深度解析从原理到实战,感兴趣的朋友一起看看吧
2025-05-05
java实例方法被覆盖,静态方法被隐藏Explain(详解)
下面小编就为大家带来一篇java实例方法被覆盖,静态方法被隐藏Explain(详解)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-05-05
SpringBoot中的@FeignClient注解使用
文章主要介绍了SpringCloud中的@FeignClient注解的使用及其参数详解,包括value/name、url、path、configuration、fallback/fallbackFactory、contextId等,通过@FeignClient注解,可以方便地声明一个REST客户端,并定义与目标服务通信的接口
2024-11-11
彻底搞懂Java多线程(二)
这篇文章主要给大家介绍了关于Java面试题之多线程和高并发的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用java具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2021-07-07
spring boot项目生成docker镜像并完成容器部署的方法步骤
这篇文章主要介绍了spring boot项目生成docker镜像并完成容器部署的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-10-10
一文搞懂MyBatis一级缓存和二级缓存
本文主要介绍了一文搞懂MyBatis一级缓存和二级缓存，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-05-05
linux中nohup java -jar启动java项目的步骤
nohup是一个Unix和Linux命令,用于运行关闭时不会被终止的进程,这篇文章主要给大家介绍了关于linux中nohup java -jar启动java项目的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下
2024-08-08
springboot整合quartz项目使用案例
quartz是一个定时调度的框架，就目前市场上来说，其实有比quartz更优秀的一些定时调度框架，不但性能比quartz好，学习成本更低，而且还提供可视化操作定时任务，这篇文章主要介绍了springboot整合quartz项目使用（含完整代码）,需要的朋友可以参考下
2023-05-05
springboot访问后端静态资源404问题
文章主要介绍了在Spring Boot中访问后台静态资源时可能出现的404错误及解决方法,并解释了MyBatis中驼峰命名转下划线的默认行为以及如何使用@Id和@GeneratedValue注解来标识主键属性
2024-12-12
JVM的类加载过程详细说明
近来读了《深入理解JVM虚拟机》的部分内容,对JVM也慢慢有个整体的认识,今天就来分享一下我对JVM类加载过程的学习和理解,需要的朋友可以参考下
2021-06-06