Java DFA算法案例详解
1.背景
项目中需要对敏感词做一个过滤，首先有几个方案可以选择：
- 直接将敏感词组织成String后，利用indexOf方法来查询。
- 传统的敏感词入库后SQL查询。
- 利用Lucene建立分词索引来查询。
- 利用DFA算法来进行。
首先，项目收集到的敏感词有几千条，使用a方案肯定不行。其次，为了方便以后的扩展性尽量减少对数据库的依赖，所以放弃b方案。然后Lucene本身作为本地索引，敏感词增加后需要触发更新索引，并且这里本着轻量原则不想引入更多的库，所以放弃c方案。于是我们选定d方案为研究目标。
2.DFA算法简介
DFA全称为：Deterministic Finite Automaton,即确定有穷自动机。其特征为：有一个有限状态集合和一些从一个状态通向另一个状态的边，每条边上标记有一个符号，其中一个状态是初态，某些状态是终态。但不同于不确定的有限自动机，DFA中不会有从同一状态出发的两条边标志有相同的符号。
简单点说就是，它是是通过event和当前的state得到下一个state，即event+state=nextstate。理解为系统中有多个节点，通过传递进入的event，来确定走哪个路由至另一个节点，而节点是有限的。
3.敏感词搜寻中的DFA算法
3.1敏感词库构造描述
以王八蛋和王八羔子两个敏感词来进行描述，首先构建敏感词库，该词库名称为SensitiveMap，这两个词的二叉树构造为：
用hash表构造为：
3.2基于敏感词库收索算法的描述
以上面例子构造出来的SensitiveMap为敏感词库进行示意，假设这里输入的关键字为：王八不好，流程图如下：
4.代码编写
4.1构造敏感词实现代码
4.2实现敏感词查询代码
5.优化思路
5.1敏感词中间填充无意义字符问题
对于“王*八&&蛋”这样的词，中间填充了无意义的字符来混淆，在我们做敏感词搜索时，同样应该做一个无意义词的过滤，当循环到这类无意义的字符时进行跳过，避免干扰。
5.2敏感词用拼音或部分用拼音代替
两种解决思路：一种是最简单是遇到这类问题，先丰富敏感词库进行快速解决。第二种是判断时将敏感词转换为拼音进行对比判断。
不过目前这两种方案均不能彻底很好的解决该问题，此类问题还需进一步研究。
到此这篇关于Java DFA算法案例详解的文章就介绍到这了,更多相关Java DFA算法内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
Spring BeanFactory 与 FactoryBean 的区别详情
这篇文章主要介绍了Spring BeanFactory 与 FactoryBean 的区别详情，BeanFactory 和 FactoryBean 的区别却是一个很重要的知识点，在本文中将结合源码进行分析讲解，需要的小伙伴可以参考一下2022-05-05
SpringBoot整合RabbitMQ实战教程附死信交换机
这篇文章主要介绍了SpringBoot整合RabbitMQ实战附加死信交换机,本文通过示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-06-06
开发系统过程中遇到的一个需求，系统给定一个接口，用户可以自定义开发该接口的实现，并将实现打成jar包，上传到系统中。系统完成热部署，并切换该接口的实现。本文详细介绍了实现方法，需要的可以参考一下2022-10-10
这篇文章主要介绍了Java中channel用法,较为详细的总结了channel的定义、类型及使用技巧,需要的朋友可以参考下2015-06-06
java中的类加载器：java虚拟机中可以安装多个类加载器，系统默认三个主要类加载器，每个类负责加载特定位置的类：BootStrap, ExtClassLoader,AppClassLoader类加载器也是一个java类，因此类加载器也需要被加载，所以必须有第一个类加载器不是java类2016-02-02
本篇文章主要介绍了java搭建一个Socket服务器响应多用户访问，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-02-02
这篇文章主要介绍了Java手动配置线程池过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
Java使用IntelliJ IDEA连接MySQL的详细教程
这篇文章主要给大家介绍了关于Java使用IntelliJ IDEA连接MySQL的相关资料，文中通过图文介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
SpringBoot中使用Session共享实现分布式部署的示例代码
这篇文章主要介绍了SpringBoot中使用Session共享实现分布式部署的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-07-07
今天带大家来了解一下Java内存泄漏与溢出的知识,文中有非常详细的介绍,对正在学习Java基础的各位小伙伴呢很有帮助哟,需要的朋友可以参考下2021-05-05
最新评论