Elasticsearch外部词库文件更新及使用
引言
本文所使用的ES集群环境可在历史文章中获取，采用docker部署的方式。
Elasticsearch 是一个功能强大的搜索引擎，广泛用于构建复杂的全文搜索应用程序。在许多情况下，为了提高搜索引擎的性能和精度，我们可以使用外部词库来定制和扩展 Elasticsearch 的文本处理和搜索功能。本文将介绍外部词库的用途、优势以及如何在 Elasticsearch 中使用它们。
为什么需要外部词库？
Elasticsearch 默认提供了一套强大的文本处理工具，包括分词、标记过滤、同义词处理等。然而，在某些情况下，我们需要更多的控制权来适应特定的用例和需求。外部词库允许我们：
- 自定义分词器：通过使用外部词库，您可以创建自定义分词器，以根据特定需求定义文本分割规则。这对于处理不同语言或行业的文本非常有用。
- 扩展停用词列表：停用词（如
and、the等）通常被排除在搜索索引之外。外部词库允许您将领域特定的停用词添加到索引中，以便更好地适应我们行业内的数据。 - 同义词处理：创建同义词词库可确保相关词汇在搜索时被正确映射，提高搜索结果的准确性。
- 专业术语：对于特定领域或行业，我们可以通过创建外部词库，以包含特定领域的专业术语，确保搜索引擎能够理解和处理这些术语。
使用外部词库的优势
使用外部词库有以下优势：
- 提高搜索质量：通过自定义分词和停用词，可以确保搜索引擎更好地理解和处理文本，提高搜索质量。
- 适应特定需求：外部词库允许根据特定用例和领域需求对搜索引擎进行定制，以满足工作要求。
- 更好的用户体验：通过包含专业术语和扩展的同义词映射，用户能够更轻松地找到他们需要的内容。
如何在 Elasticsearch 中使用外部词库
在 Elasticsearch 中使用外部词库通常涉及以下步骤：
- 创建外部词库文件：首先，我们需要准备一个外部词库文件，其中包含自定义的词汇、同义词或停用词列表。
- 将词库上传到 Elasticsearch：上传词库文件到 Elasticsearch
- 配置索引：将外部词库与索引相关联，以确保 Elasticsearch 在索引文档时使用这些词汇。
- 搜索优化：根据需要在搜索查询中应用外部词库，以扩展或定制搜索行为。
示例：使用自定义词库分词
本文在 IK 分词器的基础上增加自定义分词，并配置本地词库文件，远程热更新词库文件。
本地词库
首先在启动的ES中对醉鱼两个字进行分词，IK 默认分为两个汉字
GET _analyze
{
"analyzer": "ik_max_word",
"text": ["醉鱼"]
}结果如下
{
"tokens" : [
{
"token" : "醉",
"start_offset" : 0,
"end_offset" : 1,
"type" : "CN_CHAR",
"position" : 0
},
{
"token" : "鱼",
"start_offset" : 1,
"end_offset" : 2,
"type" : "CN_CHAR",
"position" : 1
}
]
}而我们的需求是让其能分为一次词语，而不是两个汉字，那么下面引入我们的自定义分词文件
在 ES 的 plugins/ik/config 目录下创建自定义词库文件 zuiyu.dic，文件内容如下，格式为一个词语为一行。
醉鱼
修改 IK 的配置，支持自定义分词文件 ，修改plugins/ik/config 目录下的IKAnalyzer.cfg.xml，修改其中<entry key="ext_dict"></entry>的值，为本地文件路径，配置为相对路径，直接填写上一步创建的zuiyu.dic，结果如下
<entry key="ext_dict">zuiyu.dic</entry>
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">zuiyu.dic</entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords"></entry>
<!--用户可以在这里配置远程扩展字典 -->
<!--<entry key="remote_ext_dict"></entry>-->
<!--用户可以在这里配置远程扩展停止词字典-->
<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>如果是启动的ES集群，需要复制当前两个文件到所有的集群中
- 1、当前集群有三个节点，其中都配置本地词库文件，但是
node1，node2中都没有增加醉鱼这词语，只有node3有，此时使用分词是无法达到预期效果的。 - 2、
node1中配置正常的<entry key="ext_dict">zuiyu.dic</entry>，zuiyu.dic中也包含醉鱼这个词语。node2，node3都不配置ext_dict，此时当前这个环境是可以进行正确分词，达到预期的结果的。
重启 ES
测试分词效果，使用同样的分词语句
GET _analyze
{
"analyzer": "ik_max_word",
"text": ["醉鱼"]
}结果如下
{
"tokens" : [
{
"token" : "醉鱼",
"start_offset" : 0,
"end_offset" : 2,
"type" : "CN_WORD",
"position" : 0
}
]
}一般来说，词语肯定不是固定的，随着工作的长期积累，不断地发现新的专业术语，那么热更新，动态更新词库，不在每次更新词库之后重启ES就是非常有必要的了，下面来看一下热更新词库。
远程词库（热更新）
热更新词库的区别就是IKAnalyzer.cfg.xml文件中的一个配置的问题。不过核心还是需要一个词库文件，刚才是通过路径访问的，但是无法热更新，所以现在需要改为URL访问，也就是 HTTP 请求可以读取到的形式。一个词语一行返回即可。
此处使用 Nginx 来做演示。Nginx 中的配置如下
nginx.conf
location /dic/zuiyu.dic {
alias html/dic/zuiyu.dic;
}zuiyu.dic 文件内容如下
醉鱼
IKAnalyzer.cfg.xml配置修改如下,IP为部署的 Nginx 的 IP ，端口也是根据自己 Nginx 监听的端口修改
<entry key="remote_ext_dict">http://192.168.30.240:8088/dic/zuiyu.dic</entry>
完整的配置如下
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">zuiyu.dic</entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords"></entry>
<!--用户可以在这里配置远程扩展字典 -->
<entry key="remote_ext_dict">http://192.168.30.240:8088/dic/zuiyu.dic</entry>
<!--用户可以在这里配置远程扩展停止词字典-->
<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>- 验证
URL访问结果，使用浏览器或者postman等工具访问http://192.168.30.240:8088/dic/zuiyu.dic可以返回我们的文件内容即可，也是一个词语一行的形式。 - 复制
IKAnalyzer.cfg.xml到集群的每个节点中 - 重启
ES
测试对 醉鱼 分词，可以看到与上面本地词库时是同样的效果
{
"tokens" : [
{
"token" : "醉鱼",
"start_offset" : 0,
"end_offset" : 2,
"type" : "CN_WORD",
"position" : 0
}
]
}测试对我爱你醉鱼进行分词
GET _analyze
{
"analyzer": "ik_max_word",
"text": ["我爱你醉鱼"]
}结果如下
{
"tokens" : [
{
"token" : "我爱你",
"start_offset" : 0,
"end_offset" : 3,
"type" : "CN_WORD",
"position" : 0
},
{
"token" : "爱你",
"start_offset" : 1,
"end_offset" : 3,
"type" : "CN_WORD",
"position" : 1
},
{
"token" : "醉鱼",
"start_offset" : 3,
"end_offset" : 5,
"type" : "CN_WORD",
"position" : 2
}
]
}在zuiyu.dic中增加我爱你醉鱼，最终的文件内容如下
醉鱼
我爱你醉鱼
增加完成之后，这5个字已经成为一个词语，分词结果如下
{
"tokens" : [
{
"token" : "我爱你醉鱼",
"start_offset" : 0,
"end_offset" : 5,
"type" : "CN_WORD",
"position" : 0
},
{
"token" : "我爱你",
"start_offset" : 0,
"end_offset" : 3,
"type" : "CN_WORD",
"position" : 1
},
{
"token" : "爱你",
"start_offset" : 1,
"end_offset" : 3,
"type" : "CN_WORD",
"position" : 2
},
{
"token" : "醉鱼",
"start_offset" : 3,
"end_offset" : 5,
"type" : "CN_WORD",
"position" : 3
}
]
}仅在一个节点 node1 中配置了远程词库，node2 与 node3 都没有配置任何的词库，此时当前环境无法达到我们的预期分词效果
总结
通过上面我们的试验，可以发现结合 IK分词器，使用自定义词库，可以满足我们专业内的词语分词，实现更好的分词效果，再加上动态词库的更新，对我们的工作还是很有必要的，配置过程是不是很简单，下面就赶紧用起来吧。
以上就是Elasticsearch外部词库文件更新及使用的详细内容，更多关于Elasticsearch外部词库文件更新的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要为大家介绍了RocketMQ消息发送流程源码剖析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-08-08
这篇文章主要介绍了Java Lock锁多线程中实现流水线任务,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
这篇文章主要介绍了Java中的魔法值解决，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-01-01
项目开发中,经常遇到图片上传功能,发现如果图片比较大时,在查看、预览、下载速度会特别慢,考虑到浪费流量以及文件服务器的存储空间,决定在后端优化处理完再上传,所以本文给大家介绍了使用Java把图片处理到指定大小的操作方法,需要的朋友可以参考下2025-03-03
这篇文章主要介绍了Java Synchronized字节码层分析，synchronized关键字解决了多个线程之间的资源同步性，synchronized关键字保证了它修饰的方法或者代码块任意时刻只有一个线程在访问2023-04-04
Spring中的@PropertySource注解源码详细解析
这篇文章主要介绍了Spring中的@PropertySource注解源码详细解析,@PropertySource注解,标注在配置类@Configuration上面,下面主要分析一下@PropertySource注解的处理过程,也就是怎么把配置信息从.properies文件放到environment中的,需要的朋友可以参考下2024-01-01
详解Java中list,set,map的遍历与增强for循环
这篇文章主要介绍了详解Java中list,set,map的遍历与增强for循环的相关资料,需要的朋友可以参考下2017-02-02
这篇文章主要给大家分享的是Java多线程之Semaphore实现信号灯的练习，emaphore是计数信号量。Semaphore管理一系列许可证。每个acquire方法阻塞，直到有一个许可证可以获得然后拿走一个许可证；下面一起进入文章学习Semaphore的具体内容2021-10-10
这篇文章主要来和大家一起探讨一下SpringBoot如何整合Spring Batch,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2023-10-10
Spring在应用程序上下文启动时去创建所有的单例bean对象, 而@Lazy注解可以延迟加载bean对象,即在使用时才去初始化，这篇文章主要介绍了Spring中@Lazy注解的使用,需要的朋友可以参考下2023-06-06
最新评论