Java实现Elasticsearch查询当前索引全部数据的完整代码
更新时间：2025年02月06日 11:27:14 作者：csdn565973850
这篇文章主要介绍了如何在Java中实现查询Elasticsearch索引中指定条件下的全部数据,通过设置滚动查询参数（scroll）,可以一次性获取满足条件的数据,而不需要限制每页的查询条数大小,这样可以避免因数据量过大而引发的性能问题,需要的朋友可以参考下
需求背景
通常情况下，Elasticsearch 为了提高查询效率，对于不指定分页查询条数的查询语句，默认会返回10条数据。那么这就会有一种情况，当你需要一次性返回 Elasticsearch 索引中的全部数据时，就无法实现了。这个时候你可能会考虑，比如我将每页取值的size 设置的很大，这样或许可以解决问题，但是数据量的上升你是无法控制的，最终会有一天数据量会超过你此时设置的最大 size，那么这就是一个雷点。并且如果一次查询很大量数据的话，即便是 Elasticsearch 查询效率高的索引结构可能也会导致查询时长较长，甚至响应超时。那么是否有一种查询效率高，且相对灵活的方式可以查询 Elasticsearch 的索引中全部数据呢？答案是：有的。
通常情况
下面来看一下在不设置 size 大小的情况下，执行 Elasticsearch 查询语句默认返回几条数据，结果是默认返回 10条。执行如下查询命令
GET crm_meiqia_conversation/_search
返回结果如图，这时我们看到返回了 10 条数据
此时如果你需要查询更多数据的话，你就可以通过指定 size 大小来查询更多数据，比如执行如下命令
GET crm_meiqia_conversation/_search
{
"size":20
}
执行查询语句后返回的结果如图所示，索引查询会返回你指定 size 大小的数据
很明显，在一些特殊的场景下，想要一次性查询指定条件下的所有数据改如何操作呢，下面就来基于 Java 实现查询指定条件下的所有数据操作。
Java 实现查询 Elasticsearch 全部数据
在具体讲解如何通过 Java 实现查询 Elasticsearch 全部数据之前，我们可以先来看一下我已经实现之后的查询效果。这里你可以看到滚动州已经变得很小，这就是因为我查询出了指定条件下的全部数据导致的，而不是默认的 10 条数据
而如果没有实现查询指定索引指定条件下的全部数据时，看到的效果应该是这样的，默认只能一次性查询 10 条数据返回
下面再来讲一下如何通过 Java 实现 查询 es 全部数据，我们由浅入深来讲解，首先来看一下默认查询 es 10条数据的代码，Java 通过如下 SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex()).setTypes(indexProperties.getMeiqiaConversationType()).setQuery(query); 构造查询 es 索引代码，这种情况没有设置 size 大小，默认的话就是查询指定索引下 10条数据，完整代码如下：
public AjaxResult getMeiqiaUidList(MeiqiaConversation meiqiaConversation) {
BoolQueryBuilder query = QueryBuilders.boolQuery();
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
//会话id
Long convId = meiqiaConversation.getConvId();
if (convId != null) {
boolQuery.filter(QueryBuilders.termQuery("convId",convId));
}
//会话日期
String convStartDate = (String) meiqiaConversation.getParams().get("convStartDate");
String convEndDate = (String) meiqiaConversation.getParams().get("convEndDate");
if (StringUtils.isNotEmpty(convStartDate)) {
Date date = DateUtils.stringToDate(convStartDate, DateUtils.SDF_YMDHMS);
boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(date.getTime()));
}
if (StringUtil.isNotEmptyString(convEndDate)) {
Date date = DateUtils.stringToDate(convEndDate, DateUtils.SDF_YMDHMS);
boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(date.getTime()));
}
//会话日期
Date convStartDate2 = meiqiaConversation.getConvStartDate();
Date convEndDate2 = meiqiaConversation.getConvEndDate();
if (Objects.nonNull(convStartDate2)) {
boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(convStartDate2.getTime()));
}
if (Objects.nonNull(convEndDate2)) {
boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(convEndDate2.getTime()));
}
//学号
String uid = (String) meiqiaConversation.getParams().get("uid");
if (StringUtils.isNotEmpty(uid)) {
if (uid.contains("#")) {
String replace = uid.replace("#", "");
boolQuery.filter(QueryBuilders.termQuery("clientInfo.name",replace));
}else {
boolQuery.filter(QueryBuilders.termQuery("clientInfo.uid",uid));
}
}
//客服工号
String agentId = (String) meiqiaConversation.getParams().get("agentId");
if (StringUtils.isNotEmpty(agentId)) {
boolQuery.filter(QueryBuilders.termQuery("agentId",agentId));
}
// 会话内容
String content = (String) meiqiaConversation.getParams().get("content");
if (StringUtils.isNotEmpty(content)) {
boolQuery.filter(QueryBuilders.matchPhrasePrefixQuery("convContent.content",content));
}
query.must(boolQuery);
// 初始化搜索请求构建器，用于构造搜索请求
SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex())
// 设置搜索的类型
.setTypes(indexProperties.getMeiqiaConversationType())
// 设置查询条件
.setQuery(query);
// 使用SearchRequest获取搜索响应
SearchResponse searchResponse = searchRequest.get();
// 初始化存储所有搜索结果的列表
List<EsMeiqiaConversation> rows = new ArrayList<>();
// 格式化搜索响应中的数据，并添加到rows列表中
List<EsMeiqiaConversation> list1 = formatMeiqiaDto(searchResponse);
rows.addAll(list1);
//记录返回的uid name
List<MeiqiaConversation> list = new ArrayList<>();
if (CollectionUtils.isNotEmpty(rows)) {
//获取 uid name
Map<String, List<EsMeiqiaConversation>> collect = rows.stream().collect(Collectors.groupingBy(EsMeiqiaConversation::getClientUid, Collectors.toList()));
Set<String> uids = collect.keySet();
for (String u : uids) {
MeiqiaConversation conv = new MeiqiaConversation();
conv.setUid(u);
//同一个uid 对应同一个 name
List<EsMeiqiaConversation> esconv = collect.get(u);
String name = esconv.get(0).getClientName();
conv.setName(name);
list.add(conv);
}
}
return AjaxResult.success(list);
}
那么如何实现 一次查询满足条件的全部 es 数据呢，这就需要通过 scroll 实现，在初始化索引查询构造器时通过 SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex()).setTypes(indexProperties.getMeiqiaConversationType()).setQuery(query).setSize(100).setScroll(TimeValue.timeValueMinutes(1)); 设置 scroll 参数来实现，同时需要再后续增加再次查询索引逻辑，将 scorllId 循环传递 获取全部数据，最终改造后的获取全部数据的代码如下
public AjaxResult getMeiqiaUidList(MeiqiaConversation meiqiaConversation) {
BoolQueryBuilder query = QueryBuilders.boolQuery();
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
//会话id
Long convId = meiqiaConversation.getConvId();
if (convId != null) {
boolQuery.filter(QueryBuilders.termQuery("convId",convId));
}
//会话日期
String convStartDate = (String) meiqiaConversation.getParams().get("convStartDate");
String convEndDate = (String) meiqiaConversation.getParams().get("convEndDate");
if (StringUtils.isNotEmpty(convStartDate)) {
Date date = DateUtils.stringToDate(convStartDate, DateUtils.SDF_YMDHMS);
boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(date.getTime()));
}
if (StringUtil.isNotEmptyString(convEndDate)) {
Date date = DateUtils.stringToDate(convEndDate, DateUtils.SDF_YMDHMS);
boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(date.getTime()));
}
//会话日期
Date convStartDate2 = meiqiaConversation.getConvStartDate();
Date convEndDate2 = meiqiaConversation.getConvEndDate();
if (Objects.nonNull(convStartDate2)) {
boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(convStartDate2.getTime()));
}
if (Objects.nonNull(convEndDate2)) {
boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(convEndDate2.getTime()));
}
//学号
String uid = (String) meiqiaConversation.getParams().get("uid");
if (StringUtils.isNotEmpty(uid)) {
if (uid.contains("#")) {
String replace = uid.replace("#", "");
boolQuery.filter(QueryBuilders.termQuery("clientInfo.name",replace));
}else {
boolQuery.filter(QueryBuilders.termQuery("clientInfo.uid",uid));
}
}
//客服工号
String agentId = (String) meiqiaConversation.getParams().get("agentId");
if (StringUtils.isNotEmpty(agentId)) {
boolQuery.filter(QueryBuilders.termQuery("agentId",agentId));
}
// 会话内容
String content = (String) meiqiaConversation.getParams().get("content");
if (StringUtils.isNotEmpty(content)) {
boolQuery.filter(QueryBuilders.matchPhrasePrefixQuery("convContent.content",content));
}
query.must(boolQuery);
// 初始化搜索请求构建器，用于构造搜索请求
SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex())
// 设置搜索的类型
.setTypes(indexProperties.getMeiqiaConversationType())
// 设置查询条件
.setQuery(query)
// 设置返回结果的数量为100
.setSize(100)
// 设置滚动查询的时间间隔为1分钟
.setScroll(TimeValue.timeValueMinutes(1));
// 使用SearchRequest获取搜索响应
SearchResponse searchResponse = searchRequest.get();
// 初始化存储所有搜索结果的列表
List<EsMeiqiaConversation> rows = new ArrayList<>();
// 格式化搜索响应中的数据，并添加到rows列表中
List<EsMeiqiaConversation> list1 = formatMeiqiaDto(searchResponse);
rows.addAll(list1);
// 使用Scroll方式遍历所有搜索结果
do {
// 准备下一次Scroll搜索，设置滚动时间为1分钟
// 将scorllId循环传递 获取全部数据
searchResponse = client.prepareSearchScroll(searchResponse.getScrollId()).setScroll(TimeValue.timeValueMinutes(1)).execute().actionGet();
// 格式化新一批搜索结果，并添加到rows列表中
List<EsMeiqiaConversation> list = formatMeiqiaDto(searchResponse);
if (CollectionUtils.isNotEmpty(list)) {
rows.addAll(list);
}
// 当搜索结果为空时，结束循环
// 当searchHits的数组为空的时候结束循环，至此数据全部读取完毕
} while (searchResponse.getHits().getHits().length != 0);
// 创建一个ClearScrollRequest实例，用于清除滚动查询的会话。
ClearScrollRequest clearScrollRequest = new ClearScrollRequest();
// 将上一次查询返回的滚动ID添加到请求中，以便清除这个特定的会话。
// 这是必要的，因为ClearScrollRequest需要至少一个滚动ID才能执行清除操作。
clearScrollRequest.addScrollId(searchResponse.getScrollId());
// 发送ClearScroll请求并获取操作的结果。
// 这一步是必需的，因为它实际执行了清除滚动会话的操作，并允许我们处理结果或任何异常。
client.clearScroll(clearScrollRequest).actionGet();
//记录返回的uid name
List<MeiqiaConversation> list = new ArrayList<>();
if (CollectionUtils.isNotEmpty(rows)) {
//获取 uid name
Map<String, List<EsMeiqiaConversation>> collect = rows.stream().collect(Collectors.groupingBy(EsMeiqiaConversation::getClientUid, Collectors.toList()));
Set<String> uids = collect.keySet();
for (String u : uids) {
MeiqiaConversation conv = new MeiqiaConversation();
conv.setUid(u);
//同一个uid 对应同一个 name
List<EsMeiqiaConversation> esconv = collect.get(u);
String name = esconv.get(0).getClientName();
conv.setName(name);
list.add(conv);
}
}
return AjaxResult.success(list);
}
那么这段的核心代码是增加了滚动查询数据的操作，如图所示
同时再执行循环查询时将 scrollId 循环传递，并将查询结果 addAll 到当前list 的集合中
查询结束之后，最后是清除滚动会话的操作
到这里关于 Java 实现 es 查询指定条件下的全部数据操作就结束了，整个操作过程比较容易理解，增加了 es 滚动查询 scroll 操作来实现查询 es 全部数据。
写在最后
最后想要说的是，对于 es 查询，通常情况下是不需要一次性查询出当前索引所有条件下的数据的，毕竟数据量比较大，但是也有特殊的场景，这个时候不得不一次性查询出所有的数据，这就需要上文中用到的办法了，希望对大家有帮助。
到此这篇关于Java实现Elasticsearch查询当前索引全部数据的文章就介绍到这了,更多相关Java Elasticsearch查询当前索引全部数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
在现代 Java 开发中,我们经常需要在不同的项目中使用不同版本的 JDK,手动切换 JAVA_HOME 环境变量既繁琐又容易出错,Jenv 是一个优秀的 JDK 版本管理工具,可以让我们轻松地在不同 JDK 版本间切换,所以本文给大家介绍了使用Jenv管理多版本JDK环境的详细教程2025-08-08
从零开始让你的Spring Boot项目跑在Linux服务器
这篇文章主要给大家介绍了如何从零开始让你的Spring Boot项目跑在Linux服务器的相关资料,由于springboot是内嵌了tomcat,所以可以直接将项目打包上传至服务器上,需要的朋友可以参考下2021-11-11
Stream API 是Java8中新加入的功能，这篇文章主要带大家了解一下 Stream API 中的 map() 方法的使用，感兴趣的小伙伴可以跟随小编一起学习一下2023-04-04
Java Servlet 是运行在 Web 服务器或应用服务器上的程序，它是作为来自 Web 浏览器或其他 HTTP 客户端的请求和 HTTP 服务器上的数据库或应用程序之间的中间层2021-10-10
java ConcurrentHashMap分段加锁提高并发效率
这篇文章主要为大家介绍了java ConcurrentHashMap分段加锁提高并发效率,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-12-12
本文主要介绍了Java的stream流多个字段排序的实现,主要是两种方法,第一种是固定多个字段排序和第二种动态字段进行排序,具有一定的参考价值,感兴趣的可以了解一下2023-10-10
文章说明在Spring Boot项目中配置Lombok插件、application.yml和logback.xml,以实现从前端接收活动名称参数,并输出SQL语句及查询参数用于调试2025-08-08
Apache的Groovy是Java平台上设计的面向对象编程语言，这门动态语言拥有类似Python、Ruby和Smalltalk中的一些特性，可以作为Java平台的脚本语言使用，这篇文章主要介绍了Java 热更新 Groovy 实践及踩坑指南,需要的朋友可以参考下2022-09-09
这篇文章主要介绍了IntelliJ IDEA 关闭多余项目的操作方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-04-04
这篇文章主要介绍了基于Mybatis实现CRUD操作过程解析(xml方式),文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-11-11
最新评论