脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → Elasticsearch5.4的常见问题

基于Elasticsearch5.4的常见问题总结

 更新时间：2018年01月06日 10:59:45   作者：我心自在  
下面小编就为大家分享一篇基于Elasticsearch5.4的常见问题总结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

最近项目中用到了Elasticsearch5.4（ES）是比较新的一个版本，使用的过程中出现了很多的问题，很是头疼，但是问题最终还是解决掉了。

问题一：ESClient获取慢，并且不能获取Client：failed to create a child event loop

由于业务的需要没上传一批文件都要加一次ES索引，每加一次索引都要获取连接然后操作，尤其是大批量的时候，获取的次数显然非常多，而且出现这个问题的主要原因在于我们在循环频繁的操作ES，比如一批文件100个，我们就要获取100次，为了降低ES Client获取的时间，最终采取了一个方案，那就是在服务启动的时候初始化连接，一次性获取，然后在后边直接调用，整个批次文件上传完成后，最后添加ES索引，而不是一个文件一个文件的去添加了。这种方式显然不需要每个批次都获取连接，大大提升了执行效率。

首先，我们在服务启动的时候，在启动类中初始化静态ES Client：

private static ElasticSearchUtil ElasticSearchUtil=new ElasticSearchUtil();
public static TransportClient client=ElasticSearchUtil.getClient();

然后在用到的时候直接调用：

Client client=Main.client;

这样可以大大减少ES Client的连接次数，从而提升效率。

ES代码如下：

public TransportClient getClient() {
String[] ipArr = configUtil.getValue("ESIP").split(",");
Settings settings = Settings.builder().put("thread_pool.generic.core",5)
　　　　.put("thread_pool.generic.max", 10)
　　　　.put("processors", 5)
　　　　.put(Constants.ESCLUSTERNAME,configUtil.getValue("clusterName")).build();

TransportClient client = new PreBuiltTransportClient(settings);
for (String ip : ipArr) {
TransportAddress address = new InetSocketTransportAddress
　　(InetAddresses.forString(ip),9300);
client.addTransportAddresses(address);
}
　　return client;
}

问题2：内存溢出:java.lang.OutOfMemory:unable to create new native thread

在项目开发过程中，发生内存溢出是很让人头疼的一件事，在使用ES的过程中，就遇到了，而且很频繁，尤其是在大批量压力测试的时候根本进行不下去，从jvm内存调优方面想了很多办法，没有什么效果，问题依然得不到解决，最后在看源码的时候，发现了一个原因，和报错异常结合来看，这是由与ES在使用过程中，自动创建了大量的线程，超出了系统的容纳量，所以导致了内存溢出，研究源码的时候发现：ES创建的线程数是可以通过设置来控制的。下面是默认的ES创建线程数：

thread_pool.generic.core=默认值---4
thread_pool.generic.max=默认值--
min(512,max(4*processor数，128))
processor数=CPU的processor数

我们的CPU是10核40线程

从计算结果来看，如果使用默认值的话，ES可以创建的线程数是一个很大的数值，这远远超出了系统本身的容纳数，主要是调整setting的数值，经过调整，我们将ES的默认值改变如下：

Settings settings = Settings.builder().put("thread_pool.generic.core",5)
.put("thread_pool.generic.max", 10)
.put("processors", 5)  .put(Constants.ESCLUSTERNAME,configUtil.getValue("clusterName")).build();
这是之前的
Settings settings = Settings.builder().put("thread_pool.generic.core",5)
.put(Constants.ESCLUSTERNAME,configUtil.getValue("clusterName")).build();

经过测试，ES创建了很少的线程数，并且满足我们的开发需求，再也没有出现过内存溢出的问题了。

以上这篇基于Elasticsearch5.4的常见问题总结就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • JVM要双亲委派的原因及如何打破它

    JVM要双亲委派的原因及如何打破它

    平时做业务开发比较少接触类加载器,但是如果想深入学习,了解类加载的原理是必不可少的.java的类加载器有哪些？什么是双亲委派？为什么要双亲委派？如何打破它?接下来本文就带大家详细介绍这些知识 ,需要的朋友可以参考下
    2021-06-06
  • Spring循环依赖产生与解决

    Spring循环依赖产生与解决

    Spring的解决循环依赖是有前置条件的，要解决循环依赖我们首先要了解Spring Bean对象的创建过程和依赖注入的方式。依赖注入方式，我之前的博客有所分享，大家可以在看本篇文章之前进行一下小小的回顾
    2022-12-12
  • 详解SpringMVC注解版前台向后台传值的两种方式

    详解SpringMVC注解版前台向后台传值的两种方式

    本篇文章主要介绍了详解SpringMVC注解版前台向后台传值的两种方式，具有一定的参考价值，有兴趣的可以了解一下。
    2017-04-04
  • JavaSwing GridLayout 网格布局的实现代码

    JavaSwing GridLayout 网格布局的实现代码

    这篇文章主要介绍了JavaSwing GridLayout 网格布局的实现代码,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12
  • 基于Spring AOP proxyTargetClass的行为表现总结

    基于Spring AOP proxyTargetClass的行为表现总结

    这篇文章主要介绍了Spring AOP proxyTargetClass的行为表现总结，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2021-08-08
  • 关于集合和字符串的互转实现方法

    关于集合和字符串的互转实现方法

    下面小编就为大家带来一篇关于集合和字符串的互转实现方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2016-08-08
  • Java拦截器Interceptor实现原理及代码示例

    Java拦截器Interceptor实现原理及代码示例

    本文详细讲解了Java拦截器Interceptor实现原理及代码示例,对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2021-12-12
  • 解决Spring Boot 正常启动后访问Controller提示404问题

    解决Spring Boot 正常启动后访问Controller提示404问题

    今天小编再次搭建Spring Boot项目的时候遇到访问Controller报404错误，之前都很顺利。到底怎么回事呢？下面小编给大家带来了解决Spring Boot 正常启动后访问Controller提示404问题，感兴趣的朋友一起看看吧
    2018-08-08
  • SpringBoot使用SensitiveWord实现敏感词过滤

    SpringBoot使用SensitiveWord实现敏感词过滤

    这篇文章主要为大家详细介绍了SpringBoot如何使用SensitiveWord实现敏感词过滤功能，文中示例代码讲解详细，感兴趣的小伙伴可以了解一下
    2023-01-01
  • SpringBoot集成Seata的全过程

    SpringBoot集成Seata的全过程

    本文介绍了事务的四大特性（原子性、一致性、隔离性、持久性）以及本地事务和分布式事务的概念,本地事务是指在单个数据库级别的事务管理,而分布式事务则是跨多个数据库或服务的事务管理,感兴趣的朋友一起看看吧
    2024-11-11

最新评论