Java中集成ELK的使用小结

更新时间：2025年08月24日 10:45:54 作者：hqxstudying

本文系统讲解ELK在Java应用中的应用,涵盖日志收集、过滤、监控、集群部署及性能优化,具有一定的参考价值,感兴趣的可以了解一下

在 Java 应用里运用 ELK（Elasticsearch、Logstash、Kibana）技术栈，能够实现日志的集中化管理、高效搜索以及直观可视化。下面将从基础概念入手，逐步深入讲解其使用方法。

一、基础概念

ELK 技术栈由三款开源工具构成：

Elasticsearch：作为分布式搜索引擎，它基于 Lucene 开发，具备强大的全文检索和数据分析能力。
Logstash：属于数据收集引擎，可对多源数据进行收集、过滤和转换，然后将其发送至 Elasticsearch。
Kibana：是一款可视化工具，借助它能对 Elasticsearch 中的数据进行查询、分析并以直观的图表形式展示。

二、简单示例：在 Java 中集成 ELK

1. 添加 Maven 依赖

要在 Java 项目中使用 ELK，首先需要添加相应的依赖。以下是在 Maven 项目中添加 Elasticsearch 客户端依赖的代码：

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
    <version>7.17.3</version>
</dependency>

2. 创建 Elasticsearch 客户端

下面的代码展示了如何创建一个 Elasticsearch 的高级 REST 客户端：

import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
 
public class ElasticsearchConfig {
    public static RestHighLevelClient createClient() {
        return new RestHighLevelClient(
                RestClient.builder(
                        new org.apache.http.HttpHost("localhost", 9200, "http")));
    }
}

3. 实现日志收集

使用 Logback 和 Logstash 实现日志收集的配置如下：

<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpAppender">
    <destination>localhost:5000</destination>
    <encoder class="net.logstash.logback.encoder.LogstashEncoder" />
</appender>
 
<root level="info">
    <appender-ref ref="LOGSTASH" />
</root>

4. 配置 Logstash

Logstash 的配置文件logstash.conf示例如下：

input {
    tcp {
        port => 5000
        codec => json_lines
    }
}
 
output {
    elasticsearch {
        hosts => ["http://localhost:9200"]
        index => "java-app-logs-%{+YYYY.MM.dd}"
    }
}

三、中级应用：实现复杂日志处理与监控

1. 日志过滤与增强

在 Logstash 配置中添加过滤器，能够实现对日志的增强处理。以下是一个添加了过滤器的 Logstash 配置示例：

filter {
    if [message] =~ /ERROR/ {
        mutate {
            add_tag => ["error"]
        }
    }
    
    grok {
        match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{GREEDYDATA:message}" }
    }
    
    date {
        match => [ "timestamp", "yyyy-MM-dd HH:mm:ss" ]
    }
}

2. 自定义指标监控

通过 Micrometer 可以将应用指标发送到 Elasticsearch，代码示例如下：

import io.micrometer.core.instrument.MeterRegistry;
import org.springframework.boot.actuate.autoconfigure.metrics.MeterRegistryCustomizer;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
 
@Configuration
public class MetricsConfig {
    @Bean
    MeterRegistryCustomizer<MeterRegistry> metricsCommonTags() {
        return registry -> registry.config().commonTags("application", "my-java-app");
    }
}

四、高级应用：性能优化与集群部署

1. Elasticsearch 集群配置

Elasticsearch 的elasticsearch.yml集群配置示例如下：

cluster.name: my-application
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["host1", "host2"]
cluster.initial_master_nodes: ["node-1", "node-2"]

2. 性能优化

为了优化 Elasticsearch 的性能，可以进行以下配置调整：

indices.memory.index_buffer_size: 30%
search.max_buckets: 100000
bootstrap.memory_lock: true

3. 安全配置

保障 ELK 安全的配置示例如下：

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

五、Kibana 可视化

在 Kibana 中创建可视化图表的 DSL 示例：

{
  "aggs": {
    "by_level": {
      "terms": {
        "field": "level.keyword",
        "size": 10
      },
      "aggs": {
        "by_hour": {
          "date_histogram": {
            "field": "@timestamp",
            "calendar_interval": "hour"
          }
        }
      }
    }
  },
  "size": 0
}

六、与 Spring Boot 集成

1. 自动配置

在 Spring Boot 项目中使用 ELK 的自动配置，需要添加以下依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

2. 配置文件

application.properties配置示例：

spring.elasticsearch.rest.uris=http://localhost:9200
management.metrics.export.elastic.enabled=true
management.metrics.export.elastic.host=http://localhost:9200

七、故障排查与最佳实践

1. 常见问题

检查 Elasticsearch 日志：/var/log/elasticsearch/
监控集群健康状态：GET /_cluster/health
分析慢查询：GET /_nodes/stats/indices/search

2. 最佳实践

按照时间对索引进行分片，例如按天或按月。
对历史数据进行滚动处理，以节省空间。
为提高查询速度，合理设置字段映射。
定期进行索引优化。

八、总结

通过上述内容，我们全面了解了 ELK 在 Java 应用中的使用方法：

从基础概念出发，认识了 ELK 技术栈的三个核心组件。
学习了在 Java 项目中集成 ELK 的基本步骤。
掌握了中级应用中日志过滤与增强以及自定义指标监控的方法。
了解了高级应用中集群部署、性能优化和安全配置的要点。
学习了 Kibana 可视化的相关知识。
掌握了与 Spring Boot 集成的方法。
了解了故障排查的常见方法和最佳实践。

通过合理运用 ELK 技术栈，可以显著提升 Java 应用的可观测性和运维效率

到此这篇关于Java中集成ELK的使用小结的文章就介绍到这了,更多相关Java集成ELK内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

ELK
Java

Java智能体AI Agent开发中常见误区与避坑指南
随着AI Agent技术的兴起,Java开发者也纷纷投身智能体开发,本文将深入剖析3个最常见的误区,帮助你在Java智能体学习路上少走弯路,有需要的小伙伴快跟随小编一起学习起来吧
2026-03-03
SpringBoot实现发送验证码功能(图片验证码)
这篇文章主要介绍了SpringBoot实现发送验证码功能(图片验证码),本次内容主要学习如何做一个发送验证码和识别验证码的功能,需要的朋友可以参考下
2024-06-06
计算两个字符串最大公有子串
本文主要介绍了计算两个字符串最大公有子串的解决方案。具有很好的参考价值，下面跟着小编一起来看下吧
2017-01-01
Java多线程 ReentrantReadWriteLock原理及实例详解
这篇文章主要介绍了Java多线程 ReentrantReadWriteLock原理及实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-09-09
java 算法之希尔排序详解及实现代码
这篇文章主要介绍了java 算法之希尔排序详解及实现代码的相关资料,需要的朋友可以参考下
2017-03-03
java中的executeQuery()方法使用
这篇文章主要介绍了java中的executeQuery()方法使用，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-03-03
SpringBoot实现定时任务的三种方式小结
这篇文章主要介绍了SpringBoot实现定时任务的三种方式小结，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2021-11-11
浅谈JAVA在项目中如何自定义异常
今天给大家带来的是关于Java的相关知识,文章围绕着JAVA在项目中如何自定义异常展开,文中有非常详细的介绍及代码示例,需要的朋友可以参考下
2021-06-06
SpringBoot基于RabbitMQ实现消息延时队列的方案
在很多的业务场景中,延时队列可以实现很多功能,此类业务中,一般上是非实时的,需要延迟处理的,需要进行重试补偿的,本文给大家介绍了SpringBoot基于RabbitMQ实现消息延迟队列的方案,文中有详细的代码讲解,需要的朋友可以参考下
2024-04-04
springboot启动报错Failed to load class [java
这篇文章主要介绍了springboot启动报错Failed to load class [javax.servlet.Filter]的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2026-03-03