Docker部署Logstash同步Mysql数据到ES方式

 更新时间:2024年10月23日 14:09:19   作者:写....写个大西瓜  
本文介绍了如何搭建ELK(Elasticsearch, Logstash, Kibana)日志系统,包括配置文件准备、Logstash与Elasticsearch部署、驱动文件准备、配置文件编辑、容器操作以及日志查看等步骤,文章内容是作者的个人经验分享

Docker部署Logstash同步Mysql数据到ES

1、准备配置文件文件夹

2、部署logstash & elasticsearch

docker pull docker.elastic.co/logstash/logstash:7.15.0
## 替换{你的ES地址}为ES地址
docker run -d --name logstash -p 5044:5044 -p 9600:9600 -v D:\logstash\data\:/usr/share/logstash/data  -v D:\logstash\path\to\mysql-connector-j-8.0.33.jar:/usr/share/logstash/mysql-connector-j-8.0.33.jar -v D:\logstash\config\:/usr/share/logstash/config -v D:\logstash\pipeline\:/usr/share/logstash/pipeline -e "ELASTICSEARCH_HOSTS={你的ES地址}" docker.elastic.co/logstash/logstash:7.15.0
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.15.0
## 配置文件如果需要修改,修改完后删除重新启动容器
docker run -d --name elasticsearch -v D:\elasticsearch\config\:/usr/share/elasticsearch/config -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.15.0

页面访问 ip:9200端口,出现下面页面部署成功

3、准备驱动文件

4、编辑配置文件

input {
  jdbc {
    jdbc_driver_library => "/usr/share/logstash/mysql-connector-j-8.0.33.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://{你的MYSQL地址}/{你的数据库}"
    jdbc_user => "{数据库账号}"
    jdbc_password => "{数据库密码}"
    statement => "SELECT * FROM user"
    jdbc_paging_enabled => true		 # 开启分页
    jdbc_page_size => 2000			 # 分页每页条数
    schedule => "*/5 * * * * * UTC"  # 每5s执行一次
  }
}
output {
  elasticsearch {
      hosts  => ["{你的ES地址}"]         				# ElasticSearch 的地址和端口
      index  => "user"         							# 指定索引名,如果不存在es会自动创建
      document_id => "%{id}"
      codec  => "json"
  }
}

5、删除容器、重新启动

docker rm -f logstash
docker run -d --name logstash -p 5044:5044 -p 9600:9600 -v D:\logstash\data\:/usr/share/logstash/data  -v D:\logstash\path\to\mysql-connector-j-8.0.33.jar:/usr/share/logstash/mysql-connector-j-8.0.33.jar -v D:\logstash\config\:/usr/share/logstash/config -v D:\logstash\pipeline\:/usr/share/logstash/pipeline -e "ELASTICSEARCH_HOSTS={你的ES地址}" docker.elastic.co/logstash/logstash:7.15.0

6、查看日志

docker logs -f logstash

成功日志!!!!

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Docker跨平台和环境部署的过程详解

    Docker跨平台和环境部署的过程详解

    Docker是一个开放源代码的容器化平台,它能够实现应用及其依赖的打包,从而实现跨平台和环境的快速部署,本文介绍了Docker的基本概念、优势和基本使用方法,包括安装、启动、构建镜像和部署应用等步骤
    2024-11-11
  • docker端口映射的实现示例

    docker端口映射的实现示例

    Docker 端口映射允许我们将容器内部的服务绑定到宿主机上的一个或多个端口,本文主要介绍了docker端口映射的实现示例,具有一定的参考价值,感兴趣的可以了解一下
    2024-03-03
  • 手把手教你实现给Docker开启IPv6网络支持

    手把手教你实现给Docker开启IPv6网络支持

    这篇文章主要为大家介绍了Docker开启IPv6网络支持实现方法详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-08-08
  • 解决Docker中的error during connect异常情况

    解决Docker中的error during connect异常情况

    这篇文章主要介绍了解决Docker中的error during connect异常情况,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-11-11
  • Docker中的容器资源限制解读

    Docker中的容器资源限制解读

    文章介绍了Docker中限制容器资源的方法,包括通过--cpuset-cpus指定CPU核心、--cpu-shares调整调度优先级(如512低于默认1024),以及--memory限制内存大小,最后说明了如何验证这些配置
    2025-09-09
  • 详解java项目打包docker镜像的几种方式

    详解java项目打包docker镜像的几种方式

    本文主要介绍了详解java项目打包docker镜像的几种方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-01-01
  • Dokcer部署双主Mysql的详细步骤

    Dokcer部署双主Mysql的详细步骤

    文章介绍了如何创建MySQL主从复制容器,并配置主从关系,主要步骤包括创建容器、创建角色、配置MySQL从数据库以连接到主数据库,并确保配置参数正确,感兴趣的朋友一起看看吧
    2025-01-01
  • docker部署nginx并实现https教程

    docker部署nginx并实现https教程

    文章介绍了如何使用Docker部署Nginx并实现HTTPS,首先,文章提到了服务器环境,然后详细步骤包括安装Docker、准备SSL证书、编写Nginx配置文件和Dockerfile、创建Nginx镜像并运行容器,最后,文章验证了Nginx的访问
    2025-11-11
  • Docker拉取镜像过慢解决方法

    Docker拉取镜像过慢解决方法

    这篇文章主要给大家介绍了关于Docker拉取镜像过慢的解决方法,如果在拉取Docker镜像时遇到速度较慢的问题可以参考本文的办法,文中通过代码示例介绍的非常详细,需要的朋友可以参考下
    2023-08-08
  • Docker exec 的实现原理介绍

    Docker exec 的实现原理介绍

    这篇文章主要介绍了Docker exec的实现原理,详细解读了docker exec这个操作背后,Linux Namespace更具体的工作原理,这种通过操作系统进程相关的知识,逐步剖析Docker容器的方法,需要的朋友可以参考一下
    2022-04-04

最新评论