Docker部署Logstash同步Mysql数据到ES方式

 更新时间:2024年10月23日 14:09:19   作者:写....写个大西瓜  
本文介绍了如何搭建ELK(Elasticsearch, Logstash, Kibana)日志系统,包括配置文件准备、Logstash与Elasticsearch部署、驱动文件准备、配置文件编辑、容器操作以及日志查看等步骤,文章内容是作者的个人经验分享

Docker部署Logstash同步Mysql数据到ES

1、准备配置文件文件夹

2、部署logstash & elasticsearch

docker pull docker.elastic.co/logstash/logstash:7.15.0
## 替换{你的ES地址}为ES地址
docker run -d --name logstash -p 5044:5044 -p 9600:9600 -v D:\logstash\data\:/usr/share/logstash/data  -v D:\logstash\path\to\mysql-connector-j-8.0.33.jar:/usr/share/logstash/mysql-connector-j-8.0.33.jar -v D:\logstash\config\:/usr/share/logstash/config -v D:\logstash\pipeline\:/usr/share/logstash/pipeline -e "ELASTICSEARCH_HOSTS={你的ES地址}" docker.elastic.co/logstash/logstash:7.15.0
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.15.0
## 配置文件如果需要修改,修改完后删除重新启动容器
docker run -d --name elasticsearch -v D:\elasticsearch\config\:/usr/share/elasticsearch/config -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.15.0

页面访问 ip:9200端口,出现下面页面部署成功

3、准备驱动文件

4、编辑配置文件

input {
  jdbc {
    jdbc_driver_library => "/usr/share/logstash/mysql-connector-j-8.0.33.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://{你的MYSQL地址}/{你的数据库}"
    jdbc_user => "{数据库账号}"
    jdbc_password => "{数据库密码}"
    statement => "SELECT * FROM user"
    jdbc_paging_enabled => true		 # 开启分页
    jdbc_page_size => 2000			 # 分页每页条数
    schedule => "*/5 * * * * * UTC"  # 每5s执行一次
  }
}
output {
  elasticsearch {
      hosts  => ["{你的ES地址}"]         				# ElasticSearch 的地址和端口
      index  => "user"         							# 指定索引名,如果不存在es会自动创建
      document_id => "%{id}"
      codec  => "json"
  }
}

5、删除容器、重新启动

docker rm -f logstash
docker run -d --name logstash -p 5044:5044 -p 9600:9600 -v D:\logstash\data\:/usr/share/logstash/data  -v D:\logstash\path\to\mysql-connector-j-8.0.33.jar:/usr/share/logstash/mysql-connector-j-8.0.33.jar -v D:\logstash\config\:/usr/share/logstash/config -v D:\logstash\pipeline\:/usr/share/logstash/pipeline -e "ELASTICSEARCH_HOSTS={你的ES地址}" docker.elastic.co/logstash/logstash:7.15.0

6、查看日志

docker logs -f logstash

成功日志!!!!

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 手把手教你实现Docker 部署 vue 项目

    手把手教你实现Docker 部署 vue 项目

    这篇文章主要介绍了手把手教你实现Docker 部署 vue 项目,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-02-02
  • Docker上部署Nginx的方法步骤

    Docker上部署Nginx的方法步骤

    本文主要介绍了Docker上部署Nginx的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-04-04
  • 详解如何干净的卸载docker的方法

    详解如何干净的卸载docker的方法

    这篇文章主要介绍了详解如何干净的卸载docker的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-09-09
  • Docker Redis 7.2.3 部署方式

    Docker Redis 7.2.3 部署方式

    使用Docker启动Redis时若遇到不断重启的问题,可能是由于配置文件中的“daemonize yes”与Docker的重启策略“--restart=always”发生冲突,本文给大家介绍Docker Redis 7.2.3 部署方式,感兴趣的朋友跟随小编一起看看吧
    2024-09-09
  • Docker启动PostgreSQL时创建多个数据库的解决方案

    Docker启动PostgreSQL时创建多个数据库的解决方案

    这篇文章主要介绍了Docker启动PostgreSQL时创建多个数据库的解决方案,重点给大家介绍如何把shell/sql脚本放入/docker-entrypoint-initdb.d/目录中,让容器启动的时候自动执行创建
    2021-06-06
  • docker实现资源清理方式

    docker实现资源清理方式

    这篇文章主要介绍了docker实现资源清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02
  • Docker安全开放远程访问连接权限方式

    Docker安全开放远程访问连接权限方式

    文章介绍了如何配置Docker以实现远程访问、开启认证和通信加密,包括生成证书和私钥、配置Docker守护进程以及在IDEA和Maven中连接Docker服务的方法
    2024-11-11
  • docker拉取镜像报错:Error response from daemon: Get “https://registry-1.docker.io/v2/“: dial tcp的解决过程

    docker拉取镜像报错:Error response from daemon: Get “https://r

    今天做完一个新项目,搭建了一个新的虚拟机,打算使用docker来搭建各种环境,发现拉取镜像报错Error response from daemon: Get "https://registry-1.docker.io/v2/": dial tcp,所以接下来给大家介绍了docker拉取镜像报错的解决过程,需要的朋友可以参考下
    2024-08-08
  • docker 容器上编译 go 程序提示找不到文件问题

    docker 容器上编译 go 程序提示找不到文件问题

    这篇文章主要介绍了docker 容器上编译 go 程序无法运行提示找不到文件问题,解决方法也很简单,感兴趣的朋友跟随脚本之家小编一起看看吧
    2018-05-05
  • 给Docker更换国内镜像源操作

    给Docker更换国内镜像源操作

    这篇文章主要介绍了给Docker更换国内镜像源操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-11-11

最新评论