Flume如何自定义Sink数据至MySQL

 更新时间:2024年10月03日 12:31:48   作者:大数据面壁者  
Flume是分布式日志收集系统,通过自定义Sink,可实现将事件数据写入MySQL,自定义Sink需继承AbstractSink类和实现Configurable接口,通过process方法处理Channel数据,适用于特定数据存储需求

Flume自定义Sink数据至MySQL

一、介绍

Sink不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

Sink是完全事务性的。在从Channel批量删除数据之前,每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent,Sink就利用Channel提交事务。事务一旦被提交,该Channel从自己的内部缓冲区删除事件。

Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。官方提供的Sink类型已经很多,但是有时候并不能满足实际开发当中的需求,此时我们就需要根据实际需求自定义某些Sink。

官方也提供了自定义sink的接口:

https://flume.apache.org/FlumeDeveloperGuide.html#sink根据官方说明自定义MySink需要继承AbstractSink类并实现Configurable接口。

实现相应方法:

  • configure(Context context)//初始化context(读取配置文件内容)
  • process()//从Channel读取获取数据(event),这个方法将被循环调用。

使用场景:

读取Channel数据写入MySQL或者其他文件系统。

二、需求

使用flume接收(id,name,string)数据,并在Sink端给每条数据进行切分,编写JDBC驱动将数据保存到MySQL数据库。

三、编写MySink

package com.flume.flume;

import org.apache.flume.*;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class MySink extends AbstractSink implements Configurable {

    private String msgPrefix;

    /**
     * 用来保存数据,不断调用次方法
     * @return
     * @throws EventDeliveryException
     */
    @Override
    public Status process() throws EventDeliveryException {
        //获取sink对应的channnel
        Channel channel = getChannel();
        Connection connection = null;
        PreparedStatement statement = null;
        //获取事务对象
        Transaction transaction = channel.getTransaction();
        try{
            //开启事务
            transaction.begin();
            //从channel中获取数据
            Event event = channel.take();

            //切割数据
            String data = new String(event.getBody());
            String[] arr = data.split(",");
            String id = arr[0];
            String name = arr[1];
            int age = Integer.parseInt(arr[2]);

            //保存到mysql
            //1、获取connect
            connection = DriverManager.getConnection("jdbc:mysql://hadoop102:3306/test?useSSL=false","root","123321");
            statement = connection.prepareStatement("insert into test values(?,?,?)");
            saveToMysql(id,name,age,connection,statement);
            //模拟数据保存
            //System.out.println(msgPrefix+":"+new String(take.getBody()));
            //提交事务
            transaction.commit();

            return Status.READY;
        }catch (Exception e){
            transaction.rollback();
        }finally {
            //关闭事务
            transaction.close();
            if(statement!=null)
            //5、关闭
            {
                try {
                    statement.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
            if(connection!=null) {
                try {
                    connection.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
        }

        return Status.BACKOFF;
    }

    public void saveToMysql(String id,String name,int age,Connection connection,PreparedStatement statement) throws SQLException {

        //2、获取statement对象
        //sql注入 【 select * from table where name='zhangsan' or 1=1】
        //connection.createStatement();

        //3、赋值
        statement.setString(1,id);
        statement.setString(2,name);
        statement.setInt(3,age);
        System.out.println(id+","+name+","+age);
        //4、保存
        statement.executeUpdate();


    }
    /**
     * 获取sink的配置属性
     * @param context
     */
    @Override
    public void configure(Context context) {

        msgPrefix = context.getString("msg.prefix");

    }
}

四、编写Flume脚本

#定义agent
a1.sources = r1
a1.channels = c1
a1.sinks = k1

#定义source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 9999

#定义channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 1000

#定义sink
a1.sinks.k1.type = com.atguigu.flume.MySink
a1.sinks.k1.msg.prefix = message

#定义source、channel、sink之间的绑定关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

五、测试

1.启动flume

[hadoop@hadoop102 ~]$ cd /opt/module/flume/
[hadoop@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/mysik.config -Dflume.root.logger=INFO,console

2.启动nc端口

[hadoop@hadoop102 ~]$ nc hadoop102 9999
1,ttt,8
OK

3.客户端输出

4.查看MySQL数据库

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • MySQL 5.6 & 5.7最优配置文件模板(my.ini)

    MySQL 5.6 & 5.7最优配置文件模板(my.ini)

    这篇文章主要介绍了MySQL 5.6 & 5.7最优配置文件模板(my.ini),需要的朋友可以参考下
    2016-07-07
  • MySQL执行事务的语法与流程详解

    MySQL执行事务的语法与流程详解

    这篇文章主要介绍了MySQL执行事务的语法与流程的相关资料,文中通过图文介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • mysql和oracle默认排序的方法 - 不指定order by

    mysql和oracle默认排序的方法 - 不指定order by

    这篇文章主要介绍了mysql和oracle默认排序的方法 - 不指定order by。具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-07-07
  • Prometheus 监控MySQL使用grafana展示

    Prometheus 监控MySQL使用grafana展示

    这篇文章主要介绍prometheus通过mysql exporter+node exporter监控mysql,并使用grafana进行图表展示的相关内容,感兴趣的效果版可以参考下文
    2021-08-08
  • MySQL由浅入深掌握连接查询

    MySQL由浅入深掌握连接查询

    连接查询是关系数据库中最主要的查询,主要包括内连接、外连接和交叉连接等。通过连接运算符可以实现多个表查询。连接是关系数据库模型的主要特点,也是它区别于其它类型数据库管理系统的一个标志
    2022-03-03
  • mysql中的各种约束条件深入探讨

    mysql中的各种约束条件深入探讨

    在mysql中对编辑的数据进行类型的限制,不满足约束条件的报错,本文给大家分享mysql中的各种约束条件,结合实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧
    2024-05-05
  • MYSQL 无法识别中文的永久解决方法

    MYSQL 无法识别中文的永久解决方法

    多数情况下,mysql在刚刚安装时是不支持中文的,这是由于编码的问题,那么如何解决这个方法,本文我们就来详细的了解一下
    2021-06-06
  • MySQL Online DDL原理解析

    MySQL Online DDL原理解析

    MySQL原生OnlineDDL通过允许在表可用的情况下执行DDL操作,大大提升了数据库的可用性,通过不同的执行算法,如COPY、INPLACE和INSTANT,它支持在线修改数据库结构,优化了数据库维护流程,本文给大家介绍MySQL Online DDL原理,感兴趣的朋友跟随小编一起看看吧
    2024-10-10
  • Win10下mysql 8.0.15 安装配置方法图文教程

    Win10下mysql 8.0.15 安装配置方法图文教程

    这篇文章主要为大家详细介绍了Win10下mysql 8.0.15 安装配置方法图文教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-02-02
  • MySql8.0以上版本正确修改ROOT密码的方法

    MySql8.0以上版本正确修改ROOT密码的方法

    这篇文章主要介绍了MySql8.0以上版本正确修改ROOT密码的方法,文中给大家提到了成功部署完毕后出现故障情况,本文分步骤给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-06-06

最新评论