Flume监听oracle表增量的步骤详解

 更新时间:2018年07月19日 08:36:12   作者:Ginoy  
这篇文章主要介绍了Flume监听oracle表增量的步骤详解,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下

需求:获取oracle表增量信息,发送至udp514端口,支持ip配置

步骤:

(1)需要的jar  oracle的 odbc5.jar(oracle安装目录  /jdbc/lib下查找)

(2)flume的开源包flume-ng-sql-source-1.4.3.jar  最新的好像是1.5的 小版本记不住了 这个下载地址直接csdn上就有

这两个jar 都拷贝到flume的lib下

(3)flume配置文件

a1.sources = r1
a1.sinks = k1
a1.channels = c1
#接收syslog配置
#a1.sources.r1.type = syslogudp
#a1.sources.r1.port = 514
#a1.sources.r1.host = 0.0.0.0
###########sql source#################
a1.sources.r1.type = org.keedio.flume.source.SQLSource
a1.sources.r1.hibernate.connection.url = jdbc:oracle:thin:@10.9.224.36:1521/soc
# Hibernate Database connection properties
a1.sources.r1.hibernate.connection.user = soc_app
a1.sources.r1.hibernate.connection.password = soc_app
a1.sources.r1.hibernate.connection.autocommit = true
a1.sources.r1.hibernate.dialect = org.hibernate.dialect.Oracle10gDialect
a1.sources.r1.hibernate.connection.driver_class = oracle.jdbc.driver.OracleDriver
a1.sources.r1.run.query.delay=1
a1.sources.r1.status.file.path = /usr/local/flume
a1.sources.r1.status.file.name = a1.sqlSource.status
# Custom query
a1.sources.r1.start.from = '2017-07-31 07:06:20'
a1.sources.r1.custom.query = SELECT CHR(39)||TO_CHAR(CREATETIME,'YYYY-MM-DD HH24:MI:SS')||CHR(39),MSG FROM FLUME_NG_SQL_SOURCE WHERE CREATETIME > TO_DATE($@$,'YYYY-MM-DD HH24:MI:SS') ORDER BY CREATETIME ASC
a1.sources.r1.batch.size = 6000
a1.sources.r1.max.rows = 1000
a1.sources.r1.hibernate.connection.provider_class = org.hibernate.connection.C3P0ConnectionProvider
a1.sources.r1.hibernate.c3p0.min_size=1
a1.sources.r1.hibernate.c3p0.max_size=10
###########sql source#################
#自定义类型
a1.sinks.k1.type = com.neusoft.utils.SyslogSink
#配置发送ip
a1.sinks.k1.destination = 10.9.224.36
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
#启动命令 ./flume-ng agent -c ../conf -f ../conf/flume-sql.conf -n a1 -Dflume.root.logger=INFO,console &

由于是自己定义的sink 在我的博客中也有提到,所以配置了自定义的sink。

总结

以上所述是小编给大家介绍的Flume监听oracle表增量的步骤详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

  • PLSQL Developer登录的默认密码介绍

    PLSQL Developer登录的默认密码介绍

    这篇文章主要介绍了PLSQL Developer登录的默认密码介绍,具有一定参考价值,需要的朋友可以了解下。
    2017-10-10
  • ORACLE数据库应用开发的三十个注意事项

    ORACLE数据库应用开发的三十个注意事项

    今天笔者结合二十余年的ORACLE数据库应用开发和运维的经验教训,总结在使用ORACLE数据库环境中的应用开发中需要注意的一些注意事项,这些问题不但可以作为ORACLE数据库开发的注意事项,大多数也适用于常见的关系型数据库开发甚至非关系型数据开发。
    2021-06-06
  • DB2数据库切换为oracle数据库经验教训总结(必看篇)

    DB2数据库切换为oracle数据库经验教训总结(必看篇)

    下面小编就为大家带来一篇DB2数据库切换为oracle数据库经验教训总结(必看篇)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-04-04
  • Oracle存储过程新手入门教程(附学习用例)

    Oracle存储过程新手入门教程(附学习用例)

    存储过程就是作为可执行对象存放在数据库中的一个或多个SQL命令,下面这篇文章主要给大家介绍了关于Oracle存储过程新手入门教程的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-03-03
  • Oracle插入日期数据常见的2个问题和解决方法

    Oracle插入日期数据常见的2个问题和解决方法

    这篇文章主要介绍了Oracle插入日期数据常见的2个问题和解决方法,一个是提示无效的月份问题,一个是日期插入格式问题 ,需要的朋友可以参考下
    2014-07-07
  • Oracle统计信息的导出导入测试示例详解

    Oracle统计信息的导出导入测试示例详解

    这篇文章主要给大家介绍了关于Oracle统计信息的导出导入测试的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-12-12
  • Windows系统下Oracle数据库每天自动备份

    Windows系统下Oracle数据库每天自动备份

    linux和unix下面使用shell可以很方便实现,如果windows环境下可以结合计划任务实现自动备份,下面通过本文给大家介绍实现方法,需要的朋友参考下吧
    2016-12-12
  • Linux静默安装Oracle11g部分问题的解决方法

    Linux静默安装Oracle11g部分问题的解决方法

    这篇文章主要为大家详细介绍了Linux静默安装Oracle11g部分问题的解决方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-05-05
  • 探讨Oracle中的&号问题

    探讨Oracle中的&号问题

    在Oracle中inset里面的内容如果中有'&'号,有可能会插入失败,究竟是什么原因呢?以下是解决这个问题的方法,需要的朋友可以参考下
    2013-07-07
  • oracle SQL递归的使用详解

    oracle SQL递归的使用详解

    本篇文章是对oracle SQL递归的使用进行了详细的分析介绍,需要的朋友参考下
    2013-05-05

最新评论