Shell脚本导入导出数据的项目示例

更新时间：2022年04月20日 10:43:18 作者：crysw

在工作中，很多场景都会涉及到数据的导入导出，本文就介绍一下使用Shell脚本导入导出数据的项目示例，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

1. 介绍

在工作中 , 很多场景都会涉及到db数据的导入导出, 为了不影响正常业务, 一般会选择在夜间交易访问量小的时候定时任务跑批进行数据的导入导出. 我们公司, 由于分为了不同区域的开发中心, 应用系统也比较多, 所以业务相互关联的各系统间的数据依赖, 我们是通过数据中台做数据中转的, 比如: A系统要做客户信息的操作但自己没有这部分信息, 客户信息主要是B系统在维护, 这时候A系统就需要用到B系统的数据.

方案就是B系统将客户信息数据资源发布到数据中台, 因为A系统向数据中台订阅了B系统的客户信息资源 , 数据中台会将客户信息资源转发到A系统服务器的指定目录, 最后A系统只需要开发shell脚本将资源文件中的数据导入本地数据库即可.

B系统需要A系统的业务数据也是一样的道理, A系统只需要将业务数据资源发布到数据中台,(A系统开发脚本将db数据导出为数据文件发送给数据中台), B系统订阅A系统的资源, 由数据中台做资源的转发.

下面主要是总结工作中用到的shell脚本如何实现db数据的导入和导出, 数据中台是一个企业级数据交换服务平台, 这里就不详细赘述了.

2. 导入数据到db2

将MY_CUSTOMER_INFO_[DATE].del文件数据导入MY_CUSTOMER_INFO表.

在这里插入图片描述

3. 导出db2数据

将MY_CUSTOMER_INFO表的数据导出为MY_CUSTOMER_INFO_[DATE].del文件.

在这里插入图片描述

导出数据也可以使用java程序先查询数据,然后通过IO流写文件.

在这里插入图片描述

4. 导入数据到mysql

将MY_CUSTOMER_INFO_[DATE].del文件数据导入MY_CUSTOMER_INFO表.

在这里插入图片描述

导入数据部分, 如果null数据想使用空字符串替换, 可以使用NULLIF函数判断后替换.

在这里插入图片描述

5. 导出mysql数据

将MY_CUSTOMER_INFO表的数据导出为MY_CUSTOMER_INFO_[DATE].del文件.

在这里插入图片描述

6. Java程序调用shell脚本

使用java.lang.Runtime类实现shell脚本的调用并执行.

在这里插入图片描述

7. 遇到的问题

(1) 上面Java程序调用并执行shell脚本, 需要注意服务器系统类型是Linux还是AIX系统, 不然传入的参数无法接收到.

(2) windows环境(\r\n)和linux环境(\r)的换行符不一样, 导致在windows系统编辑的shell脚本在Linux服务器上执行报错, 需要使用vim编辑器将\r\n替换为\r.

脚本格式设置, \r\n替换为\r.

:set ff=unix

脚本格式设置, \r替换为\r\n.

:set ff=dos

到此这篇关于Shell脚本导入导出数据的项目示例的文章就介绍到这了,更多相关Shell导入导出数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Linux下使用tcpdump抓包的实现方法
tcpdump是Linux下面的一个开源的抓包工具，和Windows下面的wireshark抓包工具一样，支持抓取指定网口、指定目的地址、指定源地址、指定端口、指定协议的数据。这篇文章主要介绍了Linux下使用tcpdump抓包的实现方法,需要的朋友可以参考下
2015-10-10
杀掉oracle在线用户脚本分享
这篇文章主要介绍了杀掉oracle在线用户脚本,需要的朋友可以参考下
2014-03-03
shell实现俄罗斯方块脚本
这篇文章主要为大家详细介绍了shell实现俄罗斯方块的脚本，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-06-06
nvidia-smi命令详解和一些高阶技巧讲解
一般情况下用的比较多的就是nvidia-smi的命令，其实掌握了这一个命令也就能够覆盖绝大多数场景了，但是本质求真务实的态度，本文调研了相关资料，整理了一些比较常用的nvidia-smi命令的其他用法，感兴趣的朋友跟随小编一起看看吧
2023-01-01
Ubuntu中的sudo和su命令介绍
这篇文章介绍了Ubuntu中的sudo和su命令，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-06-06
使用Shell遍历目录及其子目录中的所有文件方法
今天小编就为大家分享一篇使用Shell遍历目录及其子目录中的所有文件方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-06-06
Shell脚本实现从文件夹中递归复制文件
这篇文章主要介绍了Shell脚本实现从文件夹中递归复制文件,本文脚本实现从十层左右的文件夹中复制所有文件到一目录中,需要的朋友可以参考下
2015-02-02
linux下自动备份MySQL数据并上传到FTP上的shell脚本
linux下自动备份MySQL数据并上传到FTP上的shell脚本，需要的朋友可以参考下
2013-01-01
shell 读取变量脚本编程解析
这篇文章主要为大家介绍了shell 读取变量脚本编程解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2023-09-09
shell 基本计算、逻辑运算、位运算详解
Shell 提供大量的基本运算操作，在脚本中非常有用。Shell 对您提供的算术表达式求值，执行运算展开式，此时使用得出的结果替换表达式
2012-09-09