Apache Sqoop数据采集原理解析

sqoop import | export \
--数据库连接参数
--HDFS或者Hive的连接参数
--配置参数

select count(1) as cnt from CISS_SERVICE_WORKORDER;  178609条

sqoop import \
--connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin \  
--username ciss \
--password 123456 \
--table CISS4.CISS_SERVICE_WORKORDER \
--delete-target-dir \
--target-dir /test/full_imp/ciss4.ciss_service_workorder \
--fields-terminated-by "\001" \   #指定字段分割符
-m 1  #指定并行度

create external table test_text(
line string # 将导入的数据一行作为表中的一列
)
location '/test/full_imp/ciss4.ciss_service_workorder';
select count(*) from test_text;  195825条

  sqoop import \
  -Dmapreduce.job.user.classpath.first=true \
  --connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin \
  --username ciss \
  --password 123456 \
  --table CISS4.CISS_SERVICE_WORKORDER \
  --delete-target-dir \
  --target-dir /test/full_imp/ciss4.ciss_service_workorder \
  --as-avrodatafile \    # 选择文件存储格式为AVRO
  --fields-terminated-by "\001" \
  -m 1

create external table test_avro(
line string
)
stored as avro
location '/test/full_imp/ciss4.ciss_service_workorder';

sqoop import \                                   # 执行数据导入操作
  --connect jdbc:mysql://node3:3306/sqoopTest \  # 连接MySQL数据库（地址：node3，数据库名：sqoopTest）
  --username root \                             # 数据库用户名：root
  --password 123456 \                           # 数据库密码：123456
  --table tb_tohdfs \                           # 要导入的源表：tb_tohdfs
  --target-dir /sqoop/import/test02 \           # HDFS目标目录（数据将写入此路径）
  --fields-terminated-by '\t' \                 # 字段分隔符为制表符（\t）
  --check-column id \                           # 指定增量检查列：id（通常是自增主键）
  --incremental append \                        # 增量模式为“append”（仅导入新数据）
  --last-value 0 \                              # 上次导入的id最大值（初始值为0，首次导入id>0的数据）
  -m 1                                          # 使用1个Map任务（单线程）

sqoop job --create my_job -- import ... --incremental append --check-column id --last-value 0
sqoop job --exec my_job  # 自动更新 last-value

sqoop import \                                   # 执行数据导入操作
  --connect jdbc:mysql://node3:3306/sqoopTest \  # 连接MySQL数据库（地址：node3，数据库名：sqoopTest）
  --username root \                             # 数据库用户名：root
  --password 123456 \                           # 数据库密码：123456
  --table tb_lastmode \                         # 要导入的源表：tb_lastmode
  --target-dir /sqoop/import/test03 \           # HDFS目标目录（数据将写入此路径）
  --fields-terminated-by '\t' \                 # 字段分隔符为制表符（\t）
  --incremental lastmodified \                  # 增量模式为“lastmodified”（采集新增或修改的数据）
  --check-column lastmode \                     # 指定时间戳列：lastmode（记录数据的更新时间）
  --last-value '2021-06-06 16:09:32' \          # 上次导入的最大时间值（导入此时间之后的新增/修改数据）
  -m 1                                          # 使用1个Map任务（单线程）

 --merge-key id  # 假设 id 是主键列

sqoop  import \
--connect jdbc:mysql://node3:3306/db_order \
--username root \
--password-file file:///export/data/sqoop.passwd \
--query "select * from tb_order where substring(create_time,1,10) = '2021-09-14' or substring(update_time,1,10) = '2021-09-14' and \$CONDITIONS " \
--delete-target-dir \
--target-dir /nginx/logs/tb_order/daystr=2021-09-14 \
--fields-terminated-by '\t' \
-m 1