脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → 其它相关 → Sqoop安装与使用

Sqoop的安装与使用详细教程

 更新时间：2021年04月12日 11:46:43   作者：象在舞  
Sqoop是一款开源的工具，主要用于在Hadoop与传统数据库间进行数据的传递，这篇文章主要介绍了Sqoop的安装与使用详细教程,需要的朋友可以参考下

本文我们介绍一个非常好用的数据传输工具——Sqoop。Sqoop是一款开源的工具，主要用于在Hadoop与传统数据库间进行数据的传递，可以将一个关系型数据库（例如：MySQL，Oracle，Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~

一、Sqoop的安装

1.1 下载上传安装包

1、首先下载安装包，点击此处进行下载。

2、将下载的安装包上传到集群中，解压到相关目录并重命名。

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C ../modules/

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop

1.2 修改配置文件

1、首先重命名sqoop-env-template.sh文件

[root@master conf]# mv sqoop-env-template.sh sqoop-env.sh

2、在sqoop-env.sh中添加各组件的路径

export HADOOP_COMMON_HOME=/opt/modules/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/modules/hadoop-2.7.2
export HIVE_HOME=/opt/modules/hive
export ZOOKEEPER_HOME=/opt/modules/zookeeper-3.4.10
export ZOOCFGDIR=/opt/modules/zookeeper-3.4.10
export HBASE_HOME=/opt/modules/hbase

1.3 拷贝JDBC驱动

拷贝MySQL的驱动包到Sqoop的lib目录下：

[root@master software]# cp ./mysql-connector-java-5.1.47.jar /opt/modules/sqoop/lib/

1.4 验证Sqoop是否安装成功

bin/sqoop help

出现上图的内容说明安装成功。

二、Sqoop的导入导出

2.1 测试连接数据库

bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password p@ssw0rd

2.2 MySQL导入数据到HDFS

1、首先在MySQL数据库（xzw）中新建一张people表，如下所示：

create table people(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
insert into people(name, sex) values('xzw', 'Male');
insert into people(name, sex) values('fq', 'FeMale');

2、全量导入

bin/sqoop import \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password p@ssw0rd \
--table people \
--target-dir /user/sqoop/people \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by ","

使用如下命令查看导入的结果：

3、查询导入

bin/sqoop import \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password p@ssw0rd \
--target-dir /user/sqoop/people \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "," \
--query 'select name,sex from people where id <=1 and $CONDITIONS;'

查看导入结果：

这里需要注意的是，如果query后使用的是双引号，则$CONDITIONS前必须加转义符\，防止shell识别为自己的变量。如果使用的是单引号，则不需要加。

4、导入指定列

bin/sqoop import \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password p@ssw0rd \
--target-dir /user/sqoop/people \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "," \
--columns id,sex \
--table people

查看结果：

这里需要注意的是，columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格。

5、使用sqoop关键字筛选查询导入数据

bin/sqoop import \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password p@ssw0rd \
--target-dir /user/sqoop/people \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "," \
--table people \
--where "id=1"

查看结果：

2.3 MySQL导入数据到Hive

bin/sqoop import \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password p@ssw0rd \
--table people \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "," \
--hive-overwrite \
--hive-table hive_people

该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库。这里需要注意的是，Hive中的表不需要提前创建，Sqoop会在导数据的过程中自动创建表。

2.4 MySQL导入数据到HBase

bin/sqoop import \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password p@ssw0rd \
--table people \
--columns "id,name,sex" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_people" \
--num-mappers 1 \
--split-by id

这里需要注意的是，需要提前将HBase表建好：

create 'hbase_people','info'

2.5 HDFS导出数据到MySQL

bin/sqoop export \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password p@ssw0rd \
--table people \
--num-mappers 1 \
--export-dir /user/sqoop/people \
--input-fields-terminated-by ","

这里需要注意的是，如果MySQL中不存在表，不会自动创建，简言之就是在执行导出之前需要在MySQL中创建好表。

三、Sqoop脚本打包

我们使用opt格式的文件打包Sqoop命令，然后执行，具体如下。

首先在Sqoop的安装目录新建目录opt，并编写脚本如下：

export
--connect
jdbc:mysql://master:3306/xzw
--username
root
--password
p@ssw0rd
--table
people
--num-mappers
1
--export-dir
/user/sqoop/people
--input-fields-terminated-by
","

然后使用如下命令执行脚本：

bin/sqoop --options-file opt/HDFSToMySQL.opt

到此这篇关于Sqoop的安装与使用详细教程的文章就介绍到这了,更多相关Sqoop安装与使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

到此这篇关于Sqoop的安装与使用详细教程的文章就介绍到这了,更多相关Sqoop安装与使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Hbuilder连远程接服务器上传代码的图文教程

    Hbuilder连远程接服务器上传代码的图文教程

    下面小编就为大家分享一篇Hbuilder连远程接服务器上传代码的图文教程，具有很好的参考价值，一起跟随小编过来看看吧，希望对大家有所帮助
    2017-11-11
  • HTTP中ETag语法及使用实战详解

    HTTP中ETag语法及使用实战详解

    这篇文章主要为大家介绍了HTTP中ETag语法及使用实战详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-03-03
  • git merge --ff/--no-ff/--ff-only 三种选项参数的区别解析

    git merge --ff/--no-ff/--ff-only 三种选项参数的区别解析

    这篇文章主要介绍了git merge --ff/--no-ff/--ff-only 三种选项参数的区别解析,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2021-04-04
  • TCP 四种定时器（重传定时器，坚持计时器，保活定时器，时间等待计时器）

    TCP 四种定时器（重传定时器，坚持计时器，保活定时器，时间等待计时器）

    这篇文章主要介绍了TCP 四种定时器，重传定时器，坚持计时器，保活定时器，时间等待计时器的相关资料,需要的朋友可以参考下
    2017-03-03
  • 漫谈架构之微服务

    漫谈架构之微服务

    微服务的架构出现已经很久很久了，微服务架构就是一种将单个应用程序转换为一组小服务的方法，每个小服务都在自己的进程中运行，并使用轻量级的交互方式（如HTTP）进行通信
    2021-06-06
  • 在VScode上使用latex编辑pdf的方法

    在VScode上使用latex编辑pdf的方法

    这篇文章主要介绍了在VScode上使用latex编辑pdf的相关知识，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2021-04-04
  • java与c#的区别、两者有什么不同？

    java与c#的区别、两者有什么不同？

    Java和C#都是一门面向对象的语言，Java更多地借鉴了C++的优点，而摒弃了它的一些不太容易被人掌握的知识点（有些不能说是缺点），并且增加了一些自己的特点，而C#则是更多地借鉴了Java的优点，而增加了一些自己的特点
    2013-04-04
  • H5混合开发手机Web App入门：概念篇

    H5混合开发手机Web App入门：概念篇

    如果你开始学习手机 App 开发，就一定会听到 H5 这个词。它是目前的主流开发技术之一，容易上手，开发周期短、成本低、兼容传统 Web 开发。但是，很少有文章详细介绍，H5 到底是什么技术，有什么原理，跟其他技术的差异在哪里。
    2022-12-12
  • Scala函数式编程专题--scala基础语法介绍

    Scala函数式编程专题--scala基础语法介绍

    这篇文章主要介绍了scala基础语法的的相关资料，文中讲解非常详细，帮助大家更好的理解和学习，感兴趣的朋友可以了解下
    2020-06-06
  • 深入分析java与C#底层控制能力区别及示例详解

    深入分析java与C#底层控制能力区别及示例详解

    这篇文章主要为大家深入分析java与C#底层控制能力不同的示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪
    2021-11-11

最新评论