脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → hdfs集成springboot

hdfs集成springboot使用方法

 更新时间：2024年03月30日 10:17:25   作者：鸿12321  
这篇文章主要介绍了hdfs集成springboot使用,配置Configuration信息分为两种方式,每种方式给大家介绍的非常详细,需要的朋友可以参考下

1.导入maven依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client-api</artifactId>
    <version>3.3.6</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client-runtime</artifactId>
    <version>3.3.6</version>
</dependency>

2.配置Configuration信息

1）方法1：通过将hdfs的两个配置文件（hdfs-site.xml、core-site.xml）放到resources文件夹下后，新建Configuration的时候设置为true会自动读取，也可以通过conf.set(“配置”,“值”)来修改配置项

//创建配置，是否引用core-site.xml和hdfs-site.xml配置文件，true是引用
Configuration conf = new Configuration(true);
//创建文件连接流，指定namenode、conf和连接的用户名
FileSystem fs = FileSystem.get(new URI("mycluster"),conf,"hadoop");

2）方法2：将Configuration设置为false，不加载默认配置文件，直接指定namenode对应的ip和端口如：hdfs://192.168.132.101:8081替换mycluster

Configuration conf = new Configuration(false);
FileSystem fs = FileSystem.get(new URI("hdfs://192.168.132.101:8081"),conf,"hadoop");

3.hdfs集成springboot基本命令

1）判断文件是否存在

fs.exists(new Path("/out.txt"))

2）创建文件夹

fs.mkdirs(new Path("/dir1"));

3）创建文件夹并设置权限为文件所有者可读可写，文件所有组可读可写，其他人可读

fs.mkdirs(new Path("/dir2"),new FsPermission(FsAction.READ_WRITE,FsAction.READ_WRITE,FsAction.READ));

4）删除文件夹

fs.delete(new Path("/dir1"),true);

5）创建文件并输入文本
如果文件存在，默认会覆盖, 可以通过第二个参数进行控制。第三个参数可以控制使用缓冲区的大小

FSDataOutputStream out = fs.create(new Path("/test.txt"),true, 4096);
out.write("hello hadoop!".getBytes());
out.flush();
out.close();

6）读取文本

FSDataInputStream inputStream = fs.open(new Path("/test.txt"));
byte[] contextBytes = new byte[1024];
inputStream.read(contextBytes);
String context = new String(contextBytes,"utf-8");
System.out.println(context);

7）文件重命名

boolean result = fs.rename(new Path("/test.txt"), new Path("/testnew.txt"));

8）上传文件

fs.copyFromLocalFile(new Path("./data/hello.txt"), new Path("/hdfshello.txt"));

9）下载文件

fs.copyToLocalFile(false, new Path("/hdfshello.txt"), new Path("./data/testdata.txt"), true);

10）输出所有列表所有文件和文件夹信息

FileStatus[] statuses = fs.listStatus(new Path("/"));
for (FileStatus fileStatus : statuses) {
    System.out.println(fileStatus.toString());
}

11）递归查询目录所有文件信息，比listStatus多了文本大小，副本系数，块大小信息

RemoteIterator<LocatedFileStatus> files = fs.listFiles(new Path("/"), true);
while (files.hasNext()) {
    System.out.println(files.next());
}

12）查询文件块信息

FileStatus fileStatus = fs.getFileStatus(new Path("/user/master01/data.txt"));
BlockLocation[] blocks = fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
for (BlockLocation block : blocks) {
    System.out.println(block);
}

13）查询文件块信息并跳转读取

FileStatus fileStatus = fs.getFileStatus(new Path("/user/master01/data.txt"));
BlockLocation[] blocks = fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
FSDataInputStream input = fs.open(new Path("/user/master01/data.txt"));
input.seek(blocks[1].getOffset());
//input.seek(0)是让指针回到开始
System.out.println(input.readLine());

到此这篇关于hdfs集成springboot使用的文章就介绍到这了,更多相关hdfs集成springboot内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Java实现网络数据提取所需知识点

    Java实现网络数据提取所需知识点

    这篇文章主要介绍了Java实现网络数据提取所需知识点，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • 基于Java实现连连看游戏的示例代码

    基于Java实现连连看游戏的示例代码

    连连看游戏顾名思义就是找出具有关联关系的事物并进行相应处理。本文将用java语言实现这一经典游戏，采用了swing技术进行了界面化处理，感兴趣的可以了解一下
    2022-09-09
  • java方法重写和super关键字实例详解

    java方法重写和super关键字实例详解

    这篇文章主要介绍了java方法重写和super关键字实例详解的相关资料,需要的朋友可以参考下
    2017-03-03
  • 解决Java导入excel大量数据出现内存溢出的问题

    解决Java导入excel大量数据出现内存溢出的问题

    今天小编就为大家分享一篇解决Java导入excel大量数据出现内存溢出的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • Java基础之java处理ip的工具类

    Java基础之java处理ip的工具类

    这篇文章主要介绍了Java基础应用，使用java处理ip的工具类的相关资料,需要的朋友可以参考下
    2014-10-10
  • Java中List的使用方法简单介绍

    Java中List的使用方法简单介绍

    这篇文章主要针对Java中List的使用方法为大家介绍了进行简单介绍，List是个集合接口，只要是集合类接口都会有个“迭代子”（ Iterator ），利用这个迭代子，就可以对list内存的一组对象进行操作，感兴趣的小伙伴们可以参考一下
    2016-07-07
  • java垃圾回收之实现并行GC算法

    java垃圾回收之实现并行GC算法

    这篇文章主要为大家介绍了java垃圾回收之实现并行GC算法的详细讲解，让我们看看并行垃圾收集器的GC日志长什么样, 从中我们可以得到哪些有用信息
    2022-01-01
  • javaweb开发提高效率利器JRebel详解

    javaweb开发提高效率利器JRebel详解

    这篇文章主要介绍了javaweb开发提高效率利器JRebel详解,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2021-04-04
  • Mybatis中自定义TypeHandler处理枚举的示例代码

    Mybatis中自定义TypeHandler处理枚举的示例代码

    typeHandler,是 MyBatis 中的一个接口,用于处理数据库中的特定数据类型,下面简单介绍创建自定义 typeHandler 来处理枚举类型的示例,感兴趣的朋友跟随小编一起看看吧
    2024-01-01
  • Java中数组的定义和使用教程(三)

    Java中数组的定义和使用教程(三)

    这篇文章主要给大家介绍了关于Java中数组的定义和使用的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01

最新评论