hdfs集成springboot使用方法

 更新时间:2024年03月30日 10:17:25   作者:鸿12321  
这篇文章主要介绍了hdfs集成springboot使用,配置Configuration信息分为两种方式,每种方式给大家介绍的非常详细,需要的朋友可以参考下

1.导入maven依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client-api</artifactId>
    <version>3.3.6</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client-runtime</artifactId>
    <version>3.3.6</version>
</dependency>

2.配置Configuration信息

1)方法1:通过将hdfs的两个配置文件(hdfs-site.xml、core-site.xml)放到resources文件夹下后,新建Configuration的时候设置为true会自动读取,也可以通过conf.set(“配置”,“值”)来修改配置项

//创建配置,是否引用core-site.xml和hdfs-site.xml配置文件,true是引用
Configuration conf = new Configuration(true);
//创建文件连接流,指定namenode、conf和连接的用户名
FileSystem fs = FileSystem.get(new URI("mycluster"),conf,"hadoop");

2)方法2:将Configuration设置为false,不加载默认配置文件,直接指定namenode对应的ip和端口如:hdfs://192.168.132.101:8081替换mycluster

Configuration conf = new Configuration(false);
FileSystem fs = FileSystem.get(new URI("hdfs://192.168.132.101:8081"),conf,"hadoop");

3.hdfs集成springboot基本命令

1)判断文件是否存在

fs.exists(new Path("/out.txt"))

2)创建文件夹

fs.mkdirs(new Path("/dir1"));

3)创建文件夹并设置权限为文件所有者可读可写,文件所有组可读可写,其他人可读

fs.mkdirs(new Path("/dir2"),new FsPermission(FsAction.READ_WRITE,FsAction.READ_WRITE,FsAction.READ));

4)删除文件夹

fs.delete(new Path("/dir1"),true);

5)创建文件并输入文本
如果文件存在,默认会覆盖, 可以通过第二个参数进行控制。第三个参数可以控制使用缓冲区的大小

FSDataOutputStream out = fs.create(new Path("/test.txt"),true, 4096);
out.write("hello hadoop!".getBytes());
out.flush();
out.close();

6)读取文本

FSDataInputStream inputStream = fs.open(new Path("/test.txt"));
byte[] contextBytes = new byte[1024];
inputStream.read(contextBytes);
String context = new String(contextBytes,"utf-8");
System.out.println(context);

7)文件重命名

boolean result = fs.rename(new Path("/test.txt"), new Path("/testnew.txt"));

8)上传文件

fs.copyFromLocalFile(new Path("./data/hello.txt"), new Path("/hdfshello.txt"));

9)下载文件

fs.copyToLocalFile(false, new Path("/hdfshello.txt"), new Path("./data/testdata.txt"), true);

10)输出所有列表所有文件和文件夹信息

FileStatus[] statuses = fs.listStatus(new Path("/"));
for (FileStatus fileStatus : statuses) {
    System.out.println(fileStatus.toString());
}

11)递归查询目录所有文件信息,比listStatus多了文本大小,副本系数,块大小信息

RemoteIterator<LocatedFileStatus> files = fs.listFiles(new Path("/"), true);
while (files.hasNext()) {
    System.out.println(files.next());
}

12)查询文件块信息

FileStatus fileStatus = fs.getFileStatus(new Path("/user/master01/data.txt"));
BlockLocation[] blocks = fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
for (BlockLocation block : blocks) {
    System.out.println(block);
}

13)查询文件块信息并跳转读取

FileStatus fileStatus = fs.getFileStatus(new Path("/user/master01/data.txt"));
BlockLocation[] blocks = fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
FSDataInputStream input = fs.open(new Path("/user/master01/data.txt"));
input.seek(blocks[1].getOffset());
//input.seek(0)是让指针回到开始
System.out.println(input.readLine());

到此这篇关于hdfs集成springboot使用的文章就介绍到这了,更多相关hdfs集成springboot内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • java实现利用String类的简单方法读取xml文件中某个标签中的内容

    java实现利用String类的简单方法读取xml文件中某个标签中的内容

    下面小编就为大家带来一篇java实现利用String类的简单方法读取xml文件中某个标签中的内容。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-12-12
  • IDEA 启动 Tomcat 项目输出乱码的解决方法

    IDEA 启动 Tomcat 项目输出乱码的解决方法

    这篇文章主要介绍了IDEA 启动 Tomcat 项目输出乱码的解决方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-11-11
  • spring data jpa分页查询示例代码

    spring data jpa分页查询示例代码

    本篇文章主要介绍了spring data jpa分页查询示例代码,分页在很多项目中都能使用,具有一定的参考价值,有兴趣的可以了解一下。
    2017-03-03
  • Mybatis-Plus时间范围查询方式详解

    Mybatis-Plus时间范围查询方式详解

    这篇文章主要介绍了Mybatis-Plus时间范围查询方式详解,通过两种方式结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-09-09
  • 关于Java锁性能提高(锁升级)机制的总结

    关于Java锁性能提高(锁升级)机制的总结

    这篇文章主要介绍了关于Java锁性能提高(锁升级)机制的总结,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-05-05
  • 一文带你了解Java万物之基之Object类

    一文带你了解Java万物之基之Object类

    Java是一门天然的面向对象的语言。而所有我们手动创造出来的类,都继承于同一个类,即Object类。本文将通过示例为大家详细介绍一下Java中的Object类,需要的可以参考一下
    2022-03-03
  • Java远程执行shell命令出现java: command not found问题及解决

    Java远程执行shell命令出现java: command not found问题及解决

    这篇文章主要介绍了Java远程执行shell命令出现java: command not found问题及解决方案,具有很好的参考价值,希望对大家有所帮助。
    2023-07-07
  • SSO单点登录系统实现原理及流程图解

    SSO单点登录系统实现原理及流程图解

    这篇文章主要介绍了SSO单点登录系统实现原理及流程图解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-12-12
  • JavaSE系列基础包装类及日历类详解

    JavaSE系列基础包装类及日历类详解

    这篇文章主要介绍的是JavaSE中常用的基础包装类以及日历类的使用详解,文中的示例代码简洁易懂,对我们学习JavaSE有一定的帮助,感兴趣的小伙伴快来跟随小编一起学习吧
    2021-12-12
  • Java实现精准Excel数据排序的方法详解

    Java实现精准Excel数据排序的方法详解

    在数据处理或者数据分析的场景中,需要对已有的数据进行排序,在Excel中可以通过排序功能进行整理数据,而在Java中,则可以借助Excel表格插件对数据进行批量排序,下面我们就来学习一下常见的数据排序方法吧
    2023-10-10

最新评论