Java API操作HDFS方法详细讲解

更新时间：2023年02月20日 08:29:14 作者：X_Serendipity

这篇文章主要介绍了Java API操作Hdfs详细示例,遍历当前目录下所有文件与文件夹，可以使用listStatus方法实现上述需求，本文通过实例代码给大家介绍的非常详细，需要的朋友可以参考下

一、判断Path指向目录还是文件

在net.xxr.hdfs包里创建PathToFileOrDir类

package net.xxr.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.net.URI;
/**
 * 功能：判断路径指向目录还是文件
 */
public class PathToFileOrDir {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向目录
        Path path1 = new Path("/ied01");
        if (fs.isDirectory(path1)) {
            System.out.println("[" + path1 + "]指向的是目录！");
        } else {
            System.out.println("[" + path1 + "]指向的是文件！");
        }
        // 创建路径对象，指向文件
        Path path2 = new Path("/lzy01/test2.txt");
        if (fs.isFile(path2)) {
            System.out.println("[" + path2 + "]指向的是文件！");
        } else {
            System.out.println("[" + path2 + "]指向的是目录！");
        }
    }
}

结果

二、删除目录或文件

在net.xxr.hdfs包里创建DeleteFileOrDir类

1、删除文件

删除/lzy/hello.txt文件
编写deleteFile()方法

package net.xxr.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.net.URI;
/**
 * 功能：删除目录或文件
 */
public class DeleteFileOrDir {
    @Test
    public void deleteFile() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/lzy01/hello.txt");
        // 删除路径对象指向的文件（第二个参数表明是否递归，删除文件，不用递归）
        boolean result = fs.delete(path, false);
        // 根据返回结果提示用户
        if (result) {
            System.out.println("文件[" + path + "]删除成功！");
        } else {
            System.out.println("文件[" + path + "]删除失败！");
        }
    }
}

结果

利用Hadoop WebUI界面查看

再运行deleteFile()测试方法，查看结果

可以在删除文件之前，判断文件是否存在，需要修改代码

package net.xxr.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.net.URI;
/**
 * 功能：删除目录或文件
 */
public class DeleteFileOrDir {
    @Test
    public void deleteFile() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/lzy01/hi.txt");
        // 判断路径对象指向的文件是否存在
        if (fs.exists(path)) {
            // 删除路径对象指向的文件（第二个参数表明是否递归，删除文件，不用递归）
            boolean result = fs.delete(path, false);
            // 根据返回结果提示用户
            if (result) {
                System.out.println("文件[" + path + "]删除成功！");
            } else {
                System.out.println("文件[" + path + "]删除失败！");
            }
        } else {
            System.out.println("文件[" + path + "]不存在！");
        }
    }
}

结果

2、删除目录

删除/ied01目录
编写deleteDir()方法

@Test
    public void deleteDir() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向目录）
        Path path = new Path(uri + "/ied01");
        // 判断路径对象指向的目录否存在
        if (fs.exists(path)) {
            // 删除路径对象指向的目录（第二个参数表明是否递归，删除文件，要递归）
            boolean result = fs.delete(path, true);
            // 根据返回结果提示用户
            if (result) {
                System.out.println("目录[" + path + "]删除成功！");
            } else {
                System.out.println("目录[" + path + "]删除失败！");
            }
        } else {
            System.out.println("目录[" + path + "]不存在！");
        }
    }

再运行deleteDir()方法，查看结果

3、删除目录或文件

进行三个层面的判断：判断类型（目录或文件）、判断是否存在、判断删除是否成功
删除/ied03/exam.txt文件和/ied02目录
编写delete()方法

@Test
    public void delete() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 定义随机对象
        Random random = new Random();
        // 产生随机整数 - [0, 1]
        int choice = random.nextInt(100) % 2;
        // 定义路径字符串
        String[] strPath = {"/ied03/exam.txt", "/ied02"};
        // 创建路径对象（指向目录或文件）
        Path path = new Path(uri + strPath[choice]);
        // 判断类型：目录或文件
        String type = "";
        if (fs.isDirectory(path)) {
            type = "目录";
        } else {
            type = "文件";
        }
        // 判断存在性
        if (fs.exists(path)) {
            // 删除路径对象指向的目录或文件
            boolean result = fs.delete(path, true);
            // 判断删除是否成功
            if (result) {
                System.out.println(type + "[" + path + "]删除成功！");
            } else {
                System.out.println(type + "[" + path + "]删除失败！");
            }
        } else {
            System.out.println(type + "[" + path + "]不存在！");
        }
    }

到此这篇关于Java API操作HDFS方法详细讲解的文章就介绍到这了,更多相关Java API操作HDFS内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

8个Spring事务失效场景详解
相信大家对Spring种事务的使用并不陌生，但是你可能只是停留在基础的使用层面上。今天，我们就简单来说下Spring事务的原理，然后总结一下spring事务失败的场景，并提出对应的解决方案，需要的可以参考一下
2022-12-12
使用SpringBoot+EasyExcel+Vue实现excel表格的导入和导出详解
这篇文章主要介绍了使用SpringBoot+VUE+EasyExcel 整合导入导出数据的过程详解，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
2022-08-08
Springboot中RedisTemplate设置String、Hash、List过期时间
本文主要介绍了Springboot中RedisTemplate设置String、Hash、List过期时间,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
2024-05-05
Springboot整合Freemarker的实现详细过程
这篇文章主要介绍了Springboot整合Freemarker的实现详细过程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-12-12
java播放声音类和一个简单示例
这篇文章主要介绍了一个java播放声音类和一个java播放声音的应用程序，应用程序可以单次播放声音、循环播放声音,需要的朋友可以参考下
2014-03-03
Springboot项目引入druid安装部署使用教程
这篇文章主要介绍了Springboot项目引入druid安装部署使用,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-01-01
深入理解Java8新特性之Lambda表达式的基本语法和自定义函数式接口
Lambda 表达式，也可称为闭包，它是推动 Java 8 发布的最重要新特性。Lambda 允许把函数作为一个方法的参数（函数作为参数传递进方法中）。使用 Lambda 表达式可以使代码变的更加简洁紧凑
2021-11-11
SpringBoot实现多环境配置文件切换教程详解
很多时候，我们项目在开发环境和生成环境的环境配置是不一样的，例如，数据库配置，这个时候就需要切换环境配置文件。本文将详细讲解SpringBoot如何切换配置文件，需要的可以参考一下
2022-03-03
springboot Long 精度丢失问题解决
这篇文章主要为大家介绍了解决springboot Long 精度丢失问题的方法详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2022-07-07
Java 锁粗化与循环问题
这篇文章主要介绍了Java 锁粗化与循环的相关知识，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
2019-04-04