ASP.NET实现Hadoop增删改查的示例代码

更新时间：2017年10月12日 10:19:57 作者：逆世风灵

本篇文章主要介绍了ASP.NET实现Hadoop增删改查的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

本文介绍了ASP.NET实现Hadoop增删改查的示例代码，分享给大家，具体如下：

packages.config

<?xml version="1.0" encoding="utf-8"?>
<packages>
 <package id="Microsoft.AspNet.WebApi.Client" version="4.0.20505.0" targetFramework="net46" />
 <package id="Microsoft.Data.Edm" version="5.2.0" targetFramework="net46" />
 <package id="Microsoft.Data.OData" version="5.2.0" targetFramework="net46" />
 <package id="Microsoft.Hadoop.WebClient" version="0.12.5126.42915" targetFramework="net46" />
 <package id="Microsoft.Net.Http" version="2.0.20505.0" targetFramework="net46" />
 <package id="Microsoft.WindowsAzure.ConfigurationManager" version="1.8.0.0" targetFramework="net46" />
 <package id="Newtonsoft.Json" version="4.5.11" targetFramework="net46" />
 <package id="System.Spatial" version="5.2.0" targetFramework="net46" />
 <package id="WindowsAzure.Storage" version="2.0.4.1" targetFramework="net46" />
</packages>

HDFSAccess.cs

using Microsoft.Hadoop.WebHDFS;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net.Http;

namespace Physical
{
  public sealed class HDFSAccess
  {
    private readonly WebHDFSClient webHDFSClient;

    public HDFSAccess(string uriString, string userName)
    {
      this.webHDFSClient = new WebHDFSClient(new Uri(uriString), userName);
    }

    public List<string> GetDirectories(string path)
    {
      var directoryStatus = this.webHDFSClient.GetDirectoryStatus(path).Result;

      return directoryStatus.Directories.Select(d => d.PathSuffix).ToList();
    }

    public List<string> GetFiles(string path)
    {
      var directoryStatus = this.webHDFSClient.GetDirectoryStatus(path).Result;

      return directoryStatus.Files.Select(d => d.PathSuffix).ToList();
    }

    public bool CreateDirectory(string path)
    {
      // 传入路径不包含根目录时，预设会在根目录「/」底下
      return this.webHDFSClient.CreateDirectory(path).Result;
    }

    public bool DeleteDirectory(string path)
    {
      // 传入路径不包含根目录时，预设会在根目录「/」底下
      return this.webHDFSClient.DeleteDirectory(path).Result;
    }

    public string CreateFile(string localFile, string remotePath)
    {
      // 传入远端路径不包含根目录时，预设会在根目录「/」底下
      return this.webHDFSClient.CreateFile(localFile, remotePath).Result;
    }

    public bool DeleteFile(string path)
    {
      // 传入路径不包含根目录时，预设会在根目录「/」底下
      return this.webHDFSClient.DeleteDirectory(path).Result;
    }

    public HttpResponseMessage OpenFile(string path)
    {
      // 传入路径不包含根目录时，预设会在根目录「/」底下
      return this.webHDFSClient.OpenFile(path).Result;
    }
  }
}

Program.cs

using Physical;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

namespace MyTest
{
  class Program
  {
    // HDFS cluster 客户端进入端点设定于 主机上
    // 预设端点：http://[主机名称]:50070
    // 预设帐号：Wu
    private static HDFSAccess access = new HDFSAccess(@"http://127.0.0.1:50070", "Wu");

    static void Main(string[] args)
    {
      GetDirectoriesTest();
      Console.WriteLine("----------------------------------------------");
      GetFilesTest();
      Console.WriteLine("----------------------------------------------");
      DirectoryTest();
      Console.WriteLine("----------------------------------------------");
      FileTest();
      Console.WriteLine("----------------------------------------------");
      OpenFileTest();
      Console.ReadKey();
    } 

    public void TestCleanup()
    {
      //取得根目录资料夹
      var directories = access.GetDirectories(@"/");

      // 移除预设目录：tmp、user 外的目录
      foreach (var directory in directories)
      {
        if ("tmp".Equals(directory) || "user".Equals(directory))
        {
          continue;
        }
        else
        {
          access.DeleteDirectory(directory);
        }
      }

      // 取得根目录档案
      var files = access.GetFiles(@"/");

      // 移除所有档案
      foreach (var file in files)
      {
        access.DeleteFile(file);
      }

      // 移除 OpenFile 转存档案
      File.Delete(Path.Combine(Directory.GetCurrentDirectory(), "Test.jpg"));
    }

    //_传入根目录_预期回传预设目录
    public static void GetDirectoriesTest()
    {
      // 预设根目录下有两个目录：tmp、user
      var expected = new List<string>() { "tmp", "user", };

      var actual = access.GetDirectories(@"/");

      foreach (var item in actual)
      {
        Console.WriteLine(item);
      }

    }

    //_传入根目录_预期回传空集合
    public static void GetFilesTest()
    {
      // 预设根目录下没有档案
      var expected = new List<string>();

      var actual = access.GetFiles(@"/");
      foreach (var item in actual)
      {
        Console.WriteLine(item);
      }

    }

    //_建立zzz目录_预期成功_预期根目录下有zzz目录_删除zzz目录_预期成功_预期根目录下无zzz目录
    public static void DirectoryTest()
    {
      var directoryName = "zzz";

      // 建立zzz目录
      var boolCreateDirectory = access.CreateDirectory(directoryName);

      Console.WriteLine("建立zzz目录_预期成功:"+boolCreateDirectory);

      // 建立zzz目录_预期成功_预期根目录下有zzz目录
      // 预设根目录下有三个目录：tmp、user、zzz
      var expectedCreateDirectory = new List<string>() { "tmp", "user", directoryName, };

      var actualCreateDirectory = access.GetDirectories(@"/");


      foreach (var item in actualCreateDirectory)
      {
        Console.WriteLine(item);
      }

      Console.WriteLine("********************************************");
      // 删除zzz目录
      var boolDeleteDirectory = access.DeleteDirectory(directoryName);

      Console.WriteLine("删除zzz目录_预期成功:" + boolDeleteDirectory);


      // 删除zzz目录_预期成功_预期根目录下无zzz目录
      // 预设根目录下有两个目录：tmp、user
      var expectedDeleteDirectory = new List<string>() { "tmp", "user", };

      var actualDeleteDirectory = access.GetDirectories(@"/");

      foreach (var item in actualDeleteDirectory)
      {
        Console.WriteLine(item);
      }
    }

    //_建立Test档案_预期根目录下有Test档案_删除Test档案_预期成功_预期根目录下无Test档案
    public static void FileTest()
    {
      var localFile = Path.Combine(Directory.GetCurrentDirectory(), "TestFolder", "Test.jpg");

      var remotePath = "Test.jpg";

      // 建立Test档案
      var boolCreateFile = access.CreateFile(localFile, remotePath);

      // 建立Test档案_预期根目录下有Test档案
      var expectedCreateFile = new List<string>() { remotePath, };

      var actualCreateFile = access.GetFiles(@"/");

      foreach (var item in actualCreateFile)
      {
        Console.WriteLine(item);
      }
      Console.WriteLine("********************************************");
      // 删除Test档案
      var boolDeleteFile = access.DeleteDirectory(remotePath);

      Console.WriteLine("删除Test档案_预期成功:"+boolDeleteFile);

      // 删除Test档案_预期成功_预期根目录下无Test档案
      var expectedDeleteFile = new List<string>();

      var actualDeleteFile = access.GetFiles(@"/");

      foreach (var item in actualDeleteFile)
      {
        Console.WriteLine(item);
      }
    }

    //_建立Test档案_预期根目录下有Test档案_取得Test档案_预期成功_预期回传Test档案Stream并转存成功
    public static void OpenFileTest()
    {
      var localFile = Path.Combine(Directory.GetCurrentDirectory(), "TestFolder", "Test.jpg");
      var remotePath = "Test.jpg";
      var saveFile = Path.Combine(Directory.GetCurrentDirectory(), "Test.jpg");

      Console.WriteLine("saveFile:" + saveFile);
      Console.WriteLine("********************************************");
      // 建立Test档案
      var boolCreateFile = access.CreateFile(localFile, remotePath);

      // 建立Test档案_预期根目录下有Test档案
      var expectedCreateFile = new List<string>() { remotePath, };

      var actualCreateFile = access.GetFiles(@"/");

      foreach (var item in actualCreateFile)
      {
        Console.WriteLine(item);
      }


      Console.WriteLine("********************************************");
      // 取得Test档案
      var response = access.OpenFile(remotePath);

      // 取得Test档案_预期成功
      response.EnsureSuccessStatusCode();

      // 取得Test档案_预期成功_预期回传Test档案Stream并转存成功
      using (var fs = File.Create(saveFile))
      {
        response.Content.CopyToAsync(fs).Wait();
      }

      Console.WriteLine(File.Exists(saveFile));

    }
  }
}

运行结果如图:

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

ASP.NET的适配器设计模式(Adapter)应用详解
有关设计模式的适配器模式(Adapter)确实不是很好理解理解,接下来将做一个简单的例子简要说明下,感兴趣的朋友可不要错过了哈，希望本文可以帮助到你更好的理解适配器设计模式
2013-02-02
ToString()使用方法汇总(c#)
ToString()使用方法汇总,需要的朋友可以参考下
2012-10-10
gridview中实现radiobutton的单选示例
radiobutton可以单选，于是想让gridview也可以实现，具体的思路及代码如下，感兴趣的朋友可以参考下
2013-08-08
asp.net服务器上几种常见异常的解决方案.
由于以前就业时算是公司里对服务器上各种硬件和配置原理较为了解. 一直负责公司服务器日常管理.也算是半路出家. 当然日常工作中前前后后也遇到不少大大小小的问题(硬件/服务器日常配置数据中心合并方案等等). 有1些常见的异常. 总结一些基本快速的处理方法.
2009-11-11
C#中efcore-ShardingCore呈现“完美”分表
本文简单的介绍了efcore的分表，着重介绍了efcore下最完美的分表组件ShardingCore，可以帮助大家更好的学习，感兴趣的小伙伴可以参考一下
2021-08-08
asp.net显示自己的网页图标的几种方式
多tab的浏览器，你一定会发现tab前边的个性图标，关于这个东西有好几种做法，下面与大家分享下
2014-05-05
.net泛型通用函数的特殊问题的解决方法
本文介绍了.net泛型通用函数的特殊问题的解决方法，需要的朋友可以参考一下
2013-02-02
ASP.NET如何定时调用WebService服务
在ASP.NET程序中，可以通过Time组件实现定时器功能，但是它与数据库中的任务计划不一样，它必须基于程序正在运行中才可生效，而数据库任务计划是不需要基于ASP.NET程序运行而执行任务。
2015-10-10
ASP.NET MVC异常过滤器用法
本文详细讲解了ASP.NET MVC异常过滤器的用法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-03-03
asp.net mvc 动态编译生成Controller的方法
本篇文章主要介绍了asp.net mvc 动态编译生成Controller的方法，具有一定的参考价值，有兴趣的可以了解一下
2017-08-08