Hadoop文件的存储格式实例详解
更新时间：2019年06月22日 11:42:15 作者：張sang
这篇文章主要介绍了Hadoop文件的存储格式，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
sequence文件存储格式
1.txt
纯文本格式，若干行记录。默认用字符编码存储
2.SequenceFile格式（顺序文件格式，可进行切割）
key-value 格式进行存储，最终形成的是一个二进制文件， 需用hadoop提供的api进行写入存储。
编写 写入 seq文件案例。
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Writer writer = SequenceFile.createWriter(fileSystem, configuration, path, IntWritable.class, Text.class);
writer.append(new IntWritable(1),new Text("gg1"));
writer.append(new IntWritable(1),new Text("gg2"));
writer.append(new IntWritable(1),new Text("gg3"));
writer.append(new IntWritable(1),new Text("gg4"));
writer.close();
3.编写读取 seq 文件案例
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
IntWritable key = new IntWritable();
Text value = new Text();
while (sr.next(key,value)){
System.out.println(key +":"+value );
}
4.查看文件内容
$> hdfs dfs -text /user/myfile.seq $> hdfs dfs -cat /user/myfile.seq （此命令查看会出现乱码）
seq 文件格式解析
顺序文件由文件头和随后的一条或多条记录组成
---文件头------ --key-value----sync --key-value---- --key-value---- --key-value---- --key-value----sync --key-value---- --key-value---- --key-value----sync
文件头格式
SEQ+版本号+key类型class+value类型class + 压缩格式类型
代码案例
/**
* 读取文件位置
*/
public void seekSeq() throws IOException {
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
IntWritable key = new IntWritable();
Text value = new Text();
sr.seek(253); // 定位到第253字节的位置，告诉指针下一次要定位的位置。
sr.next(key,value); // 定位到第253字节的位置，并取出相应的值。
System.out.println(key +" : " + value);
sr.close();
}
/**
* 读取seqfile 同步点
*/
public void sync() throws IOException {
/**
* -----文件头-------
128byte* --key-value----sync
153byte* --key-value----
.* --key-value----
.* --key-value----
.* --key-value----sync
* --key-value----
* --key-value----
* --key-value----sync
*/
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
IntWritable key = new IntWritable();
Text value = new Text();
int syncPos = 12;
sr.sync(syncPos);//如上图在写入文件的时候可一指定多少条记录写入一个同步点
long pos = sr.getPosition();//获取下次要定位的字节位置。
sr.next(key,value);
System.out.println("syncPos : " + syncPos + "pos : " + pos +"key : "+key+"value : " + value);
}
MapFile文件格式
1.是排序的seqfie，具有索引。要求key按照大小顺序添加
2.包含两个文件
- index 文件：索引和偏移量的映射，可以设置间隔，默认128（解释：第128key位置--->第256字节 指存入128个key 对应的 第128key的末尾位置是第128字节的位置。）
- data 文件：存放真实的数据。格式为key -value 。和seqfile文件类似
总结
以上所述是小编给大家介绍的Hadoop文件的存储格式实例详解，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！
相关文章
这篇文章主要介绍了到初创公司工作的五个理由,在职业选择上并不来一定要去大公司,去初创公司工作一次会让你有更多的收获,需要的朋友可以参考下2014-09-09
Git是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。这篇文章介绍了Git的常用命令，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-04-04
面试中自我介绍、项目是我们的重头戏,在面试二面、三面中都起到了至关重要的的作用,这篇文章主要介绍了面试的时候该如何自我介绍的相关资料,需要的朋友可以参考下2008-06-06
本文主要介绍微信公众平台开发群发信息，这里整理了详细的资料来说明微信公共平台群发信息的流程，有需要的小伙伴可以参考下2016-09-09
这篇文章主要为大家介绍了Caffe图像数据转换成可运行leveldb lmdb文件教程，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
这篇文章主要为大家介绍了git版本库以及本地创建的三种场景方式图文教程，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-04-04
Chrome拓展（Chrome Extension）开发定时任务插件
文章讲述了如何在ChromeExtension中实现定时任务,包括使用chrome.alarmsAPI、结合contentscript的状态感知定时器和基于事件触发的模拟定时,文章强调了任务的幂等性、状态的持久化存储、记录执行日志和防止重复执行的重要性2025-04-04
java asp分析各种搜索引擎的关键字,自动识别url 中关键字的编码
网上也有一些代码，大部分都是通过输入的关键字来识别编码，并解码。但是搜索引擎得到的referer来源地址上的关键字是通过URLencode编码过的，而且各个网站的关键字Urlencode编码都不一样，gbk,utf-8,gb2312等等。2009-01-01
网页报错"Form elements must have labels"的处理方法
这篇文章主要给大家介绍了关于网页报错"Form elements must have labels"的处理方法,文中通过实例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2023-06-06
这篇文章主要介绍了RPC、RMI、SOAP的区别详解,本文还同时讲解了RPC、SOAP、WSDL的关系,需要的朋友可以参考下2015-07-07
最新评论