MapReduce中ArrayWritable 使用指南
更新时间：2014年08月31日 10:29:22 投稿：hebedich
MapReduce是一种编程模型，用于大规模数据集的并行运算。概念"Map(映射)"和"Reduce(归约)"和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。
在编写MapReduce程序时，Map和Reduce之间传递的数据需要是ArrayList类型的，在调试运行时遇到了这样的一个错误：
java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.<init>()
经查询官网API文档后发现这样的一段话：
A Writable for arrays containing instances of a class. The elements of this writable must all be instances of the same class. If this writable will be the input for a Reducer, you will need to create a subclass that sets the value to be of the proper type. For example: public class IntArrayWritable extends ArrayWritable { public IntArrayWritable() { super(IntWritable.class); } }
原来是要自己实现一个ArrayWritable类的派生类，使用时只要实现两个构造函数即可
public static class TextArrayWritable extends ArrayWritable {
public TextArrayWritable() {
super(Text.class);
}
public TextArrayWritable(String[] strings) {
super(Text.class);
Text[] texts = new Text[strings.length];
for (int i = 0; i < strings.length; i++) {
texts[i] = new Text(strings[i]);
}
set(texts);
}
}
相关文章
这篇文章主要介绍了maven查看jar的pom引入来源,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-07-07
这篇文章主要为大家详细介绍了如何使用Java实现文件图片的预览和下载功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2025-04-04
这篇文章主要介绍了java 使用正则表达式去除前后空格，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-04-04
Springboot 如何使用 SaToken 进行登录认证、权限管理及路由规则接口拦截
Sa-Token 是一个轻量级 Java 权限认证框架,主要解决：登录认证、权限认证、单点登录、OAuth2.0、分布式Session会话、微服务网关鉴权 等一系列权限相关问题,这篇文章主要介绍了Springboot 使用 SaToken 进行登录认证、权限管理以及路由规则接口拦截,需要的朋友可以参考下2024-06-06
一个事件需要经过多个对象处理是一个挺常见的场景，譬如采购审批流程，请假流程，软件开发中的异常处理流程，web请求处理流程等各种各样的流程，可以考虑使用责任链模式来实现2021-09-09
这篇文章主要为大家信息介绍了java实现解析json复杂数据的第三种思路,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2024-01-01
关于SpringBoot单元测试(cobertura生成覆盖率报告)
这篇文章主要介绍了关于SpringBoot单元测试(cobertura生成覆盖率报告)，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-11-11
JSON格式可以轻松地以面向对象的方式转换为Java对象,下面这篇文章主要给大家介绍了关于java中对象和JSON格式的转换方法,文中通过代码介绍的非常详细,需要的朋友可以参考下2023-12-12
jdk8 将在2014年3月份发布,迄今为止，可能是最大更新的java版本，也是令人期待的一个版本，在Java中引入闭包概念对Java程序开发方法的影响甚至会大于Java5中引入的泛型特征对编程方式带来的影响2017-06-06
这篇文章主要为大家详细介绍了如何基于Java编写一个限流工具类RateLimiter,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2024-01-01
最新评论