Hadoop多Job并行处理的实例详解
更新时间：2017年10月18日 10:16:39 作者：回首凡尘不做仙
这篇文章主要介绍了Hadoop多Job并行处理的实例详解的相关资料,希望通过本文能帮助到大家，需要的朋友可以参考下
Hadoop多Job并行处理的实例详解
有关Hadoop多Job任务并行处理，经过测试，配置如下：
首先做如下配置：
1、修改mapred-site.xml添加调度器配置：
<property> <name>mapred.jobtracker.taskScheduler</name> <value>org.apache.hadoop.mapred.FairScheduler</value> </property>
2、添加jar文件地址配置：
<property> <name>hadoopTest.jar</name> <value>所生成jar的地址</value> </property>
Java基本代码如下：
// 获取各个Job，有关Job的创建，这里就不贴上来了。
Job job_base = (Job) 。。。;
Job job_avg = (Job) 。。。;
Job job_runCount = (Job) 。。。;
Job job_activeUser = (Job) ....;
job_base.setJarByClass(CapuseDateTimerTask.class);
job_avg.setJarByClass(CapuseDateTimerTask.class);
job_runCount.setJarByClass(CapuseDateTimerTask.class);
job_activeUser.setJarByClass(CapuseDateTimerTask.class);
// 执行完job_base才开始并行以下三个Job；
if (job_base.waitForCompletion(true)) {
FileUtil.hdfsFileHandle(jobBase);
// 并行Job
job_avg.submit();
job_runCount.submit();
job_activeUser.submit();
}
boolean bln1 = job_avg.isComplete();
boolean bln2 = job_runCount.isComplete();
boolean bln3 = job_activeUser.isComplete();
// 计算Job是否完成
while (!bln1 || !bln2 || !bln3) {
bln1 = job_avg.isComplete();
bln2 = job_runCount.isComplete();
bln3 = job_activeUser.isComplete();
}
最后将这些代码组装至Main方法，使用Hadoop执行命令运行：
hadoop jar jar包名称 方法入口所在的类
如：
hadoop jar hadoopTest.jar ch03.test Test
可以通过50030端口来监控Job的并行状态，这里就不多说了！！
解释：
1、配置Jar地址可以解决打包所生成的jar包后，运行时出现ClassNotFound的问题；
2、给多个Job设定setJarByClass，经测试，如果不设定此类，运行时会出现ClassNotFound错误，其中CapuseDateTimerTask为Main方法所在的类名；
3、waitForCompletion与submit方法是有区别的，waitForCompletion是串行，而submit是并行，正是因为submit是并行所以后续的代码操作需要取其执行是否完成的状态来做判断处理即：isComplete()；
4、以上Job采用的是：org.apache.hadoop.mapreduce.Job
以上代码操作在单机/集群上测试都通过！
如有疑问请留言或者到本站社区交流讨论，感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！
相关文章
这篇文章主要介绍了关于BufferedReader的读取效率问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-12-12
这篇文章主要介绍了mybatis-plus使用问题汇总,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-03-03
这篇文章主要为大家详细介绍了Java如何实现批量下载文件,并以压缩输出流的形式返回前端,文中的示例代码讲解详细,需要的小伙伴可以参考一下2023-10-10
今天小编就为大家分享一篇java过滤html标签获取纯文本信息的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
这篇文章主要介绍了Java并发编程示例(四)：可控的线程中断,在本节,我们将使用一个线程查找指定目录及其子目录下文件来演示通过使用InterruptedException异常控制线程中断,需要的朋友可以参考下2014-12-12
这篇文章主要介绍了Java RMI机制讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下2021-07-07
这篇文章主要为大家详细介绍了java图片识别文字的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-09-09
本篇文章介绍了一个关于密钥查询的jsp文件简单实例代码，需要的朋友可以参考下2017-04-04
这篇文章主要为大家详细如何安全有效停止 Java 线程的,确保多线程应用程序平稳运行并实现最佳资源管理,感兴趣的小伙伴可以跟随小编一起学习一下2023-12-12
这篇文章主要介绍了Java中WeakHashMap的工作原理详解,WeakHashMap2023-09-09
从名字可以得知主要和Map有关,不过还有一个Weak,我们就更能自然而然的想到这里面还牵扯到一种弱引用结构,因此想要彻底搞懂,我们还需要知道四种引用,需要的朋友可以参考下
最新评论