java 矩阵乘法的mapreduce程序实现

 更新时间:2017年06月07日 14:49:09   转载 作者:南寻  
这篇文章主要介绍了java 矩阵乘法的mapreduce程序实现的相关资料,需要的朋友可以参考下

java 矩阵乘法的mapreduce程序实现

map函数:对于矩阵M中的每个元素m(ij),产生一系列的key-value对<(i,k),(M,j,m(ij))>

其中k=1,2.....知道矩阵N的总列数;对于矩阵N中的每个元素n(jk),产生一系列的key-value对<(i , k) , (N , j ,n(jk)>, 其中i=1,2.......直到i=1,2.......直到矩阵M的总列数。

map

package com.cb.matrix;

import static org.mockito.Matchers.intThat;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileSplit;
import org.apache.hadoop.mapreduce.Mapper;

import com.sun.org.apache.bcel.internal.generic.NEW;


public class MatrixMapper extends Mapper<Object, Text, Text, Text> {
 private Text map_key=new Text();
 private Text map_value= new Text();
 private int columnN;
 private int rowM;
 /**
 * 执行map()函数前先由conf.get()得到main函数中提供的必要变量
 * 也就是从输入文件名中得到的矩阵维度信息
 */
 
 @Override
 protected void setup(Mapper<Object, Text, Text, Text>.Context context) throws IOException, InterruptedException {
 // TODO Auto-generated method stub
 Configuration config=context.getConfiguration();
 columnN=Integer.parseInt(config.get("columnN"));
 rowM =Integer.parseInt(config.get("rowM"));
 }
 
 @Override
 protected void map(Object key, Text value, Mapper<Object, Text, Text, Text>.Context context)
  throws IOException, InterruptedException {
 // TODO Auto-generated method stub
 //得到文件名,从而区分输入矩阵M和N
 FileSplit fileSplit=(FileSplit)context.getInputSplit();
 String fileName=fileSplit.getPath().getName();
 
 if (fileName.contains("M")) {
  String[] tuple =value.toString().split(",");
  int i =Integer.parseInt(tuple[0]);
  String[] tuples=tuple[1].split("\t");
  int j=Integer.parseInt(tuples[0]);
  int Mij=Integer.parseInt(tuples[1]);
  for(int k=1;k<columnN+1;k++){
  map_key.set(i+","+k);
  map_value.set("M"+","+j+","+Mij);
  context.write(map_key, map_value);
  }
  
 }
 else if(fileName.contains("N")){
  String[] tuple=value.toString().split(",");
  int j=Integer.parseInt(tuple[0]);
  String[] tuples =tuple[1].split("\t");
  int k=Integer.parseInt(tuples[0]);
  int Njk=Integer.parseInt(tuples[1]);
  for(int i=1;i<rowM+1;i++){
  map_key.set(i+","+k);
  map_value.set("N"+","+j+","+Njk);
  context.write(map_key, map_value);
  }
 }
 
 }

}

reduce函数:对于每个键(i,k)相关联的值(M,j,m(ij))及(N,j,n(jk)),根据相同的j值将m(ij)和n(jk)分别存入不同的数组中,然后将俩者的第j个元素抽取出来分别相乘,最后相加,即可得到p(jk)的值。

reducer

package com.cb.matrix;


import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;



public class MatrixReducer extends Reducer<Text, Text, Text, Text> {
 private int sum=0;
 private int columnM;
 @Override
 protected void setup(Reducer<Text, Text, Text, Text>.Context context) throws IOException, InterruptedException {
 // TODO Auto-generated method stub
 Configuration conf =context.getConfiguration();
 columnM=Integer.parseInt(conf.get("columnM"));
 }
 @Override
 protected void reduce(Text arg0, Iterable<Text> arg1, Reducer<Text, Text, Text, Text>.Context arg2)
  throws IOException, InterruptedException {
 // TODO Auto-generated method stub
 int[] M=new int[columnM+1];
 int[] N=new int[columnM+1];
 
 for(Text val:arg1){
  String[] tuple=val.toString().split(",");
  if(tuple[0].equals("M")){
  M[Integer.parseInt(tuple[1])]=Integer.parseInt(tuple[2]);
  
  }else{
  N[Integer.parseInt(tuple[1])]=Integer.parseInt(tuple[2]);
  }
  for(int j=1;j<columnM+1;j++){
  sum+=M[j]*N[j];
  }
  arg2.write(arg0, new Text(Integer.toString(sum)));
  sum=0;
 }
 }

}

 感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

相关文章

  • Spring Cloud重试机制与各组件的重试总结

    Spring Cloud重试机制与各组件的重试总结

    这篇文章主要给大家介绍了关于Spring Cloud中重试机制与各组件的重试的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2017-11-11
  • 如何在IDEA启动多个Spring Boot工程实例(图文)

    如何在IDEA启动多个Spring Boot工程实例(图文)

    这篇文章主要介绍了如何在IDEA启动多个Spring Boot工程实例(图文),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • java application maven项目打自定义zip包实例(推荐)

    java application maven项目打自定义zip包实例(推荐)

    下面小编就为大家带来一篇java application maven项目打自定义zip包实例(推荐)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-05-05
  • 详解Spring Boot使用redis实现数据缓存

    详解Spring Boot使用redis实现数据缓存

    本篇文章主要介绍了详解Spring Boot使用redis实现数据缓存,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-04-04
  • Java中集合和数组的排序方式小结

    Java中集合和数组的排序方式小结

    这篇文章主要介绍了Java中集合和数组的排序方式小结,本文讲解了对数字数组、字符数组排序以及集合序列的排序,需要的朋友可以参考下
    2015-01-01
  • dom4j从jar包中读取xml文件的方法

    dom4j从jar包中读取xml文件的方法

    这篇文章主要介绍了dom4j从jar包中读取xml文件的方法,需要的朋友可以参考下
    2014-02-02
  • 听说用了YYYY-MM-dd的程序员,前些天都在加班改Bug

    听说用了YYYY-MM-dd的程序员,前些天都在加班改Bug

    这篇文章主要介绍了YYYY-MM-dd的实用方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-01-01
  • java调用Oracle存储过程的方法实例

    java调用Oracle存储过程的方法实例

    这篇文章介绍了java调用Oracle存储过程的方法实例,有需要的朋友可以参考一下
    2013-09-09
  • 深入SQLite多线程的使用总结详解

    深入SQLite多线程的使用总结详解

    本篇文章是对SQLite多线程的使用进行了详细的分析介绍,需要的朋友参考下
    2013-05-05
  • 了解JAVA Future类

    了解JAVA Future类

    Future是并发编程中的一种设计模式,Future它代表一个异步计算的结果,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,下面小编和大家来一起学习一下吧
    2019-06-06

最新评论