Hadoop1.2中配置伪分布式的实例
1、设置ssh
安装ssh相关软件包：
然后使用下面两个命令之一启动/关闭sshd：
sudo service ssh start|stop
若成功启动sshd，我们能看到如下类似结果：
2766 ? 00:00:00 ssh-agent
10558 ? 00:00:00 sshd
这时候，如果运行如下ssh登录本机的命令，会提示输入密码：
现在我们要做的就是让它不需要输入密码：
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
这样的话就行了。如果仍不凑效，可能是密钥文件的权限设置不当。
2、配置hadoop
将hadoop-1.2.1解压到~/下，同时在~/下建立目录hadoop-env，继续在hadoop-env下建立如下的目录结构：
├── dfs
│ ├── checkpoint1
│ ├── data1
│ ├── data2
│ └── name1
└── test
└── input
配置文件hadoop-1.2.1/conf/core-site.xml：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<final>true</final>
</property>
</configuration>
fs.default.name来指定HDFS的uri，如果value中没有提供端口，默认为8020。
配置文件hadoop-1.2.1/conf/hdfs-site.xml：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.name.dir</name>
<value>~/hadoop-env/dfs/name1</value>
<final>true</final>
</property>
<property>
<name>dfs.data.dir</name>
<value>~/hadoop-env/dfs/data1,~/hadoop-env/dfs/data2</value>
<final>true</final>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>~/hadoop-env/dfs/checkpoint1</value>
<final>true</final>
</property>
</configuration>
dfs.name.dir指定namenode存储元数据的目录，可以指定多个目录，这些目录要用逗号分开；dfs.data.dir指定datanode存放数据的目录，可以指定多个目录；fs.checkpoint.dir指定辅助namenode存放检查点的目录。
配置文件hadoop-1.2.1/conf/mapred-site.xml：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
<final>true</final>
</property>
</configuration>
3、测试
先格式化HDFS：
启动HDFS和MapReduce进程：
$ ./hadoop-1.2.1/bin/start-dfs.sh
$ ./hadoop-1.2.1/bin/start-mapred.sh
启动时候如果报错，例如localhost: Error: JAVA_HOME is not set.，需要在./hadoop-1.2.1/conf/hadoop-env.sh文件中export JAVA_HOME，例如：
export JAVA_HOME=~/jdk1.7.0_25
如何检查是否成功启动了： 第一种方法是使用jps命令（Java Virtual Machine Process Status Tool），应该有如下类似输出：
$ jps
13592 DataNode
13728 SecondaryNameNode
13837 JobTracker
12864 NameNode
13955 TaskTracker
16069 Jps
第二种方法是浏览器登录http://localhost:50030查看jobtracker，http://localhost:50070查看namenode。如果在使用翻墙软件，那么在访问时可能会报错，最简单的解决方法是关掉翻墙软件。 还有一种方法就是查看日志文件。
现在我们在~/hadoop-env/test/input目录下建立两个文件：
$ echo "hello world" > test1.txt
$ echo "hi,world" > test2.txt
把这两个文件导入HDFS：
./hadoop-1.2.1/bin/hadoop dfs -put hadoop-env/test/input/ output/
查看：
$ ./hadoop-1.2.1/bin/hadoop dfs -ls /
Found 2 items
drwxr-xr-x - user supergroup 0 2013-10-22 22:07 /test
drwxr-xr-x - user supergroup 0 2013-10-22 21:58 /tmp
$ ./hadoop-1.2.1/bin/hadoop dfs -ls /test
Found 2 items
-rw-r--r-- 3 user supergroup 12 2013-10-22 22:07 /test/test1.txt
-rw-r--r-- 3 user supergroup 9 2013-10-22 22:07 /test/test2.txt
OK，配置完成。
注：本文使用的系统是linux mint 15 64bit，hadoop使用的是1.2.1版本。
相关文章
本文主要介绍了java多线程实现同步锁卖票实战项目，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-01-01
这篇文章主要给大家介绍了关于Java中JSON对象字段为null值的显示处理方法,最近开发过程中前端反应后台返回的json中包含null,不好处理,这里介绍下,需要的朋友可以参考下2023-08-08
本文主要介绍了Mybatis使用大于等于或小于等于进行比较，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
这篇文章主要介绍了Java 使用Docker时经常遇到的五个问题的相关资料,需要的朋友可以参考下2016-10-10
关于一维数组中有重复的元素该怎么剔除，作为java初学者的我整理出不调用任何特殊库的基础方法，这种思想在其他语言也适用,有需要的朋友可以借鉴参考下2021-09-09
这篇文章主要介绍了Java常用面板JScrollPane的简单介绍和一个相关实例，,需要的朋友可以参考下。2017-08-08
为何修改equals方法时还要重写hashcode方法的原因分析
这篇文章主要介绍了为何修改equals方法时还要重写hashcode方法的原因分析，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-06-06
下面小编就为大家带来一篇TOMCAT内存溢出及大小调整的实现方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-05-05
这篇文章主要介绍了JAVA多线程进阶方式(Runnable接口的讲解和运用),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-01-01
这篇文章主要介绍了关于springboot的跨域配置问题,处理filter,spring security等过滤器跨域问题,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-07-07
最新评论