hadoop中一些常用的命令介绍

 更新时间:2013年06月19日 18:16:09   作者:  
本篇文章是对hadoop中一些常用的命令进行了详细的分析介绍,需要的朋友参考下

假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。
启动与关闭
启动Hadoop
1.进入HADOOP_HOME目录。
2.执行sh bin/start-all.sh

关闭Hadoop
1.进入HADOOP_HOME目录。
2.执行sh bin/stop-all.sh
文件操作
Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。

查看文件列表
查看hdfs中/user/admin/aaron目录下的文件。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -ls /user/admin/aaron
这样,我们就找到了hdfs中/user/admin/aaron目录下的文件了。
我们也可以列出hdfs中/user/admin/aaron目录下的所有文件(包括子目录下的文件)。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -lsr /user/admin/aaron

创建文件目录
查看hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -mkdir /user/admin/aaron/newDir

删除文件
删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -rm /user/admin/aaron/needDelete
删除hdfs中/user/admin/aaron目录以及该目录下的所有文件
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -rmr /user/admin/aaron

上传文件
上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs –put /home/admin/newFile /user/admin/aaron/

下载文件
下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile

查看文件
我们可以直接在hdfs中直接查看文件,功能与类是cat类似
查看hdfs中/user/admin/aaron目录下的newFile文件
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs –cat /home/admin/newFile

MapReduce Job操作
提交MapReduce Job
原则上说,Hadoop所有的MapReduce Job都是一个jar包。
运行一个/home/admin/hadoop/job.jar的MapReduce Job
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的Job
假设Job_Id为:job_201005310937_0053
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop job -kill job_201005310937_0053

更多Hadoop的命令
上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多,可以按照如下的方式获取命令的说明信息。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop
我们可以看到更多命令的说明信息:

复制代码 代码如下:

Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  datanode             run a DFS datanode
  dfsadmin             run a DFS admin client
  fsck                 run a DFS filesystem checking utility
  fs                   run a generic filesystem user client
  balancer             run a cluster balancing utility
  jobtracker           run the MapReduce job Tracker node
  pipes                run a Pipes job
  tasktracker          run a MapReduce task Tracker node
  job                  manipulate MapReduce jobs
  queue                get information regarding JobQueues
  version              print the version
  jar <jar>            run a jar file
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME <src>* <dest> create a hadoop archive
  daemonlog            get/set the log level for each daemon
 or
  CLASSNAME            run the class named CLASSNAME
Most commands print help when invoked w/o parameters.

相关文章

  • ajax php 实现写入数据库

    ajax php 实现写入数据库

    看到同学背词用的生词本,觉得很不错.正好自己也在看书,为了有一个好的效果,于是想做一个类似生词本的,可以存知识点,和查看知识点的.
    2009-09-09
  • php获取图片信息的方法详解

    php获取图片信息的方法详解

    这篇文章主要介绍了php获取图片信息的方法,结合实例形式较为详细的分析了php获取图片信息的相关函数及用法,并给出了通过自定义函数实现获取图片信息的方法演示,需要的朋友可以参考下
    2015-12-12
  • PHP开发中常用的字符串操作函数

    PHP开发中常用的字符串操作函数

    在编程的过程当中,字符串的操作是非常重要的并且经常会被用到,字符串常用的操作具体的包括字符串的拼接,替换字符串,查找字符串,比较字符串,复制字符串以及计算字符串的长度等等.
    2011-02-02
  • PHP数据库操作二:memcache用法分析

    PHP数据库操作二:memcache用法分析

    这篇文章主要介绍了PHP数据库操作memcache用法,结合实例形式详细分析了memcache的下载、安装、配置及相关使用技巧,需要的朋友可以参考下
    2017-08-08
  • PHP实现从上往下打印二叉树的方法

    PHP实现从上往下打印二叉树的方法

    这篇文章主要介绍了PHP实现从上往下打印二叉树的方法,涉及php二叉树遍历相关操作技巧,需要的朋友可以参考下
    2018-01-01
  • ThinkPHP中调用PHPExcel的实现代码

    ThinkPHP中调用PHPExcel的实现代码

    本文介绍ThinkPHP中处理导出成Excel文件的一个PHP库,PHPExcel。它可以很容易的生成出一个完整的、复杂的Excel文件,需要的朋友可以参考下
    2017-04-04
  • php输出xml必须header的解决方法

    php输出xml必须header的解决方法

    这篇文章主要介绍了php输出xml必须header的解决方法,以实例形式讲述了php输出xml必须header的情况,是很多php初学者都容易犯的错误,需要的朋友可以参考下
    2014-10-10
  • 总结对比php中的多种序列化

    总结对比php中的多种序列化

    序列化是将变量转换为可保存或传输的字符串的过程;反序列化就是在适当的时候把这个字符串再转化成原来的变量使用。这两个过程结合起来,可以轻松地存储和传输数据,使程序更具维护性。下面来看php中多种序列化的对比。
    2016-08-08
  • php强制下载类型的实现代码

    php强制下载类型的实现代码

    有时需要一些文件不能在线打开,而是执行后需要下载,这时就用这个函数就可以解决了
    2011-04-04
  • PHP自定义错误处理的方法分析

    PHP自定义错误处理的方法分析

    这篇文章主要介绍了PHP自定义错误处理的方法,结合实例形式分析了php错误处理机制及php自定义错误处理相关操作技巧,需要的朋友可以参考下
    2018-12-12

最新评论