脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → HDFS Balancer工具参数调优

官方详解HDFS Balancer工具主要调优参数

 更新时间：2023年03月31日 11:18:25   作者：阿里云  
这篇文章主要为大家介绍了HDFS Balancer工具主要调优参数的 官方详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

引言

HDFS Balancer工具可以用来分析块的分布情况，并且可以重新分配DataNode中的数据。本文通过为您介绍如何使用HDFS Balancer工具以及Balancer的主要调优参数。

使用HDFS Balancer

方式一：使用HDFS Balancer命令

HDFS Balancer命令语句如下。

hdfs balancer
[-threshold <threshold>]
[-policy <policy>]
[-exclude [-f <hosts-file> | <comma-separated list of hosts>]]
[-include [-f <hosts-file> | <comma-separated list of hosts>]]
[-source [-f <hosts-file> | <comma-separated list of hosts>]]
[-blockpools <comma-separated list of blockpool ids>]
[-idleiterations <idleiterations>]

Balancer主要参数如下表。

参数描述
threshold磁盘容量的百分数。

默认值为10%，表示上下浮动10%。

当集群总使用率较高时，需要调小Threshold，避免阈值过高。

当集群新增节点较多时，您可以适当增加Threshold，使数据从高使用率节点移向低使用率节点。

policy平衡策略。支持以下策略：
  • datanode（默认）：当每一个DataNode是平衡的时候，集群就是平衡的。
  • blockpool：当每一个DataNode中的blockpool是平衡的，集群就是平衡的。
excludeBalancer排除特定的DataNode。
includeBalancer仅对特定的DataNode进行平衡操作。
source仅选择特定的DataNode作为源节点。
blockpoolsBalancer仅在指定的blockpools中运行。
idleiterations最多允许的空闲循环次数。覆盖默认的5次。

方式二：使用start-balancer.sh工具

start-balancer.sh实际上是调用hdfs daemon start balancer命令。使用方式如下：

  • 登录待配置集群的任意节点，详情请参见登录集群。

可选：执行以下命令，修改Balancer的最大带宽。

hdfs dfsadmin -setBalancerBandwidth &lt;bandwidth in bytes per second&gt;

说明 <bandwidth in bytes per second>为设置的最大带宽。例如，如果需要设置最大带宽为20 MB/s，对应值为20971520，则完整代码示例为hdfs dfsadmin -setBalancerBandwidth 20971520。如果集群负载较高，建议设置为209715200（200 MB/s）；如果集群空闲，建议设置为1073741824（1 GB/s）。

  • 执行以下命令，切换到hdfs用户并执行Balancer参数。

DataLake集群

su hdfs
/opt/apps/HDFS/hdfs-current/sbin/start-balancer.sh -threshold 5

Hadoop集群

su hdfs
/usr/lib/hadoop-current/sbin/start-balancer.sh -threshold 5
  • 执行以下命令，进入HDFS安装目录。

DataLake集群

cd /var/log/emr/hadoop/

Hadoop集群

cd /var/log/hadoop-hdfs

执行以下命令，查看Balancer运行情况。

当提示信息包含Successfully字样时，表示执行成功。

DataLake集群

tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log

Hadoop集群

tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log

说明 命令中的hadoop-hdfs-balancer-master-1-1.c-xxx.log和hadoop-hdfs-balancer-emr-header-xx.cluster-xxx.log为上一步骤中获取到的日志名称。

Balancer调优参数

执行Balancer会占用一定的系统资源，建议在业务空闲期执行。默认情况下，不需要对HDFS Balancer参数进行额外调整。当需要对Balancer参数进行额外调整时，您可以在E-MapReduce控制台的HDFS服务页面，选择配置 > hdfs-site.xml，调整以下两类配置。

客户端配置

参数描述
dfs.balancer.dispatcherThreadsBalancer在移动Block之前，每次迭代时查询出一个Block列表，分发给Mover线程使用。

说明 dispatcherThreads是该分发线程的个数，默认为200。

dfs.balancer.rpc.per.sec默认值为20，即每秒发送的RPC数量为20。

因为分发线程调用大量getBlocks的RPC查询，所以为了避免NameNode由于分发线程压力过大，需要控制分发线程RPC的发送速度。

例如，您可以在负载高的集群调整参数值，减小10或者5，对整体移动进度不会产生特别大的影响。

dfs.balancer.getBlocks.sizeBalancer会在移动Block前，每次迭代时查询出一个Block列表，给Mover线程使用，默认Block列表中Block的大小为2 GB。因为getBlocks过程会对RPC进行加锁，所以您可以根据NameNode压力进行调整。
dfs.balancer.moverThreads默认值为1000。

Balancer处理移动Block的线程数，每个Block移动时会使用一个线程。

DataNode配置

参数描述
dfs.datanode.balance.bandwidthPerSec

指定DataNode用于Balancer的带宽，通常推荐设置为100 MB/s，您也可以通过dfsadmin -setBalancerBandwidth 参数进行适当调整，无需重启DataNode。

例如，在负载低时，增加Balancer的带宽。在负载高时，减少Balancer的带宽。

dfs.datanode.balance.max.concurrent.moves

默认值为5。

指定DataNode节点并发移动的最大个数。通常考虑和磁盘数匹配，推荐在DataNode端设置为4 * 磁盘数作为上限，可以使用Balancer的值进行调节。

例如：一个DataNode有28块盘，在Balancer端设置为28，DataNode端设置为28 * 4。具体使用时根据集群负载适当调整。在负载较低时，增加concurrent数；在负载较高时，减少concurrent数。

常见问题

Q：为什么Balancer的threshold设置为10（%），但是平衡以后看到差值为20%左右？

A：threshold的含义是控制每个DataNode的使用率不高于或者不低于集群平均的使用率，所以使用率最多和最少的DataNode在平衡后可能差值为20%。要减少这种差距，可以尝试把差值调节到5（%）。

以上就是官方详解HDFS Balancer工具主要调优参数的详细内容，更多关于HDFS Balancer工具参数调优的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • 详解@ConfigurationProperties实现原理与实战

    详解@ConfigurationProperties实现原理与实战

    这篇文章主要介绍了详解@ConfigurationProperties实现原理与实战，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • Java异常 Factory method''sqlSessionFactory''rew exception;ested exception is java.lang.NoSuchMethodError:

    Java异常 Factory method''sqlSessionFactory''rew exception;este

    这篇文章主要介绍了Java异常 Factory method ‘sqlSessionFactory‘ threw exception； nested exception is java.lang.NoSuchMethodError:,本文介绍了springboot 引入mybatis-plus后报错的解决方案,以下就是详细内容,需要的朋友可以参考下
    2021-07-07
  • mybatis创建一个或多个新用户 insert 字段和表名不确定时动态添加问题

    mybatis创建一个或多个新用户 insert 字段和表名不确定时动态添加问题

    这篇文章主要介绍了mybatis创建一个或多个新用户 insert 字段和表名不确定时动态添加问题,非常不错，具有参考借鉴价值，需要的朋友可以参考下
    2017-02-02
  • 一文教会你如何搭建vue+springboot项目

    一文教会你如何搭建vue+springboot项目

    最近在捣鼓 SpringBoot 与 Vue 整合的项目,所以下面这篇文章主要给大家介绍了关于如何通过一篇文章教会你搭建vue+springboot项目,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-05-05
  • Java 8函数式接口之BinaryOperator使用示例详解

    Java 8函数式接口之BinaryOperator使用示例详解

    这篇文章主要大家介绍了Java 8函数式接口之BinaryOperator，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-07-07
  • IDEA中多行注释及取消注释的快捷键分享

    IDEA中多行注释及取消注释的快捷键分享

    这篇文章主要介绍了IDEA中多行注释及取消注释的快捷键分享，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-02-02
  • SpringBoot使用PageHelper分页详解

    SpringBoot使用PageHelper分页详解

    这篇文章主要介绍了SpringBoot使用PageHelper分页详解,我们在任何的系统中,分页功能是必不可少的,然而,对于这个功能如果有一种快速开发的实现方式,当然可以节省我们很多的时间了,接下来,我就给大家基于不同的环境来说说如何使用一个分页插件,需要的朋友可以参考下
    2023-10-10
  • springboot整合swagger3和knife4j的详细过程

    springboot整合swagger3和knife4j的详细过程

    knife4j的前身是swagger-bootstrap-ui,取名knife4j是希望她能像一把匕首一样小巧,轻量,并且功能强悍,下面这篇文章主要介绍了springboot整合swagger3和knife4j的详细过程,需要的朋友可以参考下
    2022-11-11
  • java 常规轮询长轮询Long polling实现示例详解

    java 常规轮询长轮询Long polling实现示例详解

    这篇文章主要为大家介绍了java 常规轮询长轮询Long polling实现示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-12-12
  • 解决java执行cmd命令调用ffmpeg报错Concat error - No such filter ''[0,0]''问题

    解决java执行cmd命令调用ffmpeg报错Concat error - No such filter ''[0,0]

    这篇文章主要介绍了java执行cmd命令，调用ffmpeg报错Concat error - No such filter '[0,0]'解决方法,本文通过截图实例代码说明给大家介绍的非常详细，对大家的工作或学习有一定的参考借鉴价值，需要的朋友可以参考下
    2020-03-03

最新评论