关于Yarn的使用及说明

一、介绍

yarn是一种通用的资源管理系统和调度平台。 

资源管理系统 ：管理集群内的硬件资源，和程序运行相关，比如内存，CPU等。 

调度平台：多个程序同时申请计算资源时提供分配，调度的规则（算法）。 

通用：不仅仅支持MapReduce程序，理论上支持各种计算程序如spark，flink。yarn不关系程序的计算内容，只关心程序所需的资源，在程序申请资源的时候根据调度算法分配资源，计算结束之后回收计算资源。使用yarn作为资源调度平台的计算框架自身需要提供ApplicationMaster来负责计算任务的调度。

二、yarn 框架

Yarn是主从式设计，主节点为ResourceManager，从节点NodeManager。

架构图：

ApplicationMaster也是yarn中不可缺失的一部分，但是其由具体的计算框架来提供，相当于Yarn只提供了一个需要实现的接口。

三、ResourceManager

ResourceManager全局资源管理器由两部分组成，分别为Scheduler 和 ApplicationsManager。

3.1，ApplicationsManager

主要的负责接收client端传输的job请求，为应用（如 mapreduce程序）分配第一个Container（资源池）来运行我们的ApplicationsMaster；

负责监控ApplicationMaster，并且在遇到失败的时候重启ApplicationMaster。

3.2，Scheduler

调度器负责将资源分配给各种正在运行的应用程序，这些应用程序受到容量、队列等常见的限制。

调度器是纯粹的调度器，它不监视或跟踪应用程序的状态。

此外，它也不能保证重启失败的应用程（由ApplicationManager负责）。

调度器根据应用程序的资源需求执行其调度功能；它是基于Container的抽象概念来实现资源调度的，Scheduler通过给任务分配Container的方式来分配资源。

调度器是可插拔的，常用的调度器有CapacityScheduler和FairScheduler。

四、NodeManager

NodeManager节点资源管理器，是每台机器的框架客户端/代理，负责Container容器管理，监控他们的资源使用，并汇报给ResourceManager/Scheduler。

Container：

NodeManager将节点中的资源切分出来组成一个个可以单独运行任务（map，reduce）的Container容器，用来运行任务。容器中资源目前只支内存、cpu。

一个Container类似于开辟了一个虚拟机，一个NodeManager中可以分配一个或者多个Container。

Container底层使用了轻量级资源隔离机制Cgroups进行资源隔离（docker底层好像也是使用了Cgroups）。 

Container是Yarn集群分配资源的基本单位。

五、ApplicationMaster

ApplicationMaster运行在NodeManager的Container中，并且是应用程序申请到的第一个Container。

它负责一个应用程序中具体任务的执行，比如mapreduce应用的map任务，reduce任务，每一个应用都有一个ApplicationMaster，它受ApplicationsManager管理，ApplicationMaster进程如果非正常死亡，ApplicationsManager可以重启它。

主要功能：

1，与ResourceManager中的Scheduler 协商获取执行资源。

2，与NodeManager通讯以启动，停止任务

3，监控所属的任务的执行。

六、客户端提交任务到yarn中运行的流程。

步骤说明：

1，客户端向ResourceManager中的ApplicationManager提交作业申请，申请jobID。

2，ApplicationManager 返回一个jobID，以及运行的hdfs临时路径(hdfs://… jobID)。

3，客户端将作业的jar包，配置信息等上传到分配的hdfs临时路径(hdfs://… jobID)中。

4，客户端上传文件成功后，向ApplicationManager发送执行作业请求。

5，ApplicationManager将请求转发给Scheduler，申请执行所需资源。

6，调度器将作业放置到相关队列中，当执行到该作业时，开始让ApplicationManager分配Containers。

7，ApplicationManager命令NodeManager使用分配的container资源启动ApplicationMaster。

8，ApplicationMaster启动后去分配的hdfs临时路径(hdfs://… jobID)中读取作业的具体信息，根据分片信息创建map任务，reduce任务。

9，ApplicationMaster向Scheduler请求资源来执行map任务，reduce任务。

10，Scheduler返回申请结果。

11，AppMaster通知NodeManager，启动map，reduce任务。

12，NodeManager启动map，reduce任务。

13，map，reduce任务读取数据，进行逻辑计算。计算过程中如果有map，reduce任务执行失败了，AppMaster负责重启任务。

14，程序执行成功后，AppMaster向Scheduler发送请求，释放资源。

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

最新评论