心理

当前位置 /首页/完美生活/心理/列表

mapreduce的task组件的功能

mapreduce的task组件的功能

TaskTracker是运行于多个节点上的slave服务,主要完成向JobTracker汇报心跳和执行JobTracker的命令。汇报心跳的信息包括结点状态、资源使用情况、任务的执行进度、任务的运行状态以及Counter值。JobTracker收到TaskTracker汇报的心跳信息后,根据这些信息以及作业的运行状况给TaskTracker下达命令,包括LaunchTaskAction、CommitTaskAction、KillTaskAction、KillJobAction和TaskTrackerReinitAction。

TaskTracker主动与JobTracker通信,接收作业并负责直接执行每一个任务。TaskTracker作为一个单独的JVM来运行,TaskTracker周期性的向JobTracker发送heartbeat。在heartbeat中,TaskTracker告知JobTracker其已经准备运行一个新的task,JobTracker 将分配给其一个task。

TaskTracker被分配了一个task,下面便要运行此task。首先,TaskTracker将此job的jar从共享文件系统中拷贝到TaskTracker的文件系统HDFS中。TaskTracker从DistributedCache 中将job运行所需要的文件拷贝到本地磁盘。其次,其为每个task创建一个本地的工作目录,将jar解压缩到文件目录中。其三,TaskRunner创建一个新的JVM来运行task 。

TAG标签:mapreduce 组件 task #