心理

當前位置 /首頁/完美生活/心理/列表

mapreduce的task組件的功能

mapreduce的task組件的功能

TaskTracker是運行於多個節點上的slave服務,主要完成向JobTracker彙報心跳和執行JobTracker的命令。彙報心跳的信息包括結點狀態、資源使用情況、任務的執行進度、任務的運行狀態以及Counter值。JobTracker收到TaskTracker彙報的心跳信息後,根據這些信息以及作業的運行狀況給TaskTracker下達命令,包括LaunchTaskAction、CommitTaskAction、KillTaskAction、KillJobAction和TaskTrackerReinitAction。

TaskTracker主動與JobTracker通信,接收作業並負責直接執行每一個任務。TaskTracker作為一個單獨的JVM來運行,TaskTracker週期性的向JobTracker發送heartbeat。在heartbeat中,TaskTracker告知JobTracker其已經準備運行一個新的task,JobTracker 將分配給其一個task。

TaskTracker被分配了一個task,下面便要運行此task。首先,TaskTracker將此job的jar從共享文件系統中拷貝到TaskTracker的文件系統HDFS中。TaskTracker從DistributedCache 中將job運行所需要的文件拷貝到本地磁盤。其次,其為每個task創建一個本地的工作目錄,將jar解壓縮到文件目錄中。其三,TaskRunner創建一個新的JVM來運行task 。

TAG標籤:組件 task mapreduce #