資料介紹
Apache Hadoop YARN (Yet Another Resource Negotiator,另一種資源協(xié)調(diào)者)是一種新的 Hadoop 資源管理器,它是一個通用資源管理系統(tǒng),可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度,它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。
YARN的基本思想是將JobTracker的兩個主要功能(資源管理和作業(yè)調(diào)度/監(jiān)控)分離,主要方法是創(chuàng)建一個全局的ResourceManager(RM)和若干個針對應(yīng)用程序的ApplicationMaster(AM)。這里的應(yīng)用程序是指傳統(tǒng)的MapReduce作業(yè)或作業(yè)的DAG(有向無環(huán)圖)。YARN 分層結(jié)構(gòu)的本質(zhì)是 ResourceManager。這個實體控制整個集群并管理應(yīng)用程序向基礎(chǔ)計算資源的分配。ResourceManager 將各個資源部分(計算、內(nèi)存、帶寬等)精心安排給基礎(chǔ) NodeManager(YARN 的每節(jié)點代理)。ResourceManager 還與 ApplicationMaster 一起分配資源,與 NodeManager 一起啟動和監(jiān)視它們的基礎(chǔ)應(yīng)用程序。在此上下文中,ApplicationMaster 承擔(dān)了以前的 TaskTracker 的一些角色,ResourceManager 承擔(dān)了 JobTracker 的角色。ApplicationMaster 管理一個在 YARN 內(nèi)運行的應(yīng)用程序的每個實例。ApplicationMaster 負(fù)責(zé)協(xié)調(diào)來自 ResourceManager 的資源,并通過 NodeManager 監(jiān)視容器的執(zhí)行和資源使用(CPU、內(nèi)存等的資源分配)。請注意,盡管目前的資源更加傳統(tǒng)(CPU 核心、內(nèi)存),但未來會帶來基于手頭任務(wù)的新資源類型(比如圖形處理單元或?qū)S锰幚碓O(shè)備)。從 YARN 角度講,ApplicationMaster 是用戶代碼,因此存在潛在的安全問題。YARN 假設(shè) ApplicationMaster 存在錯誤或者甚至是惡意的,因此將它們當(dāng)作無特權(quán)的代碼對待。NodeManager 管理一個 YARN 集群中的每個節(jié)點。NodeManager 提供針對集群中每個節(jié)點的服務(wù),從監(jiān)督對一個容器的終生管理到監(jiān)視資源和跟蹤節(jié)點健康。MRv1 通過插槽管理 Map 和 Reduce 任務(wù)的執(zhí)行,而 NodeManager 管理抽象容器,這些容器代表著可供一個特定應(yīng)用程序使用的針對每個節(jié)點的資源。YARN 繼續(xù)使用 HDFS 層。它的主要 NameNode 用于元數(shù)據(jù)服務(wù),而 DataNode 用于分散在一個集群中的復(fù)制存儲服務(wù)。要使用一個 YARN 集群,首先需要來自包含一個應(yīng)用程序的客戶的請求。ResourceManager 協(xié)商一個容器的必要資源,啟動一個 ApplicationMaster 來表示已提交的應(yīng)用程序。通過使用一個資源請求協(xié)議,ApplicationMaster 協(xié)商每個節(jié)點上供應(yīng)用程序使用的資源容器。執(zhí)行應(yīng)用程序時,ApplicationMaster 監(jiān)視容器直到完成。當(dāng)應(yīng)用程序完成時,ApplicationMaster 從 ResourceManager 注銷其容器,執(zhí)行周期就完成了。

- 解決win10資源管理器關(guān)后電腦黑屏問題
- 移動云計算中運營商能耗資源管理模型 13次下載
- 擬態(tài)通用運行環(huán)境的資源管理調(diào)度及框架 6次下載
- 如何通過YARN設(shè)計分布式資源動態(tài)調(diào)度協(xié)同分配系統(tǒng) 12次下載
- TCMD750A應(yīng)用程序非常好的軟件比資源管理器好用得多 6次下載
- 弄個取資源管理器選中文件或文件夾名稱 11次下載
- Delphi教程_新穎的資源管理器界面 10次下載
- 基于樹形的網(wǎng)格資源管理研究
- TD-SCDMA系統(tǒng)無線資源管理
- 網(wǎng)格資源管理模型研究
- WCDMA無線資源管理綜述
- WCDMA無線資源管理
- WCDMA無線資源管理綜述
- TD-SCDMA無線資源管理
- TD-SCDMA無線資源管理算法
- 負(fù)載管理器的主要功能 393次閱讀
- 如何在層堆棧管理器中定義單層板? 844次閱讀
- 使用LABwindows/CVI軟件搭建學(xué)生管理器界面(三) 2448次閱讀
- 使用LABwindows/CVI軟件搭建學(xué)生管理器界面(二) 3154次閱讀
- 使用LABwindows/CVI軟件搭建學(xué)生管理器界面(一) 5173次閱讀
- 密鑰管理系統(tǒng)概述_密鑰管理系統(tǒng)架構(gòu)圖 1.4w次閱讀
- vscode怎么編譯運行 9.7w次閱讀
- re管理器如何修改機型 8754次閱讀
- 什么是re文件管理器_re管理器有什么用 1.8w次閱讀
- re管理器進(jìn)入編輯文件方法 4735次閱讀
- re管理器刪除系統(tǒng)軟件操作方法 1.3w次閱讀
- 2g3g4g網(wǎng)絡(luò)有什么區(qū)別 4.4w次閱讀
- 衛(wèi)星頻率及軌道資源管理分析 1w次閱讀
- Linux系統(tǒng)內(nèi)存管理的特點詳解 4048次閱讀
- 計算網(wǎng)格資源管理優(yōu)化技術(shù)和相關(guān)算法研究 939次閱讀
下載排行
本周
- 1GD選型手冊
- 6.92 MB | 2次下載 | 免費
- 2電流檢測芯片F(xiàn)P135應(yīng)用說明
- 1.24 MB | 2次下載 | 免費
- 3吸波材料在NFC中的應(yīng)用
- 0.91 MB | 1次下載 | 免費
- 4HC88L051F4低功耗芯片規(guī)格書
- 4.76 MB | 1次下載 | 免費
- 5CIU32D655x5數(shù)據(jù)手冊
- 2.14 MB | 1次下載 | 免費
- 6400毫安可用太陽能供電的單節(jié)鋰電池充電管理集成電路CN3142技術(shù)手冊
- 0.47 MB | 次下載 | 免費
- 7導(dǎo)熱吸波材料在路由器上的應(yīng)用
- 0.38 MB | 次下載 | 免費
- 8PC0403A 18V 3A高效率小尺寸降壓電源模塊技術(shù)手冊
- 1.42 MB | 次下載 | 免費
本月
- 1常用電子元器件使用手冊
- 2.40 MB | 41次下載 | 免費
- 2高功率密度碳化硅MOSFET軟開關(guān)三相逆變器損耗分析
- 2.27 MB | 33次下載 | 10 積分
- 3USB拓展塢PCB圖資料
- 0.57 MB | 9次下載 | 免費
- 4HAL9303線性霍爾效應(yīng)傳感器技術(shù)手冊
- 0.70 MB | 9次下載 | 免費
- 5MS1826 HDMI 多功能視頻處理器數(shù)據(jù)手冊
- 4.51 MB | 8次下載 | 免費
- 6經(jīng)典1000W純正弦波逆變器原理圖資料
- 0.08 MB | 8次下載 | 10 積分
- 7TYPEC電路原理圖資料
- 0.14 MB | 7次下載 | 免費
- 8SR520-SR5100肖特基二極管規(guī)格書
- 0.11 MB | 4次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935134次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191424次下載 | 10 積分
- 5十天學(xué)會AVR單片機與C語言視頻教程 下載
- 158M | 183352次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81600次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費下載
- 0.02 MB | 73818次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65991次下載 | 10 積分
電子發(fā)燒友App






創(chuàng)作
發(fā)文章
發(fā)帖
提問
發(fā)資料
發(fā)視頻
上傳資料賺積分
評論