網(wǎng)站seo優(yōu)化HDFS架構
日期 : 2020-09-19 19:01:56
HDFS架構。首先，管理網(wǎng)絡(luò )上多臺計算機的存儲的文件系統稱(chēng)為分布式文件系統。HDFS(Hadoop分布式文件系統）就是其中之一，并且是專(zhuān)門(mén)為諸如MapReduce之類(lèi)的分布式編程框架開(kāi)發(fā)的文件系統，用于執行大規模數據處理。HDFS使用服務(wù)器/客戶(hù)端架構，每個(gè)HDFS群集主要由兩部分組成，一個(gè)是NameNode，另一個(gè)是DataNode。“名稱(chēng)”節點(diǎn)主要控制HDFS文件系統的名稱(chēng)空間，并維護存儲在整個(gè)集群中的文件系統樹(shù)。與元數據有關(guān)的所有服務(wù)也由名稱(chēng)節點(diǎn)進(jìn)程提供，因此它們也稱(chēng)為元數據節點(diǎn)。“名稱(chēng)”節點(diǎn)記錄文件名和拆分文件的塊列表之間的映射關(guān)系，以及塊和實(shí)際系統之間的對應關(guān)系。“名稱(chēng)”節點(diǎn)以快照的形式在本地文件系統中存儲映射關(guān)系，并在每次系統重新啟動(dòng)時(shí)在本地加載映像，并獲取文件的存儲地址。在大多數情況下，名稱(chēng)節點(diǎn)僅被動(dòng)地接受來(lái)自數據節點(diǎn)的請求，執行其任務(wù)并更新。數據節點(diǎn)是實(shí)際存儲文件的節點(diǎn)，通常一個(gè)物理系統對應一個(gè)數據節點(diǎn)。通常，不執行數據節點(diǎn)的磁盤(pán)陣列備份，因為文件被設計為備份到多個(gè)數據節點(diǎn)，而不是一個(gè)數據節點(diǎn)上的多個(gè)文件。HDFS數據塊備份和分發(fā)策略存儲一系列數據塊，每個(gè)文件都在其中劃分。除最后一個(gè)分段數據塊外，分段成文件的所有其他數據塊大小相同。為了提高容錯能力，通常以多份副本備份數據塊，同時(shí)用戶(hù)也可以自行配置數據塊的大小和備份副本的數量?；贖DFS的應用程序可以通過(guò)配置文件更改參數，創(chuàng )建數據備份時(shí)，用戶(hù)可以指定塊備份的數量或稍后對其進(jìn)行修改，但是在HDFS中，每個(gè)文件一次寫(xiě)入。名稱(chēng)節點(diǎn)會(huì )定期在每個(gè)數據節點(diǎn)上執行心跳檢查和數據庫快速狀態(tài)報告，以確定哪些數據節點(diǎn)當前可用以及哪些數據文件已存儲。通常，如果很長(cháng)時(shí)間未收到數據節點(diǎn)的心跳，則系統會(huì )使它無(wú)效并重新啟動(dòng)該節點(diǎn)以恢復數據從而重新加入系統。
相關(guān)文章
精彩導讀
熱門(mén)資訊
