HDFS（Hadoop Distributed File System ）Hadoop分布式文件系統(tǒng)。是根據(jù)google發(fā)表的論文翻版的。論文為GFS（Google File System）Google 文件系統(tǒng)（中文，英文）。
1. 架構(gòu)分析
基礎(chǔ)名詞解釋：
- Block： 在HDFS中，每個文件都是采用的分塊的方式存儲，每個block放在不同的datanode上，每個block的標(biāo)識是一個三元組（block id， numBytes，generationStamp），其中block id是具有唯一性，具體分配是由namenode節(jié)點設(shè)置，然后再由datanode上建立block文件，同時建立對應(yīng)block meta文件
- Packet：在DFSclient與DataNode之間通信的過程中，發(fā)送和接受數(shù)據(jù)過程都是以一個packet為基礎(chǔ)的方式進行
- Chunk：中文名字也可以稱為塊，但是為了與block區(qū)分，還是稱之為chunk。在DFSClient與DataNode之間通信的過程中，由于文件采用的是基于塊的方式來進行的，但是在發(fā)送數(shù)據(jù)的過程中是以packet的方式來進行的，每個packet包含了多個chunk，同時對于每個chunk進行checksum計算，生成checksum bytes
- 小結(jié)：
1. 一個文件被拆成多個block持續(xù)化存儲（block size 由配置文件參數(shù)決定） 思考： 修改 block size 對以前持續(xù)化的數(shù)據(jù)有何影響?
2. 數(shù)據(jù)通訊過程中一個 block 被拆成 多個 packet
3. 一個 packet 包含多個 chunk
- Packet結(jié)構(gòu)與定義： Packet分為兩類，一類是實際數(shù)據(jù)包，另一類是heatbeat包。一個Packet數(shù)據(jù)包的組成結(jié)構(gòu)，如圖所示
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動安全 [無線安全]玩轉(zhuǎn)無線電——不安全的藍牙鎖 2017-07-26
- 消息隊列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式