傳說中的Hadoop,我終于來對(duì)著你唱"征服"了,好可愛的小象,!J
總的來說,hadoop的思路比較簡(jiǎn)單(map-reduce),就是將任務(wù)分開進(jìn)行,最后匯總。但這個(gè)思路實(shí)現(xiàn)起來,比較復(fù)雜,但相對(duì)于幾年前Intel等硬件公司提出的網(wǎng)格運(yùn)算等方式,顯得更加開放。
你難任你難,哥就是頭鐵!
Tip:實(shí)踐應(yīng)用是核心,本文概念為主,有些部分可能會(huì)有些晦澀,直接跳過就好(不是特別重要)。
本文代碼實(shí)踐在:https://github.com/wanliwang/cayman/tree/master/cm-web的test->backupcode->hadoop部分。
提到列式(Column Family)數(shù)據(jù)庫,就不得不提Google的BigTable,其開源版本就是我們熟知的HBASE。BigTable建立在谷歌的另兩個(gè)系統(tǒng)GFS和Chubby之上,這三個(gè)系統(tǒng)和分布式計(jì)算編程模型MapReduce共同構(gòu)成Google云計(jì)算的基礎(chǔ),Chubby解決主從自動(dòng)切換的基礎(chǔ)。接下來通過一個(gè)表格對(duì)比來引入Hadoop。