1 Storm介紹

Storm是由Twitter開源的分布式、高容錯的實時處理系統(tǒng),它的出現(xiàn)令持續(xù)不斷的流計算變得容易,彌補了Hadoop批處理所不能滿足的實時要求。Storm常用于在實時分析、在線機器學習、持續(xù)計算、分布式遠程調(diào)用和ETL等領域。

Storm的集群里面有兩種節(jié)點:控制節(jié)點(Master Node)和工作節(jié)點(Worker Node)??刂乒?jié)點上面運行一個名為Nimbus的進程,它用于資源分配和狀態(tài)監(jiān)控;每個工作節(jié)點上面運行一個Supervisor的進程,它會監(jiān)聽分配給它所在機器的工作,根據(jù)需要啟動/關(guān)閉工作進程。Storm集群架構(gòu)如下圖所示:

網(wǎng)友評論