隨著對(duì)spark的業(yè)務(wù)更深入，對(duì)spark的了解也越多，然而目前還處于知道的越多，不知道的更多階段，當(dāng)然這也是成長(zhǎng)最快的階段。這篇文章用作總結(jié)最近收集及理解的spark相關(guān)概念及其關(guān)系。
名詞
driver
driver物理層面是指輸入提交spark命令的啟動(dòng)程序，邏輯層面是負(fù)責(zé)調(diào)度spark運(yùn)行流程包括向master申請(qǐng)資源，拆解任務(wù)，代碼層面就是sparkcontext。
worker
worker指可以運(yùn)行的物理節(jié)點(diǎn)。
executor
executor指執(zhí)行spark任務(wù)的處理程序，對(duì)java而言就是擁有一個(gè)jvm的進(jìn)程。一個(gè)worker節(jié)點(diǎn)可以運(yùn)行多個(gè)executor，只要有足夠的資源。
