簡介

 

Kafka擅長于做什么?

它被用于兩大類應用:

  1. 在應用間構建實時的數據流通道

  2. 構建傳輸或處理數據流的實時流式應用

幾個概念:

  • Kafka以集群模式運行在1或多臺服務器上

  • Kafka以topics的形式存儲數據流

  • 每一個記錄包含一個key、一個value和一個timestamp

Kafka有4個核心API:

  • Producer API:用于應用程序將數據流發(fā)送到一個或多個Kafka topics

  • Consumer API:用于應用程序訂閱一個或多個topics并處理被發(fā)送到這些topics中的數據

  • Streams API:允許應用程序作為流處理器,處理來自一個或多個topics的數據并將處理結果發(fā)送到一個或多個topics中,有效的將輸入流轉化為輸出流

  • Connector API:用于構建和運行將Kafka topics和現(xiàn)有應用或數據系統(tǒng)連接的可重用的produers和consumers。例如,如鏈接到關系數據庫的連接器可能會捕獲某個表所有的變更