序
這是一個最好的大數據時代，這是一個最壞的大數據時代！
很抱歉，我使用了這句改編後的狄更斯名言作為開頭，我想沒有誰會質疑「當今是大數據時代」這個論點。實際到大數據企業內，各種各樣的大數據產業方興未艾，其中在即時流式處理領域湧現出大量的技術與架構，令技術人員們應接不暇。即時流式處理系統在克服了傳統批次處理系統延遲時間方面的固有缺陷的同時，還擺脫了設計上的桎梏，實現了「夢寐以求」的正確性。可以說，對流式處理從業人員來說，這正是摩拳擦掌、大展巨集圖的最好時代。
與此同時，我們也清醒地意識到當今大數據領域內的細分越來越精細化。不必說日漸火爆的人工智慧和機器學習潮流引誘著我們改弦易轍，也不必說那些紛繁複雜的技術架構令人眼花繚亂，單是靜下心來沉澱所學、思考方向的片刻時光於我們這些從業者來說都已顯得彌足珍貴。我們仿佛在黑暗密林中徘徊，試圖找出那條通往光明的「康莊大道」。每當發現了一條羊腸小路都好似救命稻草一般緊
緊抓住。多年後我們回望那只不過是不斷追逐熱點罷了，在技術的海洋中我們迷失了前進的方向。從這個意義上說，這實在是一個糟糕的時代。
時光切回到4 年前的某個下午，那時我正在做著Kafka 的大數據專案。我突然發現與其盲目跟風各種技術趨勢，何不精進手頭的工作，把目前工作中用到的技術搞明白，於是我萌發了研究Kafka 的想法。直到今天，我都無比慶倖那個午後做出的衝動決定，正如Adam Grant 在《離經叛道》一書中所說：最正確的決定都是在衝動之下做出的。誠不欺我！
?
