01 大數據概念的老調重彈

1.1 網際網路和物聯網上的資料

1.2 資料能為我們做的事

1.3 資料採擷中的一些基本概念

1.4 資料倉儲

1.5 不包含在本書中的內容

1.6 這本書都講些什麼內容



02 Hadoop 的前世今生

2.1 Google 的計算架構

2.2 Hadoop 的誕生

2.3 Hadoop 的今天

2.4 Hadoop 大事記



03 等於大數據的Hadoop

3.1 Hadoop 理念

3.2 Hadoop 核心基礎架構

3.3 Hadoop 上的各種其他元件

3.4 Spark 和Hadoop



04 Hadoop 的價值

4.1大數據時代需要新的架構

4.2 Hadoop 能解決的問題

4.3 去IOE

4.4 7種最常見的Hadoop 和Spark 專案



05 Hadoop 系統速成

5.1 Hadoop 系統架設速成

5.2 在雲端上執行Hadoop

5.3 Hadoop 資訊大全



06 資料倉儲和Hadoop

6.1 大數據時代的資料系統設計

6.2 傳統資料倉儲的瓶頸

6.3 Hadoop 是解決資料倉儲瓶頸的方法

6.4 以Hadoop 和Spark 為基礎的資料倉儲解決方案



07 在不同應用環境下的Hadoop

7.1 在儲存密集型環境中的Hadoop

7.2 在網路密集型環境中的Hadoop

7.3 在運算密集型環境中的Hadoop

7.4 Hadoop 平台的比較和選擇



08 Hadoop 在網際網路公司的應用

8.1 Hadoop 在騰訊

8.2 Hadoop 在Facebook 的應用

8.3 金山的Hadoop

8.4 迅雷公司對Hadoop 的應用



09 Hadoop 和企業應用之一

9.1 Hadoop 和電信業者

9.2 Hadoop 和公用事業

9.3 Hadoop 和「智慧工商」

9.4 Hadoop 和政務雲

10 Hadoop 與「衣食住行」中的「食」和「行」

10.1 Hadoop 和「食」

10.2 Hadoop 和「行」



11 Hadoop 和企業應用之三

11.1 Hadoop 和金融

11.2 Hadoop 和醫療

11.3 Hadoop 和物流

11.4 Hadoop 和媒體



12 特殊場景下的Hadoop 系統

12.1 Hadoop 和即時系統

12.2 Hadoop 平台的一些特殊場景實現



13 Hadoop 系統的挑戰和應對

13.1 Hadoop 系統使用須知

13.2 Hadoop 平台風險點預估

13.3 Hadoop 平台硬體故障的應對機制

13.4 Hadoop 平台如何真正做到高可用性

13.5 Hadoop 平台安全性和隱私性的應對機制



14 Hadoop 的未來

14.1 Hadoop 未來的發展趨勢

14.2 Hadoop 和區塊鏈



A 專業詞彙表

B 參考文獻

C 參考網站一覽

D HDFS 命令列列表

序



　　從1993 年起步開始，到今天順豐的業務已經覆蓋了中國絕大多數省市，以及香港、澳門及台灣等地，事實上已經成為中國快遞企業的領導者。為了給客戶們提供更優質的服務，順豐在技術和大數據領域不斷投入鉅資以加強公司的基礎設施建設，加強裝置和系統的科技水準，以最全的網路、最快的速度、最佳的服務打造產業核心競爭優勢，把順豐塑造成優秀的品牌，讓順豐成為「最值得信賴和尊重的速運公司」。



　　隨著時代的發展，在各種商業氣氛營造的購物狂歡節層出不窮時，不只「快遞」成為各家各戶必不可少的生活服務設定，「大數據」技術也逐漸滲透到人們的生活中。正是因為有大數據技術的支撐，順豐的巨量快遞才得以有條不紊的進行：使用者的需求被即時回應、快遞從一個節點發佈到下一個節點、合理數量的快遞員被分佈在每一個區域、每一條運輸線路上的班次和車輛都恰到好處。



　　大數據技術為快遞事業的發展奠定了堅實的基礎，而且會發揮出越來越大的作用。現在在順豐和整個快遞領域，其實還有很多問題尚未極佳地解決，隨著業務的高速增長和業務模式的不斷創新，新的需求不斷被提出，但很多需求與今天的系統架構並不相容，我們需要有完整的資料系統來幫助我們整理和規範化標準流程，增強週邊的搭配系統，甚至建置大數據生態圈，而這也是在未來的許多年中順豐為什麼還要在資料領域作大規模投資的原因。



　　這本書的作者范磊和譚磊都是我復旦大學的校友，很高興看到他們可以深入研究這項對快遞企業的發展具有舉足輕重作用的技術，預祝這本書的成功。

?