第 1章??? 不止向量

1.1??? 有資料的地方，必有矩陣 ?? ?

1.2??? 有矩陣的地方，更有向量 ?? ?

1.3??? 有向量的地方，就有幾何 ?? ?

1.4??? 有幾何的地方，皆有空間 ?? ?

1.5??? 有資料的地方，定有統計 ?? ?



第 2章??? 向量運算

2.1??? 向量：多面手 ?? ?

2.2??? 行向量、列向量 ?? ?

2.3??? 向量長度：模，歐氏距離，L2範數 ?? ?

2.4??? 加減法：對應位置元素分別相加減 ?? ?

2.5??? 純量乘法：向量縮放 ?? ?

2.6??? 向量內積：結果為純量 ?? ?

2.7??? 向量夾角：反餘弦 ?? ?

2.8??? 餘弦相似度和餘弦距離 ?? ?

2.9??? 向量積：結果為向量 ?? ?

2.10??? 逐項積：對應元素分別相乘 ?? ?

2.11??? 張量積：張起網格面 ?? ?



第 3章??? 向量範數

3.1?? Lp範數：L2範數的推廣 ?? ?

3.2?? Lp範數和超橢圓的聯繫 ?? ?

3.3?? L1範數：旋轉正方形 ?? ?

3.4?? L2範數：正圓 ?? ?

3.5?? L∞範數：正方形 ?? ?

3.6?? 再談距離度量 ?? ?



第4章??? 矩陣

4.1??? 矩陣：一個不平凡的表格 ?? ?

4.2??? 矩陣形狀：每種形狀都有特殊用途 ?? ?

4.3??? 基本運算：加減和純量乘法 ?? ?

4.4??? 廣播原則 ?? ?

4.5??? 矩陣乘法：線性代數的運算核心 ?? ?

4.6??? 兩個角度解剖矩陣乘法 ?? ?

4.7??? 轉置：繞主對角線鏡像 ?? ?

4.8??? 矩陣逆：「相當於 」除法運算 ?? ?

4.9??? 跡：主對角元素之和 ?? ?

4.10??? 逐項積：對應元素相乘 ?? ?

4.11??? 行列式：將矩陣映射到純量值 ?? ?



第5章??? 矩陣乘法

5.1??? 矩陣乘法：形態豐富多樣 ?? ?

5.2??? 向量和向量 ?? ?

5.3??? 再聊全1列向量 ?? ?

5.4??? 矩陣乘向量：線性方程式組 ?? ?

5.5??? 向量乘矩陣乘向量：二次型 ?? ?

5.6??? 方陣次方陣：矩陣分解 ?? ?

5.7??? 對角陣：批次縮放 ?? ?

5.8??? 置換矩陣：調換元素順序 ?? ?

5.9??? 矩陣乘向量：映射到一維 ?? ?

5.10??? 矩陣乘矩陣：映射到多維 ?? ?

5.11??? 長方陣：奇異值分解、格拉姆矩陣、張量積 ?? ?

5.12??? 愛因斯坦求和約定 ?? ?

5.13??? 矩陣乘法的幾個雷區



第6章??? 分塊矩陣

6.1??? 分塊矩陣：橫平垂直切豆腐

6.2??? 矩陣乘法第一角度：純量積展開 ?? ?

6.3??? 矩陣乘法第二角度：外積展開 ?? ?

6.4??? 矩陣乘法更多角度：分塊多樣化 ?? ?

6.5??? 分塊矩陣的逆 ?? ?

6.6??? 克羅內克積：矩陣張量積 ?? ?



第 7章??? 向量空間

7.1??? 向量空間：從直角座標系說起

7.2??? 給向量空間塗顏色：RGB色卡 ?? ?

7.3??? 張成空間：線性組合紅、綠、藍三原色 ?? ?

7.4??? 線性無關：紅色和綠色，調不出青色 ?? ?

7.5??? 非正交基底：青色、品紅、黃色 ?? ?

7.6??? 基底轉換：從紅、綠、藍，到青色、品紅、黃色 ?? ?



第8章??? 幾何變換

8.1??? 線性變換：線性空間到自身的線性映射 ?? ?

8.2??? 平移：仿射變換，原點變動 ?? ?

8.3??? 縮放：對角陣 ?? ?

8.4??? 旋轉：行列式值為1 ?? ?

8.5??? 鏡像：行列式值為負 ?? ?

8.6??? 投影：降維操作 ?? ?

8.7??? 再談行列式值：幾何角度

?? ?

第 9章??? 正交投影

9.1??? 純量投影：結果為純量 ?? ?

9.2??? 向量投影：結果為向量 ?? ?

9.3??? 正交矩陣：一個規範正交基底 ?? ?

9.4??? 規範正交基底性質 ?? ?

9.5??? 再談鏡像：從投影角度 ?? ?

9.6??? 格拉姆-施密特正交化 ?? ?

9.7??? 投影角度看回歸 ?? ?

?

第 10 章??? 資料投影

10.1??? 從一個矩陣乘法運算說起 ?? ?

10.2??? 二次投影 + 層層疊加 ?? ?

10.3??? 二特徵資料投影：標準正交基底 ?? ?

10.4??? 二特徵資料投影：規範正交基底 ?? ?

10.5??? 四特徵資料投影：標準正交基底 ?? ?

10.6??? 四特徵資料投影：規範正交基底 ?? ?

10.7??? 資料正交化 ?? ?



第 11章??? 矩陣分解

11.1??? 矩陣分解：類似因式分解 ?? ?

11.2??? LU分解：上下三角 ?? ?

11.3??? Cholesky分解：適用於正定矩陣 ?? ?

11.4??? QR分解：正交化 ?? ?

11.5??? 特徵值分解：刻畫矩陣映射的特徵 ?? ?

11.6??? 奇異值分解：適用於任何實數矩陣 ?? ?



第 12章??? Cholesky分解

12.1??? Cholesky分解 ?? ?

12.2??? 正定矩陣才可以進行Cholesky分解 ?? ?

12.3??? 幾何角度：開合 ?? ?

12.4??? 幾何變換：縮放 → 開合 ?? ?

12.5??? 推廣到三維空間 ?? ?

12.6??? 從格拉姆矩陣到相似度矩陣 ?? ?



第 13章??? 特徵值分解

13.1??? 幾何角度看特徵值分解 ?? ?

13.2??? 旋轉 → 縮放 → 旋轉 ?? ?

13.3??? 再談行列式值和線性變換 ?? ?

13.4??? 對角化、譜分解 ?? ?

13.5??? 聊聊特徵值 ?? ?

13.6??? 特徵值分解中的複數現象 ?? ?



第 14章??? 深入特徵值分解

14.1??? 方陣開方 ?? ?

14.2??? 矩陣指數：冪級數的推廣 ?? ?

14.3??? 費氏數列：求通項式 ?? ?

14.4??? 馬可夫過程的平穩狀態 ?? ?

14.5??? 瑞利商 ?? ?

14.6??? 再談橢圓：特徵值分解 ?? ?



第 15章??? 奇異值分解

15.1??? 幾何角度：旋轉 → 縮放 → 旋轉 ?? ?

15.2??? 不同類型SVD分解 ?? ?

15.3??? 左奇異向量矩陣U ?? ?

15.4??? 右奇異向量矩陣V?? ?

15.5??? 兩個角度：投影和資料疊加 ?? ?



第 16章??? 深入奇異值分解

16.1??? 完全型：U為方陣 ?? ?

16.2??? 經濟型：S去掉零矩陣，變方陣 ?? ?

16.3??? 緊湊型：非滿秩 ?? ?

16.4??? 截斷型：近似 ?? ?

16.5??? 資料還原：層層疊加 ?? ?

16.6??? 估計與誤差：截斷型SVD ?? ?

16.7??? 正交投影：資料正交化



第 17章??? 多元函式微分

17.1??? 偏導：特定方向的變化率 ?? ?

17.2??? 梯度向量：上山方向 ?? ?

17.3??? 法向量：垂直於切平面 ?? ?

17.4??? 方向性微分：函式任意方向的變化率 ?? ?

17.5??? 泰勒展開：一元到多元 ?? ?



第 18章??? 拉格朗日乘子法

18.1??? 回顧最佳化問題 ?? ?

18.2??? 等式約束條件 ?? ?

18.3??? 線性等式約束 ?? ?

18.4??? 非線性等式約束 ?? ?

18.5??? 不等式約束 ?? ?

18.6??? 再談特徵值分解：最佳化角度 ?? ?

18.7??? 再談SVD：最佳化角度 ?? ?

18.8??? 矩陣範數：矩陣 → 純量，矩陣「大小 」?? ?

18.9??? 再談資料正交投影：最佳化角度 ?? ?

?

第 19章??? 直線到超平面

19.1??? 切向量：可以用來定義直線 ?? ?

19.2??? 法向量：定義直線、平面、超平面 ?? ?

19.3??? 超平面：一維直線和二維平面的推廣 ?? ?

19.4??? 平面與梯度向量 ?? ?

19.5??? 中垂線：用向量求解析式 ?? ?

19.6??? 用向量計算距離 ?? ?



第 20 章?? 再談圓錐曲線 ?? ?

20.1??? 無處不在的圓錐曲線 ?? ?

20.2??? 正圓：從單位圓到任意正圓 ?? ?

20.3??? 單位圓到旋轉橢圓：縮放 → 旋轉 → 平移 ?? ?

20.4??? 多元高斯分佈：矩陣分解、幾何變換、距離 ?? ?

20.5??? 從單位雙曲線到旋轉雙曲線 ?? ?

20.6??? 切線：建構函式，求梯度向量 ?? ?

20.7??? 法線：法向量垂直於切向量 ?? ?



第 21章?? 曲面和正定性 ?? ?

21.1??? 正定性 ?? ?

21.2??? 幾何角度看正定性 ?? ?

21.3??? 開口朝上?物面：正定

21.4??? 山谷面：半正定 ?? ?

21.5??? 開口朝下?物面：負定 ?? ?

21.6??? 山脊面：半負定 ?? ?

21.7??? 雙曲?物面：不定 ?? ?

21.8??? 多極值曲面：局部正定性 ?? ?



第 22章?? 資料與統計 ?? ?

22.1??? 統計 + 線性代數：以鳶尾花資料為例 ?? ?

22.2??? 平均值：線性代數角度 ?? ?

22.3??? 質心：平均值排列成向量 ?? ?

22.4??? 中心化：平移

22.5??? 分類資料：加標籤 ?? ?

22.6??? 方差：平均值向量沒有解釋的部分

22.7??? 協方差和相關性係數 ?? ?

22.8??? 協方差矩陣和相關性係數矩陣 ?? ?



第 23章??? 資料空間

23.1??? 從資料矩陣X說起 ?? ?

23.2??? 向量空間：從SVD分解角度理解 ?? ?

23.3??? 緊湊型SVD分解：剔除零空間 ?? ?

23.4??? 幾何角度說空間 ?? ?

23.5??? 格拉姆矩陣：向量模、夾角餘弦值的集合體 ?? ?

23.6??? 標準差向量：以資料質心為起點 ?? ?

23.7??? 白話說空間：以鳶尾花資料為例

?? ?

第 24章?? 資料分解 ?? ?

24.1??? 為什麼要分解矩陣？ ?? ?

24.2??? QR分解：獲得正交系 ?? ?

24.3??? Cholesky分解：找到列向量的座標 ?? ?

24.4??? 特徵值分解：獲得行空間和零空間 ?? ?

24.5??? SVD分解：獲得四個空間 ?? ?



第 25章?? 資料應用 ?? ?

25.1??? 從線性代數到機器學習 ?? ?

25.2??? 從隨機變數的線性變換說起 ?? ?

25.3??? 單方向映射 ?? ?

25.4??? 線性回歸 ?? ?

25.5??? 多方向映射 ?? ?

25.6??? 主成分分析



?

前言



　　感謝



　　首先感謝大家的信任。



　　作者僅是在學習應用資料科學和機器學習演算法時，多讀了幾本數學書，多做了一些思考和知識 整理而已。知者不言，言者不知。知者不博，博者不知。由於作者水準有限，斗膽把自己所學所思與大家分享，作者權當無知者無畏。希望大家在Github多提意見，讓這套書成為作者和讀者共同參與創作的作品。



　　特別感謝清華大學出版社的欒大成老師。從選題策劃、內容創作到裝幀設計，欒老師事無巨細、一路陪伴。每次與欒老師交流，都能感受到他對優質作品的追求、對知識分享的熱情。



　　出來混總是要還的



　　曾經，考試是我們學習數學的唯一動力。考試是頭懸樑的繩，是錐刺股的錐。我們中的大多數人 從小到大為各種考試埋頭題海，數學味同嚼蠟，甚至讓人恨之入骨。



　　數學所帶來了無盡的「折磨」。 我們甚至恐懼數學，憎恨數學，恨不得一走出校門就把數學拋之腦後，老死不相往來。



　　可悲可笑的是，我們很多人可能會在畢業的五年或十年以後，因為工作需要，不得不重新學習微積分、線性代數、機率統計，悔恨當初沒有學好數學，甚至遷怒於教材和老師。



　　這一切不能都怪數學，值得反思的是我們學習數學的方法和目的。



　　再給自己一個學數學的理由



　　為考試而學數學，是被逼無奈的舉動。而為數學而數學，則又太過高尚而遙不可及。



　　相信對絕大部分的我們來說，數學是工具、是謀生手段，而非目的。我們主動學數學，是想用數學工具解決具體問題。



　　現在，這套書給大家一個「學數學、用數學」的全新動力—資料科學、機器學習。



　　資料科學和機器學習已經深度融合到我們生活的各方面，而數學正是開啟未來大門的鑰匙。不是所有人生來都握有一副好牌，但是掌握「數學 + 程式設計 + 機器學習」的知識絕對是王牌。這次，學習數學不再是為了考試、分數、升學，而是投資時間、自我實現、面向未來。未來已來，你來不來？



　　本套書系如何幫到你



　　為了讓大家學數學、用數學，甚至愛上數學，作者可謂頗費心機。在創作這套書時，作者儘量克服傳統數學教材的各種弊端，讓大家學習時有興趣、看得懂、有思考、更自信、用得著。



　　為此，叢書在內容創作上突出以下幾個特點。



　　數學 + 藝術



　　全圖解，極致視覺化，讓數學思想躍然紙上、生動有趣、一看就懂，同時提高大家的資料思維、幾何想像力、藝術感。



　　零基礎 ?



　　從零開始學習Python程式設計，從寫第一行程式到架設資料科學和機器學習應用，儘量將陡峭學習曲線拉平。



　　知識網路



　　打破數學板塊之間的門檻，讓大家看到數學代數、幾何、線性代數、微積分、 機率統計等板塊之間的聯繫，編織一張綿密的數學知識網路。



　　動手



　　授人以魚不如授人以漁，和大家一起寫程式、創作數學動畫、互動App。



　　學習生態



　　構造自主探究式學習生態環境「紙質圖書 + 程式檔案 + 視覺化工具 + 思維導圖」 ，提供各種優質學習資源。



　　理論 + 實踐



　　從加減乘除到機器學習，叢書內容安排由淺入深、螺旋上升，兼顧理論和實 踐；在程式設計中學習數學，學習數學時解決實際問題。



　　雖然本書標榜「從加減乘除到機器學習」， 但是建議讀者朋友們至少具備高中數學知識。如果讀者正在學習或曾經學過大學數學 (微積分、線性代數、機率統計) ，這套書就更容易讀懂了。



　　聊聊數學



　　數學是工具。錘子是工具，剪刀是工具，數學也是工具。



　　數學是思想。數學是人類思想高度抽象的結晶體。在其冷酷的外表之下，數學的核心實際上就是人類樸素的思想。學習數學時，知其然，更要知其所以然。不要死記硬背公式定理，理解背後的數學思想才是關鍵。如果你能畫一幅圖、用簡單的語言描述清楚一個公式、一則定理，這就說明你真正理解了它。



　　數學是語言。就好比世界各地不同種族有自己的語言，數學則是人類共同的語言和邏輯。數學這門語言極其精準、高度抽象，放之四海而皆準。雖然我們中大多數人沒有被數學「女神」選中，不能 為人類對數學認知開疆擴土；但是，這絲毫不妨礙我們使用數學這門語言。就好比，我們不會成為語言學家，我們完全可以使用母語和外語交流。



　　數學是系統。代數、幾何、線性代數、微積分、機率統計、最佳化方法等，看似一個個孤島，實際上都是數學網路的一條條織線。建議大家學習時，特別關注不同數學板塊之間的聯繫，見樹，更要見林。



　　數學是基石。拿破崙曾說「數學的日臻完善和國強民富息息相關。」數學是科學進步的根基，是經濟繁榮的支柱，是保家衛國的武器，是探索星辰大海的航船。



　　數學是藝術。數學和音樂、繪畫、建築一樣，都是人類藝術體驗。透過視覺化工具，我們會在看似枯燥的公式、定理、資料背後，發現數學之美。



　　數學是歷史，是人類共同記憶體。「歷史是過去，又屬於現在，同時在指引未來。」數學是人類的集體學習思考，它把人的思維符號化、形式化，進而記錄、累積、傳播、創新、發展。從甲骨、泥板、石板、竹簡、木牘、紙草、羊皮卷冊、活字印刷、紙質書，到數字媒介，這一過程持續了數千年，至今綿延不息。



　　數學是無窮無盡的想像力，是人類的好奇心，是自我挑戰的毅力，是一個接著一個的問題，是看似荒誕不經的猜想，是一次次膽大包天的批判性思考，是敢於站在前人臂膀之上的勇氣，是孜孜不倦 地延展人類認知邊界的不懈努力。



　　家園、詩、遠方



　　諾瓦利斯曾說：「哲學就是懷著一種鄉愁的衝動到處去尋找家園。」



　　在紛繁複雜的塵世，數學純粹得就像精神的世外桃源。數學是，一束光，一條巷，一團不滅的希望，一股磅?的力量，一個值得寄託的避風港。



　　打破陳腐的鎖鏈，把功利心暫放一邊，我們一道懷揣一份鄉愁，心存些許詩意，踩著藝術維度，投入數學張開的臂膀，駛入它色彩斑斕、變幻無窮的深港，感受久違的歸屬，一睹更美、更好的遠方。