第一章 複習類神經網路

第二章 自然語言與字詞的分散式表示

第三章 word2vec

第四章 word2vec的高速化

第五章 遞歸神經網路（RNN）

第六章 含閘門的RNN

第七章 使用RNN產生文章

第八章 Attention

附錄A sigmoid函數與tanh函數的微分

附錄B 啟用WordNet

附錄C GRU



?

序



我不能創造的東西，我就不瞭解



　　這個世界即將因深度學習而產生巨變。不論智慧型手機的語音辨識，或網站的即時翻譯，還是匯兌預測，都少不了深度學習。新藥開發、病患的病情診斷、自動駕駛也因為深度學習而逐漸得以實現。除此之外，在先進技術的背後，一定隱藏著深度學習。未來，整個世界必定會因為深度學習而變得更進步。



　　這本書是《Deep Learning：用Python進行深度學習的基礎理論實作》的續篇，將延續上一本書，繼續介紹與深度學習有關的技術。本書尤其偏重在自然語言處理及時間序列資料處理上，使用深度學習，挑戰各式各樣的問題。和上一本著作一樣，以「從零開始建構」為概念，詳盡介紹與深度學習有關的先進技術。



　　本書的概念



　　筆者認為，若要深入瞭解深度學習（或某種高深的技術），「從零開始建構」這種經驗格外重要。從零開始建構是指，從自己可以理解的部分開始，盡量不使用外面的現成產品，完成目標技術。透過這種經驗，能確實將深度學習融會貫通，而不只是學到皮毛，這就是本書希望達成的目的。



　　總而言之，想深入理解技術，就需要具備能把它製作出來的知識及技能。這本書將從零開始建構深度學習，並為此寫出各式各樣的程式碼，進行各種實驗。這是十分耗時的工作，偶爾也會大傷腦筋。可是，在這種花時間的工作中，蘊藏著徹底理解技術時的重要精髓。藉由這種方式獲得的知識，一定可以在運用現有函式庫、閱讀最先進的論文、建置原創系統時，發揮作用。更重要的是，逐一解構深度學習的結構及原理，並且加以理解，將是無比快樂的事情。



　　進入自然語言處理的世界



　　本書的主題是深度學習的自然語言處理。簡單來說，自然語言處理是指，讓電腦瞭解我們平常說話內容的技術。讓電腦理解我們的用語，是一個很困難的問題，同時也是極為重要的主題。事實上，這種自然語言處理技術已經大大改變了我們的生活。在網頁搜尋、機器翻譯、語音助理等深深影響世界的技術根基中，已經使用了自然語言處理技術。



　　自然語言處理是我們生活當中不可或缺的技術，在這個領域，深度學習占了極為重要的位置。事實上，透過深度學習，大幅提升了過去自然語言處理的效能。例如，Google的機器翻譯透過深度學習的手法，產生了極為顯著的進步，這點讓人印象深刻。



　　本書把重點放在自然語言處理及時間序列資料處理上，學會在深度學習中，十分重要的技術。具體而言是指，word2vec、RNN、LSTM、GRU、seq2seq、Attention等技術。本書盡量使用淺顯易懂的說明，解說這些技術，並透過實際操作，確認你是否理解。此外，我希望藉由實驗，讓你實際感受到這些技術的可能性。



　　這是一本以深度學習為主，探索自然語言處理，展開冒險的書籍。本書一共分成八章，這些章節的結構就像是一連串的故事，請從頭開始，依序閱讀下去。發現問題，思考解決問題的新手法，並且加以改良。請利用這種過程，使用手中的深度學習武器，逐一解決關於自然語言處理的各種問題。我希望透過此種冒險方式，讓你深入學會深度學習中的重要技巧，並體會箇中樂趣。

?