工具集基礎用例演示篇

第1章? HuggingFace簡介

第2章? 使用編碼工具

2.1? 編碼工具簡介

2.2? 編碼工具工作流示意

2.3? 使用編碼工具

2.4? 小結

第3章? 使用資料集工具

3.1? 資料集工具介紹

3.2? 使用資料集工具

3.3? 小結

第4章? 使用評價指標工具

4.1? 評價指標工具介紹

4.2? 使用評價指標工具

4.3? 小結

第5章? 使用管道工具

5.1? 管道工具介紹

5.2? 使用管道工具

5.3? 小結

第6章? 使用訓練工具

6.1? 訓練工具介紹

6.2? 使用訓練工具

6.3? 小結



中文專案實戰篇?? ?

第7章? 實戰任務1：中文情感分類

7.1? 任務簡介

7.2? 資料集介紹

7.3? 模型架構

7.4? 實現程式

7.5? 小結

第8章? 實戰任務2：中文填空

8.1? 任務簡介

8.2? 資料集介紹

8.3? 模型架構

8.4? 實現程式

8.5? 小結

第9章? 實戰任務3：中文句子關係推斷

9.1? 任務簡介

9.2? 資料集介紹

9.3? 模型架構

9.4? 實現程式

9.5? 小結

第10章? 實戰任務4：中文命名實體辨識

10.1? 任務簡介

10.2? 資料集介紹

10.3? 模型架構

10.4? 實現程式

10.5? 小結

第11章? 使用TensorFlow訓練

11.1? 任務簡介

11.2? 資料集介紹

11.3? 模型架構

11.4? 實現程式

11.5? 小結

第12章? 使用自動模型

12.1? 任務簡介

12.2? 資料集介紹

12.3? 模型架構

12.4? 實現程式

12.5? 深入自動模型原始程式碼

12.6? 小結



?

前言



　　自然語言處理一直作為人工智慧領域內的重要難題，歷史上無數的科學家付出了巨大的心血對其進行研究。著名的圖靈測試本質上也是一個自然語言處理任務。



　　在深度學習成為主流後，自然語言處理確立了主要的研究方向，尤其是在Google提出了Transformer和BERT模型以後，基於預訓練模型的方法，已成為自然語言處理研究的主要方向。



　　隨著自然語言處理研究的大跨步前進，問題也隨之而來，首要的就是資料集格式缺乏統一規範，往往更換一個資料來源，就要做複雜的資料調配工作，從專案角度來講，這增加了專案的實施風險，作為專案人員有時會想，要是能有一個資料中心，它能把資料都管理起來，提供統一的資料介面就好了。



　　與資料集相應，預訓練模型也缺乏統一的規範，它們往往由不同的實驗室提供，每個實驗室提供的下載方法都不同，下載之後的使用方法也各有區別，如果能把這些模型的下載方式和使用方式統一，就能極大地方便研究，也能降低專案實施的風險。



　　基於以上訴求，HuggingFace社區提供了兩套工具集datasets和transformers，分別用於資料集管理和模型管理。基於HuggingFace工具集研發能極大地簡化程式，把研發人員從細節的海洋中拯救出來，把更多的精力集中在業務本身上。



　　此外，由於資料集和模型都統一了介面，所以在更換時也非常方便，避免了專案和具體的資料集、模型的強耦合，從而降低了專案實施的風險。



　　綜上所述，HuggingFace值得所有自然語言處理研發人員學習。本書將使用最簡單淺顯的語言，快速地講解HuggingFace工具集的使用方法，並透過幾個實例來演示使用HuggingFace工具集研發自然語言處理專案的過程。



　　透過本書的學習，讀者能夠快速地掌握HuggingFace工具集的使用方法，並且能夠使用HuggingFace研發自己的自然語言處理專案。