序言



第1章：大語言模型技術基礎認知

1-1 過往資訊查詢的挫折

1-2 ChatGPT回應表現讓各方驚豔

1-3 三種主要的人工智慧應用類型

1-4 人工智慧的弱、強、超

1-5 ChatGPT的根基與持續推進

1-6 預訓練模型與模型微調

1-7 企業特定微調版實務

1-8 為何要在雲端微調模型與提供服務？

1-9 生成式人工智慧模型雨後春筍般出現

1-10 大語言模型的瘦身輕量化

1-11 為何要建立本地端的LLM？

1-12 輕量化的模型有缺點

1-13 家戶與個人難以微調模型

1-14 檢索增強生成也具精進效果

1-15 個人本機端LLM的應用

1-16小結



第2章：快速建立自己的大語言模型

2-1 Ollama軟體簡述

2-2 確認一下自己電腦的資源

2-3 下載、安裝Ollama

2-4 下載並體驗第一個本機端大語言模型

2-5 若沒有浮現安裝完成訊息的因應方式

2-6 如何關閉Ollama互動窗口與Ollama

2-7 前述實務操作說明



第3章：Ollama細部設定調整

3-1 找尋模型的放置位置

3-2 為何要變更模型放置路徑？

3-3 變更模型放置路徑

3-4 安裝網頁型使用者介面

3-5 Ollama操作介面更多說明

3-6 更新Ollama應用程式



第4章：認知Ollama現行可用的模型

4-1 檢視Ollama官網的模型

4-2 Ollama官網的模型分類

4-3 細部檢視模型資訊

4-4 安裝指定參數版本的模型

4-5 計算模型的佔量與評估建議



第5章：Ollama現行主要模型認知

5-1 開放與封閉的模型

5-2 檢視Ollama模型

5-3 Mistral公司的Mistral系列

5-4 Microsoft的Phi系列

5-5 Meta的Llama系列

5-6 Google的Gemma系列

5-7 Alibaba的Qwen系列

5-8 IBM的Granite系列

5-9 DeepSeek的DeepSeek系列

5-10 現階段四種模型篩選建議

5-11 其他系列模型

5-12 更多模型來源



第6章：Page Assist基礎操作設定

6-1 切換介面色調

6-2 聊天管理

6-3 切換與更改搜尋引擎

6-4 管理模型



第7章：檢索增強生成與視覺模型

7-1 引入檢索增強生成的前置準備

7-2 建立RAG後正式對模型提問

7-3 視覺語言模型



第8章：與Ollama相仿或搭配的軟體

8-1 倚賴與不倚賴Ollama的軟體

8-2 AingDesk

8-3 AnythingLLM

8-4 Chatbox AI

8-5 GPT4All

8-6 Jan

8-7 LM Studio

8-8 Pinokio

8-9 更多建議



第9章：建議與展望

9-1 實務操作建議：摸索設定與釋放硬體潛力

9-2 技術關注建議：AI幻覺改善、根治技術

9-3 應用探索建議：嘗試更多元的模型應用

9-4 應用落實建議：建立或融入知識管理體系

9-5 道德倫理建議：避免誤信、誤用、濫信、濫用



附錄A：大語言模型技術概念簡述

附錄B：大語言模型標竿測試簡述



?

序言



　　2022年11月OpenAI公司在Internet上開放大眾使用ChatGPT服務後，立刻引起眾人驚豔，ChatGPT能夠用人性化的口吻回覆眾人提問，表現明顯勝過今日常見的線上聊天機器人（Chatbot）。



　　既然可人性化、口語化回覆，眾人很自然開始期待用ChatGPT取代現今大宗的搜尋引擎（Search Engine）服務，對於疑問不再只是打關鍵字（Key Word）來找出幾個看似答案的網址，然後再人工爬文才能了解是否是想要的答案，而是直接以回話方式給我答案。



　　不僅是聊天機器人、搜尋引擎，近年來常用的手機語音助理、家用智慧喇叭（Smart Speaker）等的回覆智慧度也同樣有限，經常是答非所問或鬼打牆（反覆給出數個常見答案），這類服務若能提升到與ChatGPT相似的水準，將會是眾人的福音。



　　不過，ChatGPT畢竟是線上服務，在多人共用下很容易被其他人誤導，答案會出現偏差，難以一致，而且線上服務也會將對話加以記錄、進行分析，以利ChatGPT後續改進，或可能有其他未經用戶許可的運用，如此也不便與ChatGPT過於私密交談，如談及信用卡卡號、公司商業機密等。



　　其他困擾也包含一旦斷網服務就無法使用，或太多人同時使用時，服務反應會延遲變慢，加上進階的使用或客製化要求均需要收費等，凡此種種都使人想建立自有自用的大語言模型（Large Language Model，ChatGPT所倚賴的根基技術）系統，從而實現自己的ChatGPT服務。



　　本書即是為了讓各位能夠打造自己的大語言模型系統、自己個人（也包含自有家庭、所屬企業）的ChatGPT服務而寫，期望各位既能享受人性智慧回話的便利，同時不用付費、不用洩漏個人隱私或公司機密、回話反應不受Internet變慢或斷線影響、不受不知名者誤導回話等。為了讓各位以最平順快速的方式實現自有的大語言模型，本書依如下章節架構撰寫。



　　第1章 大語言模型技術發展基礎認知



　　何謂大語言模型？為何能讓資訊系統回話比過往大幅人性智慧？除了回話外，還能提供哪些服務？又何謂多模態（Multimodality）人工智慧…等，本章將針對大語言模型的基本認知進行說明。



　　第2章 用Ollama快速建立自己的大語言模型



　　透過程序說明，以最快速、直接、直覺簡單的方式在自己的電腦上建構起一套大語言模型系統，系統將能回應人們對它發出的問題，初步回覆答案或許仍不夠精準但已經達到初步對話互動效果。



　　第3章 Ollama細部設定調整



　　Ollama初步建立後尚有諸多細部設定等待調整，特別是為其加裝親和性的操作介面Page Assist，以便後續的相關操作能更為直覺快速，省去諸多手動輸入的繁瑣程序。



　　第4章 認知Ollama現行可用的模型



　　在Ollama官方網站上有上百款的模型可供選擇，哪些是新模型？哪些是熱門模型？模型有哪些類型？提供哪幾種參數版本？本章將逐步引導瞭解箇中差異，並概要計算模型可能的系統需求佔量。



　　第5章 Ollama現行主要模型認知



　　現階段大語言模型多又多，即便在Ollama上也有上百款選擇，到底哪些是知名、指標性的模型，其背景淵源為何？本章將針對7個現階段具業界代表性的系列模型進行說明。



　　第6章 Page Assist基礎操作設定



　　在建立初步互動性後，Ollama的主要介面搭配軟體Page Assist尚有諸多須知的操作功能，如介面調整、搜尋引擎切換、管理模型、管理對話、版本檢視等，均在此章說明。



　　第7章 檢索增強生成與視覺模型



　　因技術與預算之限，無法對開放模型再次訓練、微調下，如何讓模型的理解更清晰、回話更精準，現階段業界倡議引入檢索增強生成機制，本章將說明如何透過Page Assist建立起RAG。



　　第8章 與Ollama相仿或搭配的軟體



　　Ollama並非是唯一的本機端大語言模型軟體，包含Page Assist也不是唯一能與Ollama搭配的介面操作軟體，本章將說明更多相似的軟體並說明其安裝程序，同時也概略說明現行優缺點。



　　第9章 建議與展望



　　大語言模型的技術與服務仍在多元開展中、快速進步中，其想像應用空間巨大，對此將點出數個具潛在未來性、值得持續關注的趨勢方向，期指引大語言模型的用戶持續精進提升。



　　附錄



　　附錄補充不在本書主軸說明內的重要認知，包含更機理性的說明大語言模型技術發展歷程，以及如何更量化公允客觀的評判模型的表現，從而更明確選擇模型。



　　雖然大語言模型帶來驚豔，但現階段也有諸多挑戰與限制，如前後回話不一致、幻覺等，即今日常言的「一本正經胡說八道」，同時各國政府也開始重視人工智慧技術可能產生的歧視與濫用、誤用，要求其應用具有可解釋性、可問責，在應用之初就必須對偏差錯誤產生的損失傷害等提出配套的解決、緩解方案。



　　因此，在享受與運用大語言模型的同時，也希望大眾能謹慎運用，時時抱持懷疑態度並進行細節確認，以此共勉。