跟 ChatGPT 對話,害怕隱私資料被竊取嗎?
擔心串接 API 的額度爆表,花費太高嗎?
在本地端運行 AI 模型也許是你的好選擇!
?
▌ 精通 Ollama 全技巧,客製化模型自由打造 ▌
▌ 資料隱私保密不外洩,最強草泥馬養成攻略 ▌
?
本書將手把手帶你將 LLM 裝進自己的電腦裡,詳解 Ollama 本地端模型部署的完整流程,深入剖析各種不同功能的預訓練模型和架構。並搭配對話式介面、Ollama API、程式設計,甚至是對模型進行微調訓練,開啟無限的客製化可能,打造屬於你的離線 AI 助理!
?
◆ 【本機設備要求全面解析】:想在本地端運行大型語言模型卻不知從何開始?不清楚自己的電腦能跑得動什麼規模的模型嗎?本書將帶您深入理解模型格式、量化技術、容量大小與運行效率之間的眉眉角角,協助你找到最適合的硬體設備,避免踩坑,一次到位!
?
◆ 【熱門預訓練模型測試比較】:GPT-OSS、Gemma3、Llama3、Phi-4、Mistral、DeepSeek、Qwen3……到底哪個模型最適合你?本書透過多樣化的資料集,針對 「知識性問答與繁體中文理解」、「多語言翻譯能力」、「數學能力」、「邏輯推理能力」、「程式碼生成」 等五大面向進行實測,並整理各模型的優劣與性能表現,幫助你快速找到最符合需求的語言模型。
?
◆ 【微調訓練的完整流程示範】:想讓 AI 變得更懂你?不知道如何建構訓練資料集?本書將從資料集格式開始介紹、一步步到自動生成 QA 問答資料集、LoRA 微調訓練,並詳解超參數的用途和調整方向,讓你能最佳化訓練效果,打造出專屬的產品客服機器人。
?
◆ 【Vibe Coding × MCP 實戰工作流】:AI 不只會聊天,它還能幫你寫程式、操作各種應用程式!讓我們把 Ollama 結合 Vibe Coding 與 MCP,從程式碼自動生成、補全與除錯,到串接外部工具和即時資料,讓大型語言模型突破「只能說、無法做」的限制。
?
◆ 【Bouns 超值加贈】:服務專區搭配豐富學習資源,不會寫程式也能一鍵運行,搞定模型轉檔、量化或微調的方方面面。
?
本書特色
?
本地端模型的終極解答,打造私人 LLM 工作流!
?
● 從零開始安裝 Ollama,熟悉命令列操作、客製化 Modelfile 以及進階系統設定。
● 模型架構、格式、量化技術和其他壓縮方式一次搞懂,不再煩惱什麼設備才能跑。
● 完整介紹 GPT-OSS、Gemma3、Phi-4 等熱門模型,並針對五大主題進行測試比較,讓你能依照需求選擇最適合的模型。
● 聯發科的 Breeze2、國科會的 TAIDE、台語 Taigi 模型,這些本土模型怎麼用?透過 Safetensors 自行轉檔、量化成不同格式,讓 Ollama 能完美運行各種五花八門的模型。
● 認識 Ollama 的各種對話介面,詳解 OpenWeb UI 使用方法,解決命令列苦手的操作難題。
● 透過 Ollama API 和 Python 套件輕鬆存取 LLM,從基本的對話流程、結構化輸出、圖像辨識、函式呼叫,到進階的搭建向量資料庫與文件問答機器人都有實作示範。
● 微調訓練一次到位,將 「產品使用手冊」 這種的敘述性文件轉換成問答資料集,並進行完整的 LoRA 訓練,將一般模型變成領域專家。