替你的應用程式加上智慧! 談 LLM 的應用程式開發

問題與答案 (FAQ)

Q&A 類別 A: 概念理解類

A-Q1: 什麼是「應用程式智慧化」？

• A簡: 讓應用理解語意、推理意圖並調用技能，從提示到行動提升體驗與效率。
• A詳: 應用程式智慧化是把大型語言模型（LLM）融入既有系統，讓系統能理解自然語言、推理意圖、分析風險，並透過功能呼叫（Skills/Plugins）執行動作。它不僅回答問題，更能根據上下文與知識庫（RAG）給出建議，或採取自動化行為。落地方式常見四階段：標準操作、關鍵節點風險評估、全程提示輔助（Copilot）、全對話式代為操作（Autonomous Agent）。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q2, A-Q25, B-Q8

A-Q2: 什麼是 LLM（大型語言模型）？

• A簡: 以海量語料訓練的語言模型，能理解語意、生成文字，並透過提示完成任務。
• A詳: LLM 是以大量文本資料訓練的生成式模型，具備語意理解、文本生成、推理與摘要能力。它可在系統提示（System Prompt）與對話歷程（Chat History）引導下，解讀使用者意圖，並配合外部工具（Function Calling/Plugins）完成任務。常見模型如 GPT-4，也可結合本地模型（如 LLaMA）或雲端服務（Azure OpenAI）。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q4, B-Q1, B-Q4

A-Q3: 為何把 LLM 當「人」來溝通？

• A簡: 因為它擅長理解自然語言與上下文，提示工程比傳統參數更能表達意圖。
• A詳: LLM 以自然語言為主介面，能理解角色設定、上下文與模糊描述。將其視為人，使用明確意圖、角色、人機規則的提示，比傳統函式參數更有彈性與表達力。這改變軟體互動模式：由「函式+參數」轉為「提示+上下文+工具」，更貼近人類溝通與決策過程。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q4, A-Q12, B-Q12

A-Q4: 什麼是 Prompt Engineering（提示工程）？

• A簡: 設計系統與使用者提示，讓模型在上下文中可靠、可控地產生正確行為。
• A詳: 提示工程是設計 System/User/Tool 等不同層級的提示文本，定義角色、任務、輸出格式與限制條件，並合理提供上下文、知識與範例，讓模型在可控範圍內表現穩定。重點在清晰意圖、明確輸出規則、分步思考與約束。其優劣直接影響準確率、成本與一致性。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: B-Q12, C-Q3, C-Q4

A-Q5: Chatbot、RAG、Copilot、Autonomous 有何差異？

• A簡: 由對談問答，進階至知識檢索、旁路輔助，再到能自主調用技能完成任務。
• A詳: Chatbot 是基本對談；RAG 讓模型能檢索長期知識；Copilot 在使用者操作時旁路提示、建議更佳做法；Fully Autonomous 則能理解目標與約束，自行規劃、呼叫工具完成任務。四者是能力與自主度的漸進演進，從「回答」到「建議」再到「執行」。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q25, B-Q2, B-Q8

A-Q6: 什麼是 Chat History（短期記憶）？

• A簡: 將對話歷程回餵模型，保留上下文，讓模型維持連貫與任務狀態。
• A詳: LLM 無狀態，需將歷史訊息附加到每次請求中，讓模型「記得」上下文、使用者目標與中間結果。這即短期記憶，常用於多輪對話、表單補全、任務分步執行等場景。需注意 Token 限制與隱私脈絡選擇，避免冗長與洩漏。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: B-Q1, B-Q10, B-Q18

A-Q7: 什麼是 RAG（擷取增強生成）？

• A簡: 先以嵌入向量檢索相關知識，再提供給模型生成更準確的回答。
• A詳: RAG 將查詢文本用 Embedding 轉為向量，在向量資料庫中找相似片段（含 metadata 過濾），將結果連同提示送入 LLM，產出可信回應。好處是無須重訓模型即可擴充私域知識，降低幻覺與成本；適合 FAQ、SOP、文件問答等。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q8, B-Q2, B-Q13

A-Q8: 什麼是 Embedding（文本嵌入）？

• A簡: 將文本映射為高維向量，表示語意位置，利於相似度搜尋與分類。
• A詳: Embedding 模型將句子或段落轉換成高維向量，向量間距離（如 cosine 相似度）代表語意相近程度。用於 RAG 檢索、相似推薦、去重、聚類與語義標引。選擇模型需兼顧語言覆蓋、向量維度與成本，並妥善做分塊與標註策略。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q3, B-Q13, C-Q7

A-Q9: 什麼是 Vector Database（向量資料庫）？

• A簡: 儲存與檢索向量資料，支援近似最近鄰搜尋與過濾以供 RAG 使用。
• A詳: 向量資料庫負責保存文本嵌入、提供 ANN 搜尋（如 HNSW）、支援 metadata 過濾、分區與更新。它是 RAG 的核心基礎，影響延遲、準確率與可擴充性。常見如 Azure Cognitive Search、Pinecone、FAISS、Qdrant 等。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q2, B-Q13, C-Q7

A-Q10: 什麼是 Skills/Plugins（技能/外掛）？

• A簡: 將系統能力以函式含參數描述，讓模型能選擇並調用完成任務。
• A詳: Skill/Plugin 是能被模型理解與使用的可調用功能集合，包括函式名稱、描述、參數與回傳格式。模型透過 Function Calling 選用合適技能並提供參數，完成查詢、下單、估價等任務。品質取決於定義清晰與語義對齊程度，重在精而非多。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q11, B-Q4, B-Q5

A-Q11: 什麼是 Function Calling？

• A簡: 模型以工具呼叫形式輸出函式名稱與參數，系統執行後回饋結果。
• A詳: Function Calling 是讓模型以結構化格式（如 JSON）提出「要呼叫的函式與參數」，由宿主系統執行並將結果作為新上下文回饋模型，再由模型綜合回答或規劃下一步。它是從理解到行動的橋樑，實現對話驅動的自動化。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q4, B-Q5, C-Q6

A-Q12: 什麼是 Persona（角色設定）？

• A簡: 以系統提示定義模型的角色、口吻、職責與禁止事項，穩定行為。
• A詳: Persona 透過 System Prompt，界定模型「是誰、要做什麼、不該做什麼、輸出規範」，提升一致性。例如「助理店長」的人設可含 SOP/FAQ 與合規提醒。與使用者個人化偏好結合，可進一步優化體驗，但須注意隱私與漂移。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q4, B-Q9, C-Q3

A-Q13: 什麼是 Microsoft Semantic Kernel（SK）？

• A簡: 微軟開發的 AI 應用框架，統一模型、記憶與插件，簡化智能編排。
• A詳: SK 是跨語言的開發框架，抽象 LLM（Models）、記憶（Memories/RAG）、外掛（Plugins/Skills）與工作流（Orchestration/Planner）。它提供標註、註冊、調用與狀態管理機制，讓開發者更快把智能能力嵌入既有應用。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q5, B-Q18, C-Q2

A-Q14: 什麼是 Azure OpenAI？

• A簡: 在 Azure 雲上提供 OpenAI 模型服務，具企業級安全、治理與擴展能力。
• A詳: Azure OpenAI 提供 GPT 系列、Embedding 等模型的 API 託管，具企業身份、網路隔離、資料合規與配額治理。開發者可結合 Azure 生態（如 Cognitive Search、Functions）實現 RAG、Copilot 與代理型應用，兼顧可用性與安全性。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: C-Q1, C-Q10, B-Q10

A-Q15: 什麼是 ChatGPT 的 GPTs 與 Custom Actions？

• A簡: 使用者可打造專屬 GPT，並以 API Swagger 綁定外部行為能力。
• A詳: GPTs 允許用戶定義系統指令、知識與工具；Custom Actions 以 Swagger 描述 API，讓 GPT 能自動選擇並呼叫外部服務。適合原型與驗證，但在用量、延遲、用戶門檻等面仍受限，企業常轉向應用內嵌的框架實作。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q17, C-Q8, A-Q24

A-Q16: 什麼是 Assistants API？

• A簡: OpenAI 的多工具代理接口，封裝對話、檔案與工具調用流程。
• A詳: Assistants API 支援指令、對話、檔案知識與工具（代碼執行、外部函式）整合，簡化代理的狀態管理與多步工作。與 SK 類似，皆旨在降低智能應用的實作門檻；選用取決於生態整合、控制粒度與企業環境需求。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q5, B-Q8, A-Q13

A-Q17: 什麼是 Copilot（旁路助理）？

• A簡: 貼身觀察與提示的助理，不取代操作，強化效率與體驗。
• A詳: Copilot 在使用者進行任務時，根據上下文與規則即時給出建議、補全或警示，不強迫流程改變。特點是「低學習成本、不中斷、尊重人控」。成功案例如 GitHub Copilot；在商務場景可用於結帳前檢查、操作異常提醒等。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: B-Q7, C-Q5, A-Q23

A-Q18: Chatbot 與 Copilot 有何差異？

• A簡: Chatbot側重對話問答；Copilot嵌於操作流程，主動提供情境化建議。
• A詳: Chatbot 是被動問答，需用戶明確輸入問題；Copilot 則觀測使用歷程與上下文，在關鍵點主動建議或糾偏。前者偏客服與 FAQ，後者偏工作輔助與效率提升，對接點、資料來源與回饋節奏皆不同。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q17, B-Q7, A-Q5

A-Q19: RAG 與微調（Fine-tuning）差異？

• A簡: RAG用檢索擴知識，微調改模型參數；前者快靈活，後者針對性強。
• A詳: RAG 不改模型權重，以檢索外部知識提升準確度，成本低、易更新、可控性高；微調則針對特定風格或格式一致性進行權重調整，適合大量標準化任務。實務常先用 RAG，成熟後再評估微調投資。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q2, B-Q13, C-Q7

A-Q20: Function Calling、Webhook、RPC 差異？

• A簡: Function Calling由模型選函式；Webhook事件回調；RPC直接遠端呼叫。
• A詳: Function Calling 是由模型輸出結構化工具調用；Webhook 為事件驅動，伺服端通知客戶端；RPC 由客戶端直接呼叫遠端函式。Function Calling 是語義驅動的「選擇與參數生成」，與傳統開發的關係更像「意圖到行動」的橋樑。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q11, B-Q4, B-Q17

A-Q21: SK Plugins 與 ChatGPT Plugins/Swagger 差異？

• A簡: SK以程式標註註冊函式；ChatGPT以Swagger綁定 API，自動工具化。
• A詳: SK 插件用屬性標註（如 [KernelFunction]）註冊函式，語義來自描述；ChatGPT Plugins/Custom Actions 則由 Swagger 定義 API 與參數語義。兩者皆讓模型理解工具能力，但部署邊界、控制粒度與宿主環境差異明顯。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q5, B-Q17, C-Q2

A-Q22: 為何在關鍵環節做 AI 風險評估？

• A簡: 讓模型以常識與上下文檢查風險，補足規則無法涵蓋的情境。
• A詳: 規則檢查偏硬式，對語意與模糊情境表現有限。引入 LLM 可用常識與脈絡推理補位，例如未成年觸法、咖啡因/糖份攝取、預算策略等，於結帳等關鍵點提示或阻擋，提升安全與體驗。可與 FAQ/RAG 結合強化準確性。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: C-Q4, B-Q7, A-Q7

A-Q23: 為何 Copilot 的「不中斷」設計重要？

• A簡: 不改變用戶習慣，降低學習成本，維持流暢並提升採用率。
• A詳: Copilot 以旁路提示配合現有流程，避免強制切換或阻塞，能在使用者原有心智模型中增益。這提高可用性、減少反感與培訓成本，亦利於逐步擴展 AI 覆蓋區域，是邁向自治代理前的關鍵過渡形態。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q17, B-Q7, C-Q5

A-Q24: 為何全對話式操作短期不會成主流？

• A簡: 受限延遲、成本與一致性；需成熟工具鏈與治理配套。
• A詳: 對話代理在延遲、成本、錯誤可控性與企業治理上仍有挑戰；此外，多數任務仍需精確、快速與確定性強的流程。短期較可行是混合式：人控主流程，代理負責規劃與工具使用，逐步遷移高價值環節。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q5, B-Q16, D-Q7

A-Q25: 智慧化的四個演進階段是什麼？

• A簡: 標準操作、關鍵風險評估、全程輔助（Copilot）、全對話式代理。
• A詳: 1) 傳統操作；2) 在結帳等關鍵點做 AI 風險評估與提醒；3) Copilot 旁路監聽操作並即時建議；4) 代理能讀取意圖，自主調用多個工具完成任務。由易到難、風險可控逐步擴展，符合組織導入節奏。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q5, C-Q4, C-Q8

A-Q26: 為何技能數量「不在多而在精」？

• A簡: 技能過多增加選擇噪音；語義清晰與對齊更能提升命中率。
• A詳: 模型需在多工具中挑選，技能越多誤選風險越高。應聚焦高頻、高價值、語義清晰的能力，並以良好描述、參數約束與範例輔助。過度暴露低質工具，會降低整體智慧表現與穩定性。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q5, C-Q2, D-Q4

A-Q27: 什麼是 Planner（任務規劃器）？

• A簡: 將意圖拆成多步技能調用與順序，負責工作流編排與上下文傳遞。
• A詳: Planner 接收高層目標，分析依賴關係，生成一系列工具調用步驟與參數，並在執行中根據回傳結果調整計畫。它是從「說話」到「做事」的中樞，常見於 SK 或代理框架中，幫助處理多步任務與分解。
• 難度: 中級
• 學習階段: 進階
• 關聯概念: B-Q19, B-Q8, C-Q8

A-Q28: 為何 LLM 不可預測但仍可用？

• A簡: 如人類助理，容忍小幅偏差；以結構化護欄降低風險。
• A詳: LLM 受隨機性與脈絡影響，行為難完全一致。但可透過提示規則、工具限制、RAG 證據、格式驗證與人審關卡降低風險。將其視為「高潛但需監督」的助理，組織流程可容忍偏差並持續優化。
• 難度: 初級
• 學習階段: 核心
• 關聯概念: B-Q11, D-Q2, D-Q9

A-Q29: 為何需重視 Token 成本與效能？

• A簡: Token 影響速度與費用；過長脈絡降低品質與一致性。
• A詳: 請求與脈絡越長，費用與延遲越高，且可能引入噪音使輸出不穩。需做脈絡裁剪、檢索前濾、壓縮摘要與格式優化。也應監控 Token 使用，做成本預算與 AB 測試，平衡品質與效益。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q10, C-Q9, D-Q8

A-Q30: 開發者角色將如何變化？

• A簡: 由寫函式轉為設計提示、工具與流程；更重語義、治理與評估。
• A詳: 未來開發者將從純粹編碼轉向「意圖設計、工具定義、提示治理、資料索引與效能成本管理」。代碼量下降，但對領域建模、風險控制與人機體驗要求更高。Prompt 與 API 設計會成為核心競爭力。
• 難度: 初級
• 學習階段: 進階
• 關聯概念: A-Q4, B-Q20, C-Q9

Q&A 類別 B: 技術原理類

B-Q1: LLM + Chat History 如何運作？

• A簡: 將過往訊息附加到請求中，讓模型持續理解上下文並維持狀態感。
• A詳: 技術原理說明：LLM 本身無狀態，透過將 System/User/Assistant 歷史訊息一同提交，讓模型在單次推理時可「看到」過去對話並延續脈絡。關鍵步驟或流程：收集必要對話→裁剪與壓縮→附加角色訊息→請求模型。核心組件介紹：對話緩存、脈絡管理（含 Token 控制）、提示模板。應注意隱私與長度限制。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q6, B-Q10, D-Q5

B-Q2: RAG 的執行流程為何？

• A簡: 嵌入查詢→向量檢索→拿回片段→與提示合併→模型生成回答。
• A詳: 技術原理說明：以 Embedding 將查詢轉向量，於向量庫做 ANN 搜尋與過濾，取得高相似文本作為證據。關鍵步驟或流程：文本分塊與標註→建立嵌入→索引→查詢嵌入→相似度搜尋→重排序→組裝提示→生成。核心組件介紹：Embedding 模型、Vector DB（HNSW/IVF）、檢索器、重排序器與提示模板。重點是證據可解釋與可更新。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q7, A-Q9, C-Q7

B-Q3: Embedding 相似度搜尋的機制是什麼？

• A簡: 用高維向量表示語意，透過距離度量找最相近文本片段。
• A詳: 技術原理說明：文本經 Embedding 映射為向量，使用 cosine 相似度或內積衡量接近程度。關鍵步驟或流程：文本預處理→Chunk→Embedding→索引建立（HNSW）→查詢向量→近似最近鄰搜尋→回傳候選。核心組件介紹：Embedding 模型、索引算法（HNSW/IVF）、向量資料庫。需搭配 metadata 過濾與重排序改善質量。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q8, B-Q2, C-Q7

B-Q4: Function Calling 背後的機制是什麼？

• A簡: 模型輸出工具呼叫指令（函式名+參數），宿主執行並回餵結果。
• A詳: 技術原理說明：模型在工具可用情境下，生成結構化的函式調用描述（多為 JSON），由應用程式解析並執行。關鍵步驟或流程：工具宣告（schema/描述）→模型選擇工具→輸出參數→宿主執行→回餵結果→模型總結。核心組件介紹：工具描述（OpenAPI/JSON Schema）、執行器、回饋管道與錯誤處理。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q11, B-Q5, C-Q6

B-Q5: Semantic Kernel 如何讓模型使用 Plugins？

• A簡: 以屬性與描述註冊函式，Kernel 解析後暴露給模型選用。
• A詳: 技術原理說明：SK 以 [KernelFunction]/描述註釋方法，將其註冊為可調用插件，並管理生命週期與上下文。關鍵步驟或流程：定義方法與描述→註冊到 Kernel→提供給 ChatCompletion→模型選擇→Host 執行→回饋。核心組件介紹：Kernel、Plugins、Connectors、記憶與狀態管理。描述品質決定工具可發現性與正確性。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q13, A-Q21, C-Q2

B-Q6: 使用 SK 進行 Function Call 的流程？

• A簡: 註冊插件→組裝提示→呼叫聊天→處理工具呼叫→執行回傳→總結。
• A詳: 技術原理說明：SK 將模型回應中的工具呼叫封裝，並提供執行與回餵機制。關鍵步驟或流程：AddFromType 註冊→System/User Prompt→Invoke Chat→解析 tool calls→執行方法→將結果加入對話→再次生成。核心組件介紹：Kernel、ChatCompletion、FunctionCall Handler、上下文緩存。需加上錯誤重試與日誌。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: C-Q2, C-Q6, D-Q3

B-Q7: Copilot 監聽與提示的技術架構？

• A簡: 將用戶操作摘要成訊息，觸發規則與模型評估，回饋 HINT/OK。
• A詳: 技術原理說明：收集使用者操作事件，轉為語義訊息餵入模型，由系統提示定義檢查規則（如重複操作、空購物車）。關鍵步驟或流程：事件捕捉→語義摘要→提示模板→模型判斷→HINT/OK→UI 呈現。核心組件介紹：事件匯流排、提示模板、ChatCompletion、UI通知通道與節流。需做去噪與節流控制。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q17, C-Q5, D-Q2

B-Q8: 從對話到 API Orchestration 的流程？

• A簡: 解析目標→拆解步驟→選工具→參數生成→執行→回饋循環。
• A詳: 技術原理說明：代理將自然語言轉為可執行計畫，並在每步使用工具回饋更新狀態。關鍵步驟或流程：意圖識別→任務分解→工具選擇→參數填充→執行→觀察結果→迭代或總結。核心組件介紹：Planner、工具抽象、上下文存取、錯誤恢復與審計。確保可觀測性與可控性至關重要。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: A-Q27, C-Q8, D-Q3

B-Q9: Persona/Instruction 如何影響模型行為？

• A簡: 定義身分、任務與限制，讓模型輸出穩定、一致、可依規執行。
• A詳: 技術原理說明：System Prompt 先驗約束模型的行為空間，使其符合職責與口吻。關鍵步驟或流程：定義人設→列明任務與 SOP→添加禁則→明確輸出格式→測試迭代。核心組件介紹：提示模板、SOP/FAQ 知識、格式驗證器。可結合 RAG 提升一致性與可解釋。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q12, C-Q3, C-Q4

B-Q10: Token 窗口、成本與效能的關係？

• A簡: 窗口越大越耗時費；需裁剪脈絡與壓縮以平衡品質成本。
• A詳: 技術原理說明：LLM 計算複雜度與 Token 數相關，窗口越大成本越高且延遲上升。關鍵步驟或流程：計算 Token→裁剪/摘要歷史→分頁檢索→動態上下文拼接→度量成本。核心組件介紹：Token 計算器、摘要器、檢索器、監控與預算器。需建立 SLO 與自動退化策略。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q29, C-Q9, D-Q8

B-Q11: 如何控制幻覺與安全風險？

• A簡: 用 RAG 提證、格式驗證、工具限定與人審關卡降低風險。
• A詳: 技術原理說明：幻覺源自模型補全，增加證據、限制自由度可緩解。關鍵步驟或流程：RAG 引證→明確禁止事項→工具白名單→校驗輸出格式/語義→敏感操作人審→日誌審計。核心組件介紹：政策過濾器、驗證器、審批流、審計管線。安全需與產品流程共同設計。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: D-Q9, A-Q22, C-Q8

B-Q12: 提示模板分層設計（System/User/Tool）？

• A簡: 區分職責，穩定約束模型，同時保留彈性與可維護性。
• A詳: 技術原理說明：System 固定規則與角色，User 承載需求與資料，Tool/Function 用於結構化指令。關鍵步驟或流程：抽離恆定規則→定義變數位→加入範例→驗證輸出→監控漂移。核心組件介紹：模板引擎、變數綁定、格式檢查與測試集。利於團隊協作與治理。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q4, C-Q3, C-Q4

B-Q13: 知識庫建置的關鍵（分塊與標註）？

• A簡: 適當分塊、加上 metadata 與權限，提升檢索準確與安全。
• A詳: 技術原理說明：合理 chunking 與 metadata（類別、版本、語言、權限）能提高召回與精準。關鍵步驟或流程：內容清洗→語義分塊→加標註→建立嵌入→索引→測試查詢→監控漂移。核心組件介紹：ETL 管線、Embedding、Vector DB、權限控制。避免巨塊與重複。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q7, A-Q9, C-Q7

B-Q14: OS-level Agent 構想的接入點？

• A簡: 由作業系統提供代理服務，應用以工具與資料接入共享能力。
• A詳: 技術原理說明：代理由 OS 提供統一模型、資料與工具管理，應用暴露功能與資料契約接入。關鍵步驟或流程：註冊工具→聲明權限→共享本地資料（行事曆/聯絡人）→代理調度→最終行動。核心組件介紹：權限/沙箱、資料聯邦、工具登錄、審計機制。利於一致體驗與隱私治理。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: A-Q12, A-Q24, B-Q11

B-Q15: 模型選型：雲端 GPT-4 vs 本地 LLaMA？

• A簡: GPT-4質量穩定、成本較高；本地模型可控低延遲但需運維調優。
• A詳: 技術原理說明：大型雲模型具廣泛能力與工具整合，本地模型在私域、安全與延遲上有優勢。關鍵步驟或流程：需求盤點→指標（正確率/延遲/成本/私密）→試點→觀測→混合部署。核心組件介紹：推理引擎、量化工具、負載調度與監控。可採混合策略分流。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: D-Q7, D-Q10, A-Q24

B-Q16: 從 Chatbot 到 Autonomous 的成熟度門檻？

• A簡: 需可靠工具鏈、規劃器、監管與可觀測，並控成本與風險。
• A詳: 技術原理說明：自治代理要求多步規劃、工具穩定、狀態一致與錯誤恢復。關鍵步驟或流程：定義目標/約束→工具穩定→規劃/重試→人機協作→審計回放。核心組件介紹：Planner、工具抽象、觀測/日誌、風控與人審。成熟度受資料、工具品質與流程治理制約。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: A-Q25, B-Q8, B-Q11

B-Q17: Swagger/JSON Schema 如何成為語義橋接？

• A簡: 用結構化描述讓模型理解 API 能力與參數，支持工具選擇。
• A詳: 技術原理說明：API 以 OpenAPI/JSON Schema 描述路徑、參數、型別與說明，提供語義輔助。關鍵步驟或流程：撰寫描述→附語義說明→模型讀取→匹配意圖→生成參數→調用。核心組件介紹：Schema、描述欄位、解析器與安全過濾。描述品質決定可發現性與正確率。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q21, C-Q6, D-Q3

B-Q18: SK 的 Memory（短期/長期）如何表徵？

• A簡: 短期為對話狀態；長期連接向量庫，存儲可檢索知識。
• A詳: 技術原理說明：短期記憶維持上下文；長期記憶透過 Connectors 連向量資料庫進行 RAG。關鍵步驟或流程：對話緩存→摘要與裁剪→知識嵌入→檢索合併。核心組件介紹：Memory Store、Connectors、Embedding、檢索器。支援多種後端與策略。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q1, B-Q2, C-Q7

B-Q19: Planner 的工作流與分解策略？

• A簡: 以意圖分解子任務，建立依賴順序並根據回饋調整。
• A詳: 技術原理說明：採用樹狀或鏈式推理，逐步生成可執行的工具序列。關鍵步驟或流程：目標→子任務→工具映射→依賴拓撲→執行觀測→重規劃。核心組件介紹：任務圖（DAG）、工具庫、回饋迭代、錯誤恢復與日誌回放。適用於多工具協作場景。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: A-Q27, B-Q8, C-Q8

B-Q20: 如何評估智慧化成效？

• A簡: 以準確率、採納率、延遲、成本與安全指標綜合評估。
• A詳: 技術原理說明：智能功能需兼顧可用性與效益。關鍵步驟或流程：定義 KPI（命中率、誤用率、操作節省）→埋點→離線/線上評測→AB 測試→成本監控→治理迭代。核心組件介紹：遙測、評測集、成本儀表板、風控警報。重視端到端觀測與回歸測試。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q29, C-Q9, D-Q8

Q&A 類別 C: 實作應用類（10題）

C-Q1: 如何用 SK 連接 Azure OpenAI（.NET/C#）？

• A簡: 以 Kernel 建立 ChatCompletion 連線，配置端點與金鑰即可呼叫模型。
• A詳:
  • 實作步驟: 1) 安裝 Microsoft.SemanticKernel 套件；2) 建 KernelBuilder；3) 加入 AzureOpenAI ChatCompletion；4) Build Kernel。
  • 程式碼片段: using Microsoft.SemanticKernel; var builder = Kernel.CreateBuilder() .AddAzureOpenAIChatCompletion(“gpt4”, “https://xxx.openai.azure.com/”, apikey); var kernel = builder.Build();
  • 注意事項: 金鑰與端點使用安全配置；選擇合適模型版本與配額；加入重試與超時。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q14, B-Q6, C-Q10

C-Q2: 如何在 SK 註冊 Plugins/Skills？

• A簡: 以 [KernelFunction] 註釋方法，加上 Description，並用 AddFromType 註冊。
• A詳:
  • 實作步驟: 1) 在方法上加 [KernelFunction] 與 [Description]；2) builder.Plugins.AddFromType(); 3) kernel.Build()。
  • 程式碼片段: [KernelFunction, Description(“列出商品”)] public static Product[] ListProducts() { … } builder.Plugins.AddFromType();
  • 注意事項: 描述語義清晰；參數與回傳型別明確；避免暴露危險功能；加日誌追蹤。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q10, B-Q5, D-Q4

C-Q3: 如何設計 System Prompt（店長 Persona）？

• A簡: 明確定義角色、任務、禁則與輸出規範，融入 SOP/FAQ 提升一致性。
• A詳:
  • 實作步驟: 1) 描述身分與任務；2) 列 SOP 檢查點；3) FAQ 常見陷阱；4) 明定回覆格式（如 OK/HINT）。
  • 片段範例: 你是安德魯小舖助理店長… 結帳前檢查項: 年齡/法規/健康/預算… 回覆規則: OK/HINT…
  • 最佳實踐: 條列化、少歧義；以 RAG 外掛 SOP；定期觀測並迭代。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q12, B-Q12, C-Q4

C-Q4: 如何實作「結帳前風險檢查」提示？

• A簡: 將購物車、金額、購買註記置入模板，要求嚴格回覆規則與建議。
• A詳:
  • 實作步驟: 1) 準備 Prompt 模板含購物車與註記；2) 明定回覆頭（OK/HINT）；3) 發送至 ChatCompletion。
  • 程式碼片段: var prompt = $@”我要進行結帳前確認… 清單:{items} 金額:{price} 註記:{note}”;
  • 注意事項: 輸出格式校驗；記錄提示與回覆；將風險知識以 RAG 提供。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q22, B-Q7, D-Q1

C-Q5: 如何實作「操作歷程 Copilot 提醒」？

• A簡: 將每次操作摘要成訊息送模型，HINT 才顯示；以規則+語意混合判定。
• A詳:
  • 實作步驟: 1) 收集操作事件→摘要；2) System Prompt 定義觀察規則；3) 傳送「我已進行操作:…」；4) 解析 OK/HINT。
  • 程式碼片段: var msg = $”我已進行操作: {op}”; var ans = await chat.InvokeAsync(msg);
  • 注意事項: 設置節流與去重；紀錄上下文；避免過度打擾。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q17, B-Q7, D-Q2

C-Q6: 如何讓模型調用購物功能（加入/移除/估價）？

• A簡: 以 KernelFunction 定義方法與參數說明，讓模型自選工具調用。
• A詳:
  • 實作步驟: 1) 定義函式與描述；2) 註冊插件；3) 在對話中提供可用工具；4) 處理工具呼叫回饋。
  • 程式碼片段: [KernelFunction, Description(“加入購物車”)] public static bool AddItem(int productId, int qty) { … }
  • 注意事項: 嚴格參數驗證；返回明確；記錄審計與錯誤。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q11, B-Q6, D-Q3

C-Q7: 如何整合 RAG（店長 SOP/FAQ）？

• A簡: 將 SOP/FAQ 分塊嵌入向量庫，查詢時檢索片段併入提示。
• A詳:
  • 實作步驟: 1) 收集 SOP/FAQ→清洗→分塊→Embedding→索引；2) 查詢前先檢索；3) 合併證據至提示。
  • 程式碼片段: var hits = vector.Search(embed(query), topK, filters);
  • 注意事項: 標註更新與版本；權限控制；避免過長脈絡。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q7, B-Q13, D-Q6

C-Q8: 如何實作「對話式購物編排」？

• A簡: 解析需求→規劃多步工具→執行→回饋確認→結帳與致謝。
• A詳:
  • 實作步驟: 1) 收入自然語言需求；2) 列商品→加入→估價→補貨→列購物車；3) 回傳總結並請確認；4) 結帳。
  • 程式碼片段: // 模型輸出 tool calls: ListProducts→AddItem→Estimate→AddItem→ShowCart
  • 注意事項: 關鍵步驟人審；格式校驗；風險提示融合。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: A-Q25, B-Q8, B-Q19

C-Q9: 如何設計與測試 Prompt（A/B）？

• A簡: 以多版本模板實驗輸出品質、長度與成本，觀測指標迭代優化。
• A詳:
  • 實作步驟: 1) 設計多個模板變體；2) 建測試集；3) 線下評分/線上 AB；4) 監控 Token 與延遲；5) 迭代。
  • 程式碼片段: var promptA = “…”; var promptB = “…”; // 隨機分流
  • 注意事項: 指標含命中率、一致性、成本；保留日誌以回放分析。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q10, B-Q20, D-Q8

C-Q10: 如何部署與保護金鑰（Azure OpenAI）？

• A簡: 使用安全儲存與受管身分，最小權限與速率限制，監控配額。
• A詳:
  • 實作步驟: 1) 將金鑰放 Key Vault；2) App 使用受管身分存取；3) 設定 VNET/防火牆；4) 速率限制與重試；5) 監控配額。
  • 設定片段: // 以環境變數/受管身分取用 KeyVault 機密
  • 注意事項: 不在程式庫硬編金鑰；最小權限；審計與輪替策略。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q14, B-Q10, D-Q8

Q&A 類別 D: 問題解決類（10題）

D-Q1: 模型不遵循「OK/HINT」格式怎麼辦？

• A簡: 症狀：回覆混雜。用更嚴格提示、格式校驗與重試機制修正。
• A詳:
  • 症狀描述: 回覆未以 OK/HINT 開頭，或含多餘內容。
  • 可能原因: 提示不夠嚴格、脈絡過長干擾、溫度過高。
  • 解決步驟: 強化輸出規則（示例+正則描述）；加入格式驗證器；失敗時自動重試附帶糾偏提示；降低溫度。
  • 預防措施: 建單元測試與線上監控；維持短脈絡；提供失敗範例的反例學習。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: C-Q4, B-Q12, B-Q10

D-Q2: LLM 回覆不一致或隨機波動怎麼辦？

• A簡: 症狀：同問不同答。控溫度、固定範例、縮脈絡、加規則可穩定。
• A詳:
  • 症狀描述: 相同輸入輸出不同建議或時有時無。
  • 可能原因: 生成隨機性、上下文噪聲、提示含糊。
  • 解決步驟: 降低溫度/TopP；增加 few-shot 範例；裁剪歷史；明確規則；對關鍵輸出做驗證。
  • 預防措施: 建立回歸測試；觀測分佈；設人審關卡處理高風險場景。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q7, A-Q28, C-Q5

D-Q3: Function Call 參數錯誤或遺漏如何處理？

• A簡: 症狀：參數型別/必填錯。加 schema 驗證、糾偏提示與重試。
• A詳:
  • 症狀描述: 工具被調用但參數缺失或型別不符。
  • 可能原因: 描述不清、範例不足、模型誤判。
  • 解決步驟: 加嚴參數描述；加入 schema 驗證器；錯誤時回饋必要資訊再讓模型重組參數；提供示例。
  • 預防措施: 以 OpenAPI/JSON Schema 定義；收斂工具數量；落實審計與測試。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q4, B-Q17, C-Q6

D-Q4: 插件（技能）未被觸發的原因？

• A簡: 症狀：模型不選工具。改善描述、語義對齊與工具取捨。
• A詳:
  • 症狀描述: 明顯可用工具未被選用。
  • 可能原因: 工具說明不清、同義詞不匹配、工具過多造成噪音。
  • 解決步驟: 改善描述語義；加入範例；減少工具或分組；提升關鍵工具權重。
  • 預防措施: 定期語義檢查；AB 測試工具集；監控選用率與誤拒率。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q26, B-Q5, C-Q2

D-Q5: Token 超限被截斷怎麼診斷與修正？

• A簡: 症狀：回覆缺尾。裁剪歷史、摘要、RAG TopK 調整、壓縮格式。
• A詳:
  • 症狀描述: 回覆中斷或語義不完整。
  • 可能原因: 脈絡過長、TopK 過大、格式冗餘。
  • 解決步驟: 減少對話歷史；做摘要；降低檢索片段；壓縮 JSON；使用更大窗口模型。
  • 預防措施: 事前估算 Token；設保護閾值；動態脈絡管理與預算控制。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q1, B-Q10, C-Q9

D-Q6: RAG 檢索不相關內容的原因？

• A簡: 症狀：離題片段。調整 chunk、embedding、過濾與重排序。
• A詳:
  • 症狀描述: 檢索回來的證據無助於回答。
  • 可能原因: 分塊策略不佳、嵌入模型不適配、缺 metadata。
  • 解決步驟: 調整 chunk 大小與重疊；更換/微調 Embedding；加 metadata 過濾；使用重排序器。
  • 預防措施: 建立評測集；監控查詢品質；持續資料治理。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q2, B-Q13, C-Q7

D-Q7: 回應延遲過高怎麼辦？

• A簡: 症狀：等待久。優化脈絡、並行檢索、快取與模型分流。
• A詳:
  • 症狀描述: 使用者感受卡頓，對話流暢度差。
  • 可能原因: Token 過多、RAG 檢索慢、模型太大。
  • 解決步驟: 脈絡裁剪與摘要；非阻塞檢索；快取熱門片段；小模型預判+大模型精修；分階段回覆。
  • 預防措施: 設 SLO 與退化策略；優化向量索引；容量規劃與預熱。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q10, B-Q15, A-Q24

D-Q8: 成本飆高如何控制？

• A簡: 症狀：帳單上升。縮 Token、分層模型、快取與 AB 監控。
• A詳:
  • 症狀描述: 使用成本超出預期。
  • 可能原因: 脈絡冗長、模型過大、重試過多。
  • 解決步驟: 壓縮提示；小模型先行，關鍵用大模型；搜尋+RAG 先過濾；強化重試策略與快取。
  • 預防措施: 預算監控儀表；AB 測試成本/品質；配額與告警。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q10, B-Q20, C-Q9

D-Q9: 如何降低安全風險與越權行為？

• A簡: 症狀：誤觸敏感功能。白名單、沙箱、人審與審計強化。
• A詳:
  • 症狀描述: 模型試圖調用敏感或越權工具。
  • 可能原因: 提示不嚴、工具暴露過度、缺審計。
  • 解決步驟: 工具白名單與權限驗證；敏感操作需人審；輸出/輸入過濾；審計與回放。
  • 預防措施: 最小權限設計；政策與紅隊演練；風險場景清單化。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: B-Q11, B-Q14, C-Q10

D-Q10: 本地與雲端模型相容性問題怎麼解？

• A簡: 症狀：切換失敗。抽象接口、容器化與回退策略減風險。
• A詳:
  • 症狀描述: 更換模型或環境導致功能失靈。
  • 可能原因: API 差異、運算資源不足、量化影響品質。
  • 解決步驟: 抽象模型層；容器化部署；建立回退至雲端；對關鍵任務做質量基線檢測。
  • 預防措施: 混合部署策略；壓力與回歸測試；持續監測品質漂移。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: B-Q15, B-Q20, A-Q24

學習路徑索引

• 初學者：建議先學習哪 15 題
  • A-Q1: 什麼是「應用程式智慧化」？
  • A-Q2: 什麼是 LLM（大型語言模型）？
  • A-Q3: 為何把 LLM 當「人」來溝通？
  • A-Q4: 什麼是 Prompt Engineering（提示工程）？
  • A-Q5: Chatbot、RAG、Copilot、Autonomous 有何差異？
  • A-Q6: 什麼是 Chat History（短期記憶）？
  • A-Q7: 什麼是 RAG（擷取增強生成）？
  • A-Q10: 什麼是 Skills/Plugins（技能/外掛）？
  • A-Q11: 什麼是 Function Calling？
  • A-Q12: 什麼是 Persona（角色設定）？
  • A-Q13: 什麼是 Microsoft Semantic Kernel（SK）？
  • A-Q14: 什麼是 Azure OpenAI？
  • A-Q17: 什麼是 Copilot（旁路助理）？
  • A-Q22: 為何在關鍵環節做 AI 風險評估？
  • C-Q1: 如何用 SK 連接 Azure OpenAI（.NET/C#）？
• 中級者：建議學習哪 20 題
  • B-Q1: LLM + Chat History 如何運作？
  • B-Q2: RAG 的執行流程為何？
  • B-Q3: Embedding 相似度搜尋的機制是什麼？
  • B-Q4: Function Calling 背後的機制是什麼？
  • B-Q5: Semantic Kernel 如何讓模型使用 Plugins？
  • B-Q6: 使用 SK 進行 Function Call 的流程？
  • B-Q7: Copilot 監聽與提示的技術架構？
  • B-Q10: Token 窗口、成本與效能的關係？
  • B-Q12: 提示模板分層設計（System/User/Tool）？
  • B-Q13: 知識庫建置的關鍵（分塊與標註）？
  • C-Q2: 如何在 SK 註冊 Plugins/Skills？
  • C-Q3: 如何設計 System Prompt（店長 Persona）？
  • C-Q4: 如何實作「結帳前風險檢查」提示？
  • C-Q5: 如何實作「操作歷程 Copilot 提醒」？
  • C-Q6: 如何讓模型調用購物功能？
  • C-Q7: 如何整合 RAG（店長 SOP/FAQ）？
  • C-Q9: 如何設計與測試 Prompt（A/B）？
  • D-Q1: 模型不遵循「OK/HINT」格式怎麼辦？
  • D-Q3: Function Call 參數錯誤或遺漏如何處理？
  • D-Q5: Token 超限被截斷怎麼診斷與修正？
• 高級者：建議關注哪 15 題
  • B-Q8: 從對話到 API Orchestration 的流程？
  • B-Q11: 如何控制幻覺與安全風險？
  • B-Q14: OS-level Agent 構想的接入點？
  • B-Q15: 模型選型：雲端 GPT-4 vs 本地 LLaMA？
  • B-Q16: 從 Chatbot 到 Autonomous 的成熟度門檻？
  • B-Q19: Planner 的工作流與分解策略？
  • B-Q20: 如何評估智慧化成效？
  • A-Q24: 為何全對話式操作短期不會成主流？
  • A-Q26: 為何技能數量「不在多而在精」？
  • A-Q27: 什麼是 Planner（任務規劃器）？
  • C-Q8: 如何實作「對話式購物編排」？
  • C-Q10: 如何部署與保護金鑰（Azure OpenAI）？
  • D-Q7: 回應延遲過高怎麼辦？
  • D-Q8: 成本飆高如何控制？
  • D-Q9: 如何降低安全風險與越權行為？