DevOpsDays Taipei 2025 - 從 Prompt 到 Product

問題與答案 (FAQ)

Q&A 類別 A: 概念理解類

A-Q1: 什麼是 DevOpsDays？

• A簡: DevOpsDays 是社群驅動的實務交流活動，推動開發與運維協作與文化。
• A詳: DevOpsDays 是全球分散的技術社群活動，聚焦開發與運維的協作文化、工具與流程改進。議程包含演講與開放空間，強調分享實戰經驗、失敗教訓與最佳實踐。其核心價值在於跨角色共創，提升交付速度與品質，並推動持續學習。台北場聚焦雲原生、平台工程、SRE、AI 產品化等現下重點，幫助參與者建立網絡、反思流程與導入新方法。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q2, A-Q3, B-Q1

A-Q2: 「從 Prompt 到 Product」是什麼？

• A簡: 指將原型級提示方案轉化為可維運的產品級能力與體驗。
• A詳: 「從 Prompt 到 Product」描述把基於提示的快速原型（如 Chat、腳本）逐步工程化，成為穩定、安全、可量測、可迭代的產品能力。涵蓋架構設計、資料與模型治理、評估體系、成本與風險控制、上線與運維機制。重點在從靈感與實驗走向價值交付，包括定義需求、設計流程、控管版本、建立監測與回饋，確保可持續、可擴展且貼近使用者場景。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q6, B-Q1, C-Q1

A-Q3: 為什麼企業需要從 Prompt 到 Product？

• A簡: 為將試驗性 AI 能力沉澱為可靠價值，縮短交付與迭代週期。
• A詳: 僅靠臨時 Prompt 原型，難以保證一致性、可維護性與合規。企業從 Prompt 到 Product，是為了把創意驗證轉化為可運營的能力，降低風險與成本，提升可靠性與性能，並建立可量測的商業指標（如留存、轉換、效率）。同時在跨部門協作下，導入版本控管、評估框架、監控與迭代機制，實現持續交付，讓 AI 能力能穩定服務真實使用者場景。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q7, A-Q19, B-Q1

A-Q4: 什麼是 Prompt Engineering？

• A簡: 設計、測試、優化提示，以控制模型行為與提升輸出品質。
• A詳: Prompt Engineering 是針對大語言模型設計指令、上下文與約束條件的技巧，常見方法包含角色指定、分步推理、格式約束、少量示例（few-shot）、工具使用提示等。目標是穩定模型輸出、降低幻覺、提升精確度與一致性。產品化階段要搭配版本控管、評估與監測，並在不同場景中重用與變形提示，形成可維護的提示資產與模板庫。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q16, B-Q3, C-Q2

A-Q5: DevOps、MLOps、LLMOps 的差異？

• A簡: DevOps管交付協作；MLOps管模型生命周期；LLMOps專注LLM特性與運維。
• A詳: DevOps 促進開發與運維協作、自動化與可觀測性。MLOps 擴充到資料、特徵、模型訓練與部署、監測與漂移治理。LLMOps 在 MLOps 基礎上，掌握 LLM 的提示管理、RAG、評估指標（如答題正確、毒性）、成本與延遲、快取與路由、內容安全、提示注入防護。三者相互補充，支撐從原型到產品的全鏈路工程化與運營。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q1, B-Q8, C-Q6

A-Q6: 原型（Prototype）與產品（Product）的差異？

• A簡: 原型偏驗證與速度；產品重可靠性、維運、合規與可擴展。
• A詳: 原型強調快速驗證概念與可行性，容忍手工流程、臨時資料與不穩定行為。產品則要求穩定、安全、可監測、可回滾、版本化與合規，並能規模化服務使用者。AI 領域特別需要資料治理、提示管理、評估框架、性能與成本觀測、內容安全、可追溯等機制，確保從創意到可持續價值的轉化。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q2, B-Q1, C-Q4

A-Q7: 什麼是 AI 產品化（Productization）？

• A簡: 把 AI 技術轉為可持續交付、可營運、可量測的產品能力。
• A詳: AI 產品化涵蓋從需求到上線的端到端工程化：定義價值與指標、設計架構與資料流程、挑選與管理模型、建立評估與監測、導入安全與合規、佈署與運維、迭代優化。相較技術驗證，產品化強調一致性、效能與成本平衡、風險控制與用戶體驗，並以實證數據驅動決策與改善。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q1, A-Q19, D-Q3

A-Q8: AI 產品的核心價值是什麼？

• A簡: 可用、可靠、可量測的使用者價值，並能持續迭代與擴展。
• A詳: 核心價值在於解決真實問題、提升體驗或效率，且能穩定運作、可量測成果。包括準確性、即時性、成本效益、安全與合規、可維護性與擴展性。為此需導入評估指標（質量、延遲、成本）、人機協作流程、風險治理與良好可觀測性，確保每次改動都能被量化、驗證與回滾。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q3, A-Q20, B-Q5

A-Q9: 什麼是 RAG（檢索增強生成）？

• A簡: 以檢索外部知識補足模型上下文，提升準確性與可控性。
• A詳: RAG 透過向量化內容建立索引，查詢時先檢索相關片段，再把結果與問題一起餵給模型生成答案。優點是降低幻覺、可更新知識、控制來源與可追溯。關鍵包括抽取切片、嵌入、索引、檢索策略、重排序與回答拼接。RAG 是從 Prompt 到 Product 常見路徑，能以資料治理與版本化支撐持續迭代。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q2, C-Q1, D-Q1

A-Q10: 什麼是 LLM 評估（Eval Harness）？

• A簡: 以標準化測試集與指標量測模型與提示的品質與穩定性。
• A詳: 評估套件包含測試案例、答案規範、比對方法（規則或模型判分）、與報表。指標可含正確率、覆蓋率、毒性、安全性、格式遵循、延遲與成本。離線評估支援迭代與回歸檢測，線上評估收集真實用戶數據。產品化必備評估體系，用於保護品質、支援 A/B 與金絲雀釋出。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q5, C-Q4, D-Q10

A-Q11: 什麼是 Guardrails 與安全策略？

• A簡: 對輸入輸出施加規則與過濾，防止濫用、注入與不當內容。
• A詳: Guardrails 是在 LLM 管線各環節設定策略與檢查，涵蓋輸入清洗、指令隔離、工具白名單、輸出格式驗證、內容審查與敏感資訊遮罩。目標是降低攻擊面、確保合規與風險可控。策略需版本化與可觀測，以便迭代與回溯。常搭配提示設計、RAG、權限控管與隔離執行環境。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q6, C-Q8, D-Q4

A-Q12: 什麼是 AI 可觀測性（Observability）？

• A簡: 觀測與追蹤品質、延遲、成本與安全事件，支持診斷與改善。
• A詳: AI 可觀測性涵蓋指標、日誌、追蹤與事件。核心監測包括回應品質、錯誤率、延遲分佈、Token 成本、模型與提示版本、資料來源、風險事件與用戶回饋。它支持定位瓶頸、量化改動效果、快速回滾與持續優化。需與評估套件、部署策略、告警與看板整合。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q8, C-Q6, D-Q2

A-Q13: 為何需要人機協作（Human-in-the-loop）？

• A簡: 在關鍵環節引入人工審核與回饋，提升可靠性與學習效率。
• A詳: 人機協作讓人類在高風險或模糊場景介入：審核輸出、標註資料、修正錯誤、定義規則、確認政策例外。它提升安全與合規，並提供高品質回饋用於微調提示或模型。系統需設計審核隊列、權限、審核標準與回饋閉環，確保可持續改善與責任歸屬。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: B-Q5, C-Q4, D-Q1

A-Q14: 什麼是模型生命週期管理（Model Lifecycle）？

• A簡: 覆蓋模型選型、訓練、部署、監測、迭代與退場的全流程。
• A詳: 模型生命週期包含需求對齊、資料準備、訓練與選型、評估與驗收、部署與監測、漂移檢測與再訓練、版本與變更管理、退場與備援。LLM 場景還需管理提示與 RAG 索引，確保一致性與追溯。良好生命周期管理支撐穩定交付與合規。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q1, B-Q5, D-Q5

A-Q15: 什麼是資料治理（Data Governance）？

• A簡: 規範資料品質、來源、權限、合規與生命周期的管理制度。
• A詳: 資料治理涵蓋資料目錄與血緣、品質標準、存取控制、合規審計、保留與刪除政策。RAG 與微調需嚴格來源標記與授權範圍，避免外洩與侵權。治理機制與監測、審計結合，確保產品可追溯與合規，並支援風險處理與問責。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q11, C-Q8, D-Q9

A-Q16: 什麼是 Prompt 版本控管？

• A簡: 以版本標記與變更紀錄管理提示模板與配置演進。
• A詳: Prompt 版本控管將模板、變數與策略以文件化（如 YAML）管理，透過 Git 追蹤變更、審核與回滾，並與模型、資料與索引版本關聯。它支援 A/B 測試、金絲雀釋出與回歸評估，確保改動可驗證且可追溯。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: B-Q3, C-Q2, D-Q6

A-Q17: 什麼是 A/B 測試於 AI 功能？

• A簡: 將兩種版本併行比較，統計驗證哪個更優且可推廣。
• A詳: A/B 測試在受控條件下比較不同提示、模型或策略，量測品質、轉換、延遲與成本。需設計隨機分配、樣本量、顯著性與止損規則，並控制變因一致。結果指導決策與配置更新，與金絲雀釋出與評估套件協同。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q10, C-Q4, D-Q10

A-Q18: 什麼是功能旗標（Feature Flag）？

• A簡: 以配置切換功能開關，支持按環境、用戶或比例逐步釋出。
• A詳: 功能旗標將部署與發佈解耦，允許針對群組或比例啟閉功能，快速回滾與試驗。AI 功能可用旗標控制提示版本、模型路由、RAG 開啟、輸出格式等。與監測、A/B 與金絲雀配合，降低風險、提升迭代速度。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: B-Q9, C-Q3, D-Q3

A-Q19: 為什麼要做成本治理與效益衡量？

• A簡: 使 AI 投入可控且可證明價值，支持持續投資與優化。
• A詳: LLM 成本涉及推理費率、上下文長度、快取命中率、失敗重試與供應商差異。治理需要指標與看板、預算與告警、路由與降級策略。效益衡量以業務與體驗指標評估投資回報，驅動策略與優化決策。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q8, C-Q6, D-Q3

A-Q20: 從 Prompt 到 Product 的常見風險？

• A簡: 幻覺、注入、資料外洩、成本失控、不可追溯與測不準。
• A詳: 風險包括幻覺與錯誤輸出、提示注入與越權、敏感資料外洩、供應商依賴與成本暴增、版本與評估缺失導致不可追溯與測不準。緩解需 RAG、Guardrails、審計、可觀測性、版本控管、A/B 與金絲雀、回滾策略與人機協作。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: D-Q1, D-Q3, D-Q4

Q&A 類別 B: 技術原理類

B-Q1: 從 Prompt 到 Product 的管線如何運作？

• A簡: 需求到上線的端到端流程：設計、評估、部署、監測與迭代。
• A詳: 原理是以可復現的管線串接：需求與指標定義→資料與知識準備→提示模板與配置→離線評估與回歸→金絲雀與旗標部署→線上監測與告警→迭代與回滾。核心組件含版本庫、評估套件、模型服務、向量資料庫、觀測與報表、風險與合規層。關鍵步驟是把每次改動變成可驗證的變更，縮短實驗到上線的距離。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q2, C-Q4, D-Q6

B-Q2: RAG 的執行流程為何？

• A簡: 內容切片→嵌入建索引→檢索重排→拼接上下文→生成與後處理。
• A詳: 技術原理是把文檔切片（chunking），透過嵌入模型生成向量，建立索引（如 HNSW）。執行時用查詢嵌入近鄰檢索，可能重排序（BM25+向量或 reranker），將片段與問題拼接成提示，送入 LLM 生成。核心組件包含嵌入服務、向量庫、檢索器、重排器、提示組裝器、後處理器（格式驗證、引用）。流程需版本與來源追溯，保障一致性。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q9, C-Q1, D-Q1

B-Q3: Prompt 模板化與變數替換的機制？

• A簡: 用模板語言管理固定結構，以變數注入動態內容與策略。
• A詳: 模板化將角色、指示、格式、示例抽象為固定骨架，用變數注入用戶輸入、檢索片段、政策與參數。可用 YAML/JSON 與渲染器（如 Jinja）生成最終提示。核心組件包括模板庫、版本控管、渲染與驗證器。流程：選模板→注入變數→渲染→規則校驗→送模型。支持 A/B 與回滾。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q16, C-Q2, D-Q6

B-Q4: AI 微服務架構如何設計？

• A簡: 分層解耦：API 層、推理層、資料檢索層、評估與觀測層。
• A詳: 架構由 API Gateway（認證、配額）、Orchestrator（路由與策略）、Inference（模型服務器）、Retrieval（向量庫/搜索）、Cache 層、Guardrails（驗證/審查）、Eval（線上評估）、Observability（指標/追蹤）。流程是請求進入→策略決定→檢索與生成→後處理→回傳與記錄。組件解耦便於獨立擴展與故障隔離。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q12, C-Q7, D-Q2

B-Q5: 線上／離線評估機制是什麼？

• A簡: 離線回歸保護品質；線上收集真實表現與風險事件。
• A詳: 離線評估以固定測試集與指標跑回歸，確保改動不退步；線上評估收集用戶交互、標記品質、延遲、成本與安全事件。流程：定義指標→建測試集→離線跑分→設門檻→金絲雀上線→線上監測→匯總報表。核心組件含評估服務、資料管道、看板與告警。兩者互補，支撐持續迭代。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q10, C-Q4, D-Q10

B-Q6: Guardrails 的技術原理與流程？

• A簡: 在輸入與輸出設檢查點，應用規則與模型過濾確保安全。
• A詳: 原理包含語法/格式驗證、黑白名單、策略匹配、敏感/毒性檢測（規則或分類模型）、工具執行隔離、沙盒與速率限制。流程：輸入清洗→策略評估→允許或拒絕→生成→輸出檢測→遮罩或攔截→記錄與告警。核心組件為策略引擎、審查服務、審計與報表，需可配置與版本化。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q11, C-Q8, D-Q4

B-Q7: Prompt Injection 防護機制？

• A簡: 隔離指令與資料、嚴格工具白名單、輸入清洗與策略檢測。
• A詳: Injection 常藉由覆寫系統提示或誘導工具濫用。防護包含：分離系統/工具/用戶提示通道；拒絕危險指令；限制工具功能與資源；對輸入做轉義與正則過濾；檢測敏感意圖；在 RAG 嵌入中移除惡意內容。流程與 Guardrails協同，並記錄事件供調整。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: A-Q11, D-Q4, C-Q8

B-Q8: 成本可觀測與 Token 計費如何運作？

• A簡: 收集 Token 與延遲指標，按模型費率與路由策略管理成本。
• A詳: 原理是記錄每次推理的 Prompt/Completion Token、延遲、錯誤與模型版本，按供應商費率計算成本，分維度匯總。組件包括遙測代理、計費服務、看板與告警。流程：請求→計量→匯報→告警（超閾）→策略調整（路由/快取/降級）。支持成本預算、預測與優化。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q19, C-Q6, D-Q3

B-Q9: 功能旗標與金絲雀釋出如何協同？

• A簡: 用旗標控制流量比例與版本切換，金絲雀先小量再擴大。
• A詳: 金絲雀讓新版本先服務小比例使用者，觀測指標後逐步擴大。旗標提供細粒度開關與定向分發。流程：建立旗標→定義金絲雀比例→監測品質/延遲/成本→擴容或回滾。組件含旗標服務、部署平台、監控看板與自動化策略。能降低改動風險。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: A-Q18, C-Q3, D-Q6

B-Q10: A/B 測試的統計原理與流程？

• A簡: 隨機分配、樣本量設計、顯著性檢定、止損與推廣決策。
• A詳: 原理是設定假設（A 優於 B），用隨機分配控制偏差，依目標指標計算樣本量，用 t 檢定或比例檢定判斷顯著性。流程：定義目標→分桶→收集→分析→決策→更新版本。組件包括實驗平台、分析庫、看板與審核。需控制外部變因與倫理合規。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q17, C-Q4, D-Q10

Q&A 類別 C: 實作應用類

C-Q1: 如何實作最小 RAG 問答服務（Python）？

• A簡: 建立嵌入與向量索引，檢索片段後拼提示生成答案。
• A詳: 步驟：1) 準備文檔，切片與嵌入；2) 建立向量索引（如 FAISS）；3) API 接收問題，做查詢嵌入；4) 近鄰檢索與重排；5) 拼接上下文與模板，呼叫 LLM；6) 引用與格式後處理；7) 加入快取與日誌。程式碼片段：- 建索引: faiss.IndexFlatL2; - 嵌入: embed(texts); - 檢索: index.search(query_vec,k); 注意資料來源標記、片段大小、重排與引用格式，避免幻覺與外洩。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q2, A-Q9, D-Q1

C-Q2: 如何設定 Prompt 版本控管（Git+YAML）？

• A簡: 用 YAML 定義模板與變數，Git 管理版本與審核與回滾。
• A詳: 步驟：1) 定義 templates/ 指南與變數；2) 用 YAML 記錄角色、格式、few-shot；3) 建立 Git 倉庫與分支策略；4) PR 審核與 CI 跑離線評估；5) 標記版本與變更日誌；6) 部署以旗標控制使用。程式片段：- file: prompts/qa_v1.yaml; - fields: system, user, context_vars。注意將提示與模型/索引版本關聯，避免不一致；PR 要附回歸分數與風險說明。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: B-Q3, A-Q16, D-Q6

C-Q3: 如何整合 Feature Flag 啟閉 AI 功能？

• A簡: 導入旗標 SDK，以環境與比例控制模型與提示版本。
• A詳: 步驟：1) 選旗標服務（或自建）；2) 定義旗標：llm.rag.enabled、model.version；3) 在服務端用 SDK 判斷開關與分桶；4) 金絲雀比例調整；5) 監測與回滾。程式片段：- if flag(“rag.enabled”): route_to_rag(); - variant = flag(“prompt.qa.v2”)。注意旗標命名一致、預設安全值、故障時回退；審計旗標變更與影響。
• 難度: 初級
• 學習階段: 基礎
• 關聯概念: B-Q9, A-Q18, D-Q3

C-Q4: 如何建立 LLM 評估套件與測試案例？

• A簡: 以標準資料集與指標自動化回歸，出報表與閾值門檻。
• A詳: 步驟：1) 定義測試集與標準答案；2) 設計指標（正確率、格式、毒性）；3) 實作評分器（規則或 LLM 判分）；4) CI 觸發離線跑分；5) 報表與門檻；6) 整合 A/B 與金絲雀。程式片段：- cases.csv; - scorer.evaluate(run, cases)。注意對齊業務指標、審核判分偏誤、版本與數據血緣；保留失敗樣本供分析。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q5, A-Q10, D-Q10

C-Q5: 如何實作回應快取與鍵設計？

• A簡: 以問題與上下文哈希作鍵，命中則直接回傳，降低成本。
• A詳: 步驟：1) 設計鍵：hash(question+context+template_id+model)；2) 先查快取命中；3) Miss 則生成並寫入；4) 設定 TTL 與失效策略；5) 監測命中率與節省成本。程式片段：- key = sha256(payload); - cache.get/set(key, resp)。注意敏感內容加密、版本變更導致鍵更新、避免過期造成錯誤答案。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q8, A-Q19, D-Q3

C-Q6: 如何設定遙測：延遲、成本、錯誤？

• A簡: 加入中介層記錄 Token、RTT、錯誤碼，匯總至看板與告警。
• A詳: 步驟：1) 在 Orchestrator 加測量鉤子；2) 記錄 prompt/completion tokens、延遲、模型版本、旗標狀態；3) 送到時序庫（如 Prometheus）；4) 建看板與告警閾值；5) 週報與預算追蹤。程式片段：- metrics.observe(“tokens”, n); - trace.add_tag(“model”, v)。注意隱私合規、抽樣策略、低成本高價值指標優先。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q8, A-Q12, D-Q2

C-Q7: 如何在 Kubernetes 做金絲雀部署？

• A簡: 使用多版本 Deployment 與 Istio/NGINX 分流小比例流量。
• A詳: 步驟：1) 建 v1/v2 Deployment；2) 用 Service 指向兩者；3) 以 Istio VirtualService 設置 5%→20%→50% 比例；4) 監測指標；5) 擴大或回滾。設定片段：- weight: 5 vs 95；- match routes。注意健康探針、資源限額、旗標與金絲雀一致性、回滾自動化。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q9, A-Q18, D-Q6

C-Q8: 如何整合內容審查與 PII 遮罩？

• A簡: 在輸入輸出階段檢測敏感與不當內容，遮罩或攔截。
• A詳: 步驟：1) 輸入 PII 檢測（姓名、電話、地址）；2) 毒性/仇恨分類；3) 遮罩策略（如 **）；4) 輸出再審查與政策匹配；5) 審計記錄與告警。程式片段：- pii.detect(text); - content_moderate(resp)。注意召回與誤判平衡、合規政策更新、用戶告知與透明性。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q6, A-Q15, D-Q9

C-Q9: 如何設計多模型路由與降級策略？

• A簡: 依場景、成本與延遲動態選擇模型，故障時降級或回退。
• A詳: 步驟：1) 定義路由規則（任務類型、SLA、成本）；2) 監測延遲與錯誤；3) 主用模型失效則降級至便宜或規則引擎；4) 保持一致的輸出格式；5) 記錄決策。程式片段：- route = pick_model(ctx); - fallback()。注意一致性測試、版本追蹤、避免頻繁切換造成品質抖動。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: B-Q4, B-Q8, D-Q2

C-Q10: 如何優化延遲：串流、批次、上下文？

• A簡: 啟用串流回傳、批次嵌入/檢索、縮短上下文與片段。
• A詳: 步驟：1) 開啟流式傳輸，先回要點；2) 嵌入與檢索做批次；3) 調整 chunk 大小與 top-k；4) 避免冗長上下文；5) 啟用快取與預取；6) 監測 P95 延遲。程式片段：- stream=true; - embed(batch)。注意品質與速度平衡、避免過度裁剪、對重要請求保留完整上下文。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q2, A-Q12, D-Q2

Q&A 類別 D: 問題解決類

D-Q1: 遇到幻覺回應怎麼辦？

• A簡: 強化 RAG 與約束提示，加入引用與輸出驗證與人審。
• A詳: 症狀：模型編造事實或錯誤引用。原因：缺乏上下文、提示寬鬆、檢索不精準。步驟：1) 導入或強化 RAG；2) 要求引用來源；3) 加格式/事實驗證（規則或判分器）；4) 調整 chunk 與 top-k；5) 高風險場景人審。預防：來源治理、提示版本化與回歸評估。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q9, B-Q2, C-Q1

D-Q2: 延遲過高如何診斷與解決？

• A簡: 量測各階段耗時，優化檢索、上下文與串流與快取。
• A詳: 症狀：回應慢、P95 延遲飆高。原因：上下文過長、檢索/重排慢、模型選型昂貴。步驟：1) 加分段追蹤；2) 啟用串流；3) 調整 chunk、top-k、rerank；4) 建快取與預取；5) 多模型路由與降級。預防：SLA 告警、容量壓測與持續優化。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: C-Q10, B-Q4, C-Q6

D-Q3: 成本暴增的原因與控制方法？

• A簡: Token 過高、重試頻繁、模型昂貴；用快取、路由與預算守護。
• A詳: 症狀：帳單異常，單請求成本飆升。原因：上下文冗長、重試/失敗率高、選用高費率模型。步驟：1) 成本可觀測與告警；2) 控制上下文；3) 建快取與重試退避；4) 模型路由/降級；5) 設限額與預算。預防：變更前評估、A/B 測試成本指標。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q8, C-Q5, C-Q9

D-Q4: Prompt Injection 風險如何排除？

• A簡: 隔離通道、輸入清洗、工具白名單、策略檢測與審計。
• A詳: 症狀：被誘導越權或泄露政策。原因：系統提示暴露、工具權限鬆散、缺乏檢測。步驟：1) 分離系統/用戶/工具提示；2) 清洗與轉義輸入；3) 工具白名單與沙盒；4) 毒性/敏感意圖檢測；5) 事件告警與審計。預防：安全評估、紅隊演練與政策更新。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: B-Q7, C-Q8, A-Q11

D-Q5: 模型效能下滑怎麼處理？

• A簡: 檢查資料與版本變更，離線回歸與再訓練或調提示。
• A詳: 症狀：準確率下降、用戶抱怨。原因：資料分佈變化、索引過期、模型更新不兼容。步驟：1) 離線回歸定位問題；2) 更新資料與索引；3) 調整提示與策略；4) 必要時再訓練或更換模型；5) 金絲雀驗證。預防：資料血緣追蹤、定期再評估。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q14, B-Q5, C-Q1

D-Q6: 測試不穩定、結果不一致怎麼辦？

• A簡: 固定版本與隨機種子，擴充測試集與門檻，使用 A/B 與旗標。
• A詳: 症狀：同測試反覆分數波動。原因：版本漂移、非決定性、資料更新。步驟：1) 鎖定模型/提示版本；2) 設定種子與溫度；3) 擴充測試集與統計檢定；4) 用旗標與金絲雀漸進；5) 報表與門檻。預防：變更流程要求附回歸報告。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q16, B-Q9, C-Q4

D-Q7: 服務命中供應商速率限制怎麼辦？

• A簡: 實作排隊與退避、速率控制與多供應商路由。
• A詳: 症狀：429 或節流，用戶錯誤增多。原因：流量突增、併發過高。步驟：1) 用令牌桶或佇列限流；2) 指數退避重試；3) 緩存熱請求；4) 多供應商路由與降級；5) 告警與容量計畫。預防：SLA 協議與壓測。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q4, C-Q5, C-Q9

D-Q8: 上下文超長、Token 溢位如何處理？

• A簡: 控制 chunk 與 top-k，摘要或選摘，分段查詢與流式回傳。
• A詳: 症狀：錯誤或成本暴增。原因：上下文過長、拼接冗餘。步驟：1) 限制上下文長度；2) 摘要與壓縮關鍵；3) 調整檢索數與重排策略；4) 分段回答；5) 快取與預取。預防：模板與鍵設計考慮長度，評估成本指標。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: B-Q2, C-Q10, A-Q19

D-Q9: 日誌外洩敏感資料如何防範？

• A簡: 最小收集與遮罩，加密存儲與存取控制與審計。
• A詳: 症狀：日誌含姓名、帳號、地址等。原因：無遮罩策略、過度收集。步驟：1) 只收必要欄位；2) PII 檢測與遮罩；3) 加密與權限控制；4) 週期清理與審計；5) 合規政策訓練。預防：設計時隱私優先與定期稽查。
• 難度: 中級
• 學習階段: 核心
• 關聯概念: A-Q15, C-Q8, B-Q6

D-Q10: 評估指標失真、測不到真品質怎麼辦？

• A簡: 對齊業務目標，混合指標與人工審核，迭代校準分數器。
• A詳: 症狀：離線高分但線上體驗差。原因：指標不貼場景、評分器偏誤。步驟：1) 重設指標對齊業務；2) 混合指標：準確、格式、毒性、延遲、成本；3) 引入人審與用戶回饋；4) 校準評分器（少樣本或規則）；5) 金絲雀驗證。預防：評估與產品指標閉環。
• 難度: 高級
• 學習階段: 進階
• 關聯概念: A-Q10, B-Q5, C-Q4

學習路徑索引

• 初學者：建議先學習 15 題
  • A-Q1: 什麼是 DevOpsDays？
  • A-Q2: 「從 Prompt 到 Product」是什麼？
  • A-Q3: 為什麼企業需要從 Prompt 到 Product？
  • A-Q4: 什麼是 Prompt Engineering？
  • A-Q6: 原型與產品的差異？
  • A-Q8: AI 產品的核心價值是什麼？
  • A-Q16: 什麼是 Prompt 版本控管？
  • A-Q18: 什麼是功能旗標（Feature Flag）？
  • B-Q3: Prompt 模板化與變數替換的機制？
  • B-Q9: 功能旗標與金絲雀釋出如何協同？
  • C-Q2: 如何設定 Prompt 版本控管（Git+YAML）？
  • C-Q3: 如何整合 Feature Flag 啟閉 AI 功能？
  • D-Q6: 測試不穩定、結果不一致怎麼辦？
  • D-Q2: 延遲過高如何診斷與解決？
  • D-Q3: 成本暴增的原因與控制方法？
• 中級者：建議學習 20 題
  • A-Q5: DevOps、MLOps、LLMOps 的差異？
  • A-Q9: 什麼是 RAG（檢索增強生成）？
  • A-Q10: 什麼是 LLM 評估（Eval Harness）？
  • A-Q11: 什麼是 Guardrails 與安全策略？
  • A-Q12: 什麼是 AI 可觀測性（Observability）？
  • A-Q13: 為何需要人機協作（Human-in-the-loop）？
  • A-Q15: 什麼是資料治理（Data Governance）？
  • A-Q19: 為什麼要做成本治理與效益衡量？
  • B-Q1: 從 Prompt 到 Product 的管線如何運作？
  • B-Q2: RAG 的執行流程為何？
  • B-Q5: 線上／離線評估機制是什麼？
  • B-Q6: Guardrails 的技術原理與流程？
  • B-Q8: 成本可觀測與 Token 計費如何運作？
  • C-Q1: 如何實作最小 RAG 問答服務（Python）？
  • C-Q4: 如何建立 LLM 評估套件與測試案例？
  • C-Q5: 如何實作回應快取與鍵設計？
  • C-Q6: 如何設定遙測：延遲、成本、錯誤？
  • D-Q1: 遇到幻覺回應怎麼辦？
  • D-Q4: Prompt Injection 風險如何排除？
  • D-Q9: 日誌外洩敏感資料如何防範？
• 高級者：建議關注 15 題
  • A-Q20: 從 Prompt 到 Product 的常見風險？
  • B-Q4: AI 微服務架構如何設計？
  • B-Q7: Prompt Injection 防護機制？
  • B-Q10: A/B 測試的統計原理與流程？
  • C-Q7: 如何在 Kubernetes 做金絲雀部署？
  • C-Q8: 如何整合內容審查與 PII 遮罩？
  • C-Q9: 如何設計多模型路由與降級策略？
  • C-Q10: 如何優化延遲：串流、批次、上下文？
  • D-Q2: 延遲過高如何診斷與解決？
  • D-Q3: 成本暴增的原因與控制方法？
  • D-Q5: 模型效能下滑怎麼處理？
  • D-Q7: 服務命中供應商速率限制怎麼辦？
  • D-Q8: 上下文超長、Token 溢位如何處理？
  • D-Q10: 評估指標失真、測不到真品質怎麼辦？
  • A-Q14: 什麼是模型生命週期管理（Model Lifecycle）？