上週 PO 文記錄我用 AI 的 Tool Use 能力,成功驅動 AI 吃下 API 規格 + 測試案例,完成 API 自動化測試 (真的會按照腳本的需要依序呼叫 API),並且生成測試報告的實驗。
周末花了點時間整理文章,我把實作的過程,Test Runner 關鍵的 code 邏輯,以及背後藏在 code 內的 Prompt 都整理在文章內了,有興趣了解怎麼實作的朋友可以參考。
其實這背後的想法很單純,既然有單純的商業邏輯,就應該有單純的商業測試案例才對。而實際產品可能有各種不同的發行方式 (例如: 有 API, 有 WebUI, 有 Android / iOS / Windows / Mac APP …), 理想的測試案例,應該是 [商業測試案例] + [應用程式規格] ⇒ 展開 [對應平台的詳細操作步驟] ⇒ 執行 [操作步驟] 才對。
而 API 算是目前最成熟,最清楚明確的一種發行類型了,我想藉由 Tool Use 的能力,進一步的讓他能自動執行,就是這次 PoC 主要的內容了。運氣不錯,碰到的障礙都順利突破了,才會有這篇文章。這篇我先交代一下最關鍵的 “自動化” 怎麼做,不過我想像的情境不只這樣啊,還包含前面的 “展開” 測試案例,以及後面的 “規模化” 自動化測試還有哪些該克服的技術障礙。
先貼第一篇 “自動化 POC”,文章連結我擺在留言。後面研究的順利的話,會再有 “用 GenAI 展開測試案例”,以及 “規模化 API 自動化測試” 的工程做法兩篇。歡迎留言討論,也敬請期待 😚
