趁著過年, 總算有一點時間好好研究一下 安德魯小舖 這題目的延伸應用了! 趕在兔年最後一刻,總算

2024/02/09

趁著過年, 總算有一點時間好好研究一下 “安德魯小舖” 這題目的延伸應用了! 趕在兔年最後一刻,總算告一段落了,完成了用 .NET 8 Console App + Semantic Kernel + Azure Open AI 版本的 “安德魯小舖”。

先前做了 Shop API, 掛上 GTPs 的應用, 體驗完全超出我最初的預期,GPT4 的語言理解能力,完全輾壓了其他方式做出來的助理使用體驗。不過離我理想還有好一段距離,一來是實際應用,不大可能要求每個人都要有 Chat GPT Plus 的訂閱啊.. 另一個限制是: 所有事情都透過 Chat GPT 才能執行也蠻蠢的,如果不透過 LLM, 我的 API 一秒鐘能完成上百筆交易,但是透過 GPT4 則要花上幾分鐘才跑得完,體驗良好的代價是很高的..

理想的應用,介面應該還是 Shop 自訂的才對,或是介面應該來自其他的入口 (之前文章提到內建在 OS 的 copilot 或是 assistent) 才合理,我就用這想法,實做了另一個版本的 “安德魯小舖” console-ui app 了

我認真想過,AI 到底怎麼跟傳統的 App 結合才是最合理的做法? 先前掛上 GPTs 的做法太極端,應該不會是未來幾年主流的作法。我覺得 LLM 的處理能力,應該花在最關鍵的地方才值得,因此想了一下,在我的應用案例內,應該擺在這幾件事上:

  1. 最關鍵的交易確認或協助 (在交易執行的那一瞬間,由 LLM 來整合所有資訊,給使用者一般非 AI 難以提供的購買建議)

  2. 操作過程的引導與輔助 就如同 GitHub Copilot 那樣的體驗,正常情況下你應該都要對 Copilot 無感才對,但是在適當情況下,他會跳出來給你一些符合當下情境的提示

  3. 使用者走投無路的時候,直接提供一個求助管道 Copilot 透過對話能自動替你執行一些動作 (這就是 GPTs 那個做法的效果)

為了驗證,我自己刻了一個骨董的 console application 界面的操作方式。因為過去在嘗試 chatbot 的時候,很多 UX 設計的很爛的應用,就是這樣在 IM 上操作的啊,我想延伸這樣的應用當對比,就拿 console app 當作驗證的平台了 (其實我是前端大外行也是個原因 XDD)

我想用 console-ui 的操作體驗很糟當作起點,背後用的商店 API,跟先前安德魯小舖 GPTs 用的是同一套。我想看看這樣的 application, 搭配 AI 能夠有那些改善。過程中為了完成這個層次的整合,我才發現說明這些設計做法的文章真是少的可憐… 只好自己摸索了,改了不下十種設計方式,總算弄出一個還不錯的成果出來了,先放個截圖記錄一下

文章各位可以期待,等不急的可以先看截圖自己想像一下,或是直接看 code, 這 source code 背後用了:

  1. .NET 8 (只有 console app 而已)
  2. Microsoft Semantic Kernel (1.3.0)
  3. Azure Open AI ( model: GPT4 1106 preview )

其他嘗試過最後沒有採納的技術:

  • SK 的 HandlebarsPlanner
  • LM Studio + Local Service ( 跑 LLaMa 2 )
  • HuggingFace API

就先寫到這邊,有興趣可以留言討論,或是等我整理好文章。在這兔年的最後一刻,在這邊祝大家新年快樂~






Facebook Pages