跳轉到

LLM 模型選擇

模型選擇很重要，但通常是在流程已經清楚之後才重要。對大多數營運人員來說，最好的起點是先用預設模型完成測試，只有在失敗模式非常明確時才切換。

LLM model dropdown

先用預設模型，除非測試證明不夠用

對 Consultation Desk 這類 Agent 來說，第一版通常應該先留在工作空間預設或平衡型模型。這樣你才能先專注在行為本身：

  • Agent 有沒有先問釐清問題？
  • 它有沒有只選一個下一步？
  • 它有沒有守住 Instructions 裡的邊界？

如果這些基本行為都還沒對，切模型通常不是第一個修正點。

只有在你說得出原因時才切換模型

當重複測試出現下面這些具體問題時，再考慮換模型：

觀察到的問題 可以嘗試的方向
這種前線對話對延遲太敏感，回應太慢 換比較快的模型
Agent 抓不到細節，分流判斷不夠穩 換推理能力更強的模型
Agent 在目標語言裡語感不自然 換更適合該語言品質的模型

實際可用的模型會依工作空間而不同，所以你的下拉選單不一定和這張圖完全一樣。

安全比較模型的方法

比較模型時，請把測試控制住：

  1. 每次都用同樣的 3 到 5 個測試提問。
  2. 一次只改模型，不改 Instructions。
  3. 記錄到底變好了什麼、又變差了什麼。
  4. 用 Apply 和清楚的版本註記把結果存下來。

只有這樣，你才知道真正解決問題的是模型，而不是別的變數。

給 Consultation Desk 的實用判準

像 Consultation Desk 這種分流型 Agent，只有在你看到以下明確失敗時，才值得換模型：

  • 沒辦法穩定遵守釐清流程
  • 面對模糊案例時推薦品質太弱
  • 在目標語言裡很難保持精簡又專業

如果預設模型已經能做出正確決策，就不要只是因為還有更強的模型存在而切換。

如果原本的模型不見了

如果之前使用的模型已經不在下拉選單裡，請選擇最接近的替代方案，並在再次發布前，把核心測試重新跑過一遍。

把 Copilot 的模型建議當成起點，不是結論

在建立第一版時，Copilot 可能會依據 Agent 是否需要工具、比較重視推理、回應速度，或語氣品質，先建議一個起始模型。這個建議很有參考價值，但它仍然只是起點。真正要不要採用，還是要回到同一組測試提問去驗證。

下一步