建立並除錯第一版

先用 Live Test 快速檢查第一個行為，再把真正重要的情境保存成 Test Suite 裡可以重跑的 cases。

Live Test 適合探索；Test Suite 則用來把某一版 Agent 和你想保留的專業判斷放在一起比較。

步驟 1：在 `Live Test` 執行真實情境

打開 workspace。
選擇 AI 助理。
打開 Agent。
使用 Agent Editor 裡的 Live Test 面板。
輸入工作說明中的真實情境。

請把結果當成一份工作來看，不要只看文字是否流暢：

Agent 是否理解使用者想完成什麼？
是否詢問真正需要的資訊？
是否產生有用的下一步或結果？
是否避免沒有依據的事實、承諾與動作？
當仍需要專業判斷時，是否正確交接？

延續同一情境，或開始乾淨測試

Live Test 會保存已送出的對話。可以從 history selector 重新打開先前測試；如果下一個變化不應繼承前文，請選擇 Start new test。

多輪情境需要參考前面回答時，延續同一個 history。
獨立變化、模型比較或 regression check 請開始新測試。
重新命名 history，讓其他 reviewer 看得出情境。
只有不再需要這份證據時才刪除。建立者或有 workspace resource-management 權限的成員可以重新命名或刪除。

工作需要時測試語音輸入

目前 Agent 模型支援 audio input 時，可以按 Record voice message 說出測試要求。允許麥克風權限、停止錄音、檢查附上的音訊，再像一般訊息一樣送出。

如果錄音無法使用，請檢查所選模型與瀏覽器支援。語音錄音是在測 Agent 能否理解聲音；把 Agent 回答轉成音訊則是另一個 Text to Speech tool。

步驟 2：試跑相鄰邊界

加入幾個足以暴露設計問題的相近變化：

缺少重要資訊。
請求超出第一版範圍。
過度肯定的回答會帶來風險。
工具或資料來源無法使用。
應該由真人接手。

不同工作要觀察的行為也不同：

工作原型	核心行為	有用的邊界檢查
回答與處理	提供核准回答，或完成已支援的下一步	不自行處理未核准例外，並提供正確交接
引導與判斷	詢問正確問題，並給出可行動的下一步	當情境仍需要專家 review 時，不誇大確定性
Review 與交付	按照明確品質條件檢查提交內容	指出缺少的證據，而不是自行編造

這個階段是在暴露第一版設計，不是在證明 Agent 能處理所有變化。

步驟 3：在 `Test Suite` 保存 must-pass 情境

把一定要持續正確的行為建立成可重跑 case。

每個 case 都需要：

Input：要執行的使用者訊息或工作
Standard：可以檢查 AI 回覆的明確條件

選填欄位包括：

Note：給 reviewer 的情境說明
Ideal Response：當語氣或結構很重要時，提供一個有用範例

清楚的 Standard 通常比完美範例回答更重要。它應該讓其他 reviewer 看得懂回覆必須做什麼、不能做什麼，以及何時必須交接。

需要多少 cases？

請按照下一個決定需要多少證據來準備：

要做的決定	建議準備的證據
第一個行為是否值得繼續？	真實情境，加上幾個相鄰邊界
受控 pilot 是否準備好了？	依發生頻率、錯誤後果、工具使用與交接風險選出的 must-pass cases
下一版是否可以發布？	受影響 cases；如果修改可能改變既有行為，再加上更廣的 regression cases

沒有所有 Agent 都適用的固定題數。高後果工作即使範圍很窄，也可能比低風險內部助手需要更多邊界覆蓋。

步驟 4：執行 cases 並判讀失敗

用適合的 evaluator 執行 cases。使用 Content Compliance 時，請按照 Standard 把結果判讀為 pass 或 fail。

修改 Agent 前先檢查失敗原因：

如果回答其實可以接受，可能是 Standard 不清楚或不正確。
如果 Standard 和資料來源衝突，先決定誰才是權威來源。
如果缺少必要事實，新增或整理相關 Knowledge Base 內容。
如果 Agent 已取得事實但做錯決定，收緊真正相關的 instruction。
如果動作失敗，檢查工具設定與調用邊界。
如果情境超出第一版範圍，保留安全 fallback，不要強迫 Agent 擴大回答。

讓失敗變得有用

失敗 case 是目前設計的證據。修改前先診斷問題是在預期行為、instructions、knowledge、tool，還是 scope。

步驟 5：做最小且相關的修正

你可以在失敗結果旁請 Copilot 協助，或直接一起檢查 case 與 Agent。

這個 case 沒有通過。請判斷問題來自 Standard、資料來源、工具行為，還是 Agent instruction。請建議能改善這類情境、但不會只針對單一案例 overfit 的最小修改。

套用聚焦修改後，先重跑失敗 case；如果這次修改可能影響已通過行為，再重跑更廣的 cases。

決定是否可以進入 controlled pilot

不要把成功的 cases 直接視為可以上線。只有下列條件都成立時，才適合進入 controlled pilot：

已寫下第一個工作，以及明確排除的範圍。
每個常見情境與高後果邊界，都有具名 case 和可檢查的 Standard。
必要工具、資料來源與交接，在實際需要它們的情境中都已通過。
已知失敗或尚未測試的情境，有安全 fallback，或仍明確排除在 pilot 之外。
有具名 release approver 接受剩餘風險，也有具名 operator 負責上線後的交接與 incident。

任何一項尚未解決，就先讓 Agent 保持 draft，或縮小 pilot。這個 gate 是團隊根據測試證據做出的決定；單一綠色結果不會替團隊定義可接受風險。發布流程請見只發布已驗證的範圍。