對話
對話 是 operator 查看使用者實際經歷的地方。你可以在這裡處理需要真人的工作、連同脈絡檢查 Agent 行為,並把值得保留的新判斷保存成 cases。

找出現在需要處理的對話
使用列表篩選器收斂工作 queue:
- Agent:只查看某一個 Agent。
- External User ID:追蹤一位客戶或參與者。
- Feedback:找出有 helpful 或 improve 訊號的對話。
- Source:把內部 Live Test、Copilot 活動和已發布 Channel 分開。
- Human in the loop:查看目前由真人處理,或仍在 AI mode 的對話。
- Ordering:從最新或最舊的對話開始查看。
標記為 待真人回覆 的對話,通常應該優先於一般品質 review。你可以組合 Source 與 Human-in-the-loop filters,聚焦特定營運 queue。
Review 完整工作,不要只看一句話
打開對話後,請回答:
- 使用者想完成什麼?
- Agent 在那個時間點擁有哪些脈絡?
- Agent 實際回答或執行了什麼?
- 結果是否符合 expert 定義的品質與邊界?
- 現在是否需要有人回覆?
- 這是單次問題,還是值得保存成 case 的模式?
針對單一訊息留下的 feedback 是有用證據,但決定修改前仍要閱讀前後對話。
決定下一個動作
| 情況 | 下一個動作 |
|---|---|
| 使用者正在等待真人 | 在支援的情況下,透過原 Channel 送出已檢查的真人回覆 |
| Operator 希望有人協助草擬回覆 | 產生 AI 草稿、檢查後套用到回覆框,編輯完成再送出 |
| 目前 Agent 行為不正確 | 使用 Add Case、定義預期行為,診斷後再修改 Agent |
| 請求超出核准範圍 | 先使用目前 fallback 處理,再判斷是否放進之後 version |
| 對話可以接受而且風險低 | 不必修改,繼續查看 queue |
→ 回覆對話
用 Add Case 保存重要判斷
當你希望 Agent 修改後仍能重新檢查同一種情況時,使用 Add Case。
建立 case 前:
- 保留理解工作所需的對話脈絡。
- 確認
Input能代表你想重跑的行為。 - 撰寫
Standard,說清楚必須發生與不能發生的事情。 - 如果這個行為不能退步,請在團隊流程中把它列為發布必要條件。
Case 保存後,只做最小且相關的修改,並在發布新 version 前執行受影響 cases。
啟用 end-user identity masking 時
如果 workspace 已啟用 Mask end-user identity,對話 會顯示穩定 pseudonym,而不是原始 identity。
- 要查看單一使用者的對話時,請從 external-user filter 選擇 pseudonym。
- 用 free text 搜尋原始 external user ID,不會找到已遮罩紀錄。
- 對話內容仍可 review,但原始 identity 與 profile 欄位會保持隱藏。
實用的營運節奏
- 先處理等待真人回覆的對話。
- Review 高後果或帶有 feedback 的對話。
- 保存不能再次出錯的模式。
- 做聚焦修改。
- 再次發布前驗證受影響 cases。