跳轉到

對話

對話 是 operator 查看使用者實際經歷的地方。你可以在這裡處理需要真人的工作、連同脈絡檢查 Agent 行為,並把值得保留的新判斷保存成 cases。

顯示參與者、Channel、Agent 回覆與所選對話的 conversation queue

找出現在需要處理的對話

使用列表篩選器收斂工作 queue:

  • Agent:只查看某一個 Agent。
  • External User ID:追蹤一位客戶或參與者。
  • Feedback:找出有 helpful 或 improve 訊號的對話。
  • Source:把內部 Live Test、Copilot 活動和已發布 Channel 分開。
  • Human in the loop:查看目前由真人處理,或仍在 AI mode 的對話。
  • Ordering:從最新或最舊的對話開始查看。

標記為 待真人回覆 的對話,通常應該優先於一般品質 review。你可以組合 Source 與 Human-in-the-loop filters,聚焦特定營運 queue。

Review 完整工作,不要只看一句話

打開對話後,請回答:

  • 使用者想完成什麼?
  • Agent 在那個時間點擁有哪些脈絡?
  • Agent 實際回答或執行了什麼?
  • 結果是否符合 expert 定義的品質與邊界?
  • 現在是否需要有人回覆?
  • 這是單次問題,還是值得保存成 case 的模式?

針對單一訊息留下的 feedback 是有用證據,但決定修改前仍要閱讀前後對話。

決定下一個動作

情況 下一個動作
使用者正在等待真人 在支援的情況下,透過原 Channel 送出已檢查的真人回覆
Operator 希望有人協助草擬回覆 產生 AI 草稿、檢查後套用到回覆框,編輯完成再送出
目前 Agent 行為不正確 使用 Add Case、定義預期行為,診斷後再修改 Agent
請求超出核准範圍 先使用目前 fallback 處理,再判斷是否放進之後 version
對話可以接受而且風險低 不必修改,繼續查看 queue

回覆對話

Add Case 保存重要判斷

當你希望 Agent 修改後仍能重新檢查同一種情況時,使用 Add Case

建立 case 前:

  • 保留理解工作所需的對話脈絡。
  • 確認 Input 能代表你想重跑的行為。
  • 撰寫 Standard,說清楚必須發生與不能發生的事情。
  • 如果這個行為不能退步,請在團隊流程中把它列為發布必要條件。

Case 保存後,只做最小且相關的修改,並在發布新 version 前執行受影響 cases。

啟用 end-user identity masking 時

如果 workspace 已啟用 Mask end-user identity對話 會顯示穩定 pseudonym,而不是原始 identity。

  • 要查看單一使用者的對話時,請從 external-user filter 選擇 pseudonym。
  • 用 free text 搜尋原始 external user ID,不會找到已遮罩紀錄。
  • 對話內容仍可 review,但原始 identity 與 profile 欄位會保持隱藏。

實用的營運節奏

  1. 先處理等待真人回覆的對話。
  2. Review 高後果或帶有 feedback 的對話。
  3. 保存不能再次出錯的模式。
  4. 做聚焦修改。
  5. 再次發布前驗證受影響 cases。

相關指南