Collect Feedback
真正的品質工作，是在 channel 上線後才開始。
重點不是要 stakeholder 自己分析 Agent 為什麼出錯，而是讓他們直接指出哪一則回覆不對，後面的結構化處理再交給 operator 和 Copilot。
步驟 1：請 stakeholder 直接對那一則回覆留下意見
在已發布的 web client 裡，stakeholder 可以直接在 Agent 訊息上按 Improve。
他們不需要自己找根本原因。只要留下一句自然語言意見就夠了，例如：
這個回答太 generic 了。這裡應該更早建議安排 callback。它漏掉了初診和後續追蹤的差別。
正面回饋也有價值，但真正能幫 operator 往下處理的，通常是 Improve。
步驟 2：到 Histories 查看這筆回饋的完整脈絡
回饋送出後，到 Histories 打開同一個 thread，連同前後文一起看。
你要確認的是：
- 使用者當時到底問了什麼
- 哪一則回覆被點了回饋
- stakeholder 留下了什麼評論
- 這是一次性的 miss，還是值得保護起來的模式
步驟 3：直接在 thread 裡問 Copilot
在 history 頁面打開 Copilot，直接問它這個行為可能是怎麼造成的。
這通常是最快把問題分成下面幾類的方法：
- instruction 不夠清楚
- tool trigger 沒寫好
- 知識缺口
- thread 太長，模型只是延續前面不好的脈絡
步驟 4：修好之後，把這個案例保護起來
當你修改完 Agent，也確認修正有效之後，回到同一個 history thread，按下 Add Case。
這樣就能把真實失誤轉成可以在 Test Suite 裡反覆驗證的案例。
好的 stakeholder 回饋長什麼樣子
請 stakeholder 留下這種回饋：
- 要掛在正確的那一則回覆上
- 短而具體
- 從他自己的角度描述問題，而不是替你寫 prompt
例如：
這個回答太武斷了。我看完還是不知道該選哪一種 consultation。它應該先多問一個釐清問題，再推薦下一步。