Collect Feedback
本当の品質改善は、channel が live になってから始まります。
stakeholder に Agent の原因分析をさせる必要はありません。どの返信が違和感だったかをその場で示してもらい、その後の整理を operator と Copilot が行えば十分です。
Step 1: stakeholder に該当メッセージへ直接 feedback を残してもらう
公開済み web client では、stakeholder は Agent の返信に対して直接 Improve を押せます。
根本原因まで書いてもらう必要はありません。短い自然文で十分です。たとえば:
This is too generic.It should recommend a callback sooner.It missed the difference between first visit and follow-up.
ポジティブ feedback も参考になりますが、operator が次の改善に使いやすいのは Improve です。
Step 2: Histories で記録を確認する
feedback が送信されたら、Histories で同じ thread を開いて前後関係ごと確認します。
見るべき点は次の通りです。
- 実際の user request
- feedback が付いた返信
- stakeholder comment
- 単発ミスか、守るべき再発パターンか
Step 3: thread 内で Copilot に聞く
history page から Copilot を開き、この挙動の原因を質問します。
これにより、問題が次のどれかを素早く切り分けられます。
- instruction の問題
- tool trigger の問題
- knowledge gap
- 長い thread に引っ張られた一貫性の問題
Step 4: 修正できたら case として守る
Agent を直して効果を確認したら、同じ history thread に戻って Add Case を押します。
これで実際の失敗を Test Suite で繰り返し検証できる case にできます。
良い stakeholder feedback の条件
お願いしたい feedback は次のようなものです。
- 正しい返信に紐づいている
- 短く具体的
- prompt の書き換えではなく、体験として何が違うかを述べている
良い例:
This answer sounds too certain.I still don't know which consultation to choose.It should have asked one more clarifying question before recommending anything.