会話
会話 は、利用者が実際に経験したことを運用担当者が確認する場所です。人の対応が必要な仕事を処理し、context と一緒に Agent の動作を確認し、重要な新しい判断を case として残します。
対応が必要な会話を探す
一覧の filter で queue を絞ります。
- Agent：一つの Agent に限定する。
- External User ID：一人の顧客または参加者を追う。
- Feedback：helpful または improve の signal がある会話を探す。
- Source：内部の Live Test、Copilot と公開済みチャネルを分ける。
- Human in the loop：現在人が対応している会話、または AI mode の会話を表示する。
- Ordering：新しい会話または古い会話から確認する。
有人返信待ち と表示された会話は、通常の品質レビューより先に対応します。Source と Human-in-the-loop filter を組み合わせると、特定の運用 queue に絞れます。
一文ではなく仕事全体をレビューする
会話を開き、次を確認します。
- 利用者は何を完了しようとしていたか
- その時点で Agent にどの context があったか
- Agent は何を回答または実行したか
- 結果は専門家が決めた品質と境界を満たしたか
- 今すぐ人の返信が必要か
- 単発の問題か、case として残すべき pattern か
特定のメッセージへの feedback は有用な証拠ですが、変更を決める前に前後の会話を確認します。
次のアクションを決める
| 状況 | 次のアクション |
|---|---|
| 利用者が人の返信を待っている | 利用可能な場合、確認した有人返信を元のチャネルから送る |
| 返信の下書きを AI に支援してほしい | AI下書き を生成し、確認して返信欄に適用し、編集してから送る |
| 現在の Agent 動作が誤っている | Add Case で期待動作を定義し、診断後に Agent を変更する |
| 依頼が承認済み scope の外にある | 現在の fallback で対応し、後の version で扱うか検討する |
| 会話が受け入れ可能で低リスクである | 変更せず、queue の確認を続ける |
→ 会話に返信
Add Case で重要な判断を残す
Agent の変更後にも同じ状況を確認したい場合は、Add Case を使います。
Case を作成する前に、次を確認します。
- 仕事を理解するために必要な会話 context を残す。
Inputが再実行したい動作を表している。Standardに行うことと避けることを書く。- 退行してはいけない場合は、チームのプロセスでリリース条件として扱う。
Case の保存後、関係する最小の変更を行い、新しい version を公開する前に影響する case を実行します。
End-user identity masking が有効な場合
workspace で Mask end-user identity が有効な場合、会話 には生の identity ではなく安定した pseudonym が表示されます。
- 一人の会話を確認する場合は external-user filter から pseudonym を選ぶ。
- 生の external user ID を free text で検索しても masked record には一致しない。
- 会話内容は review できるが、生の identity と profile field は非表示のままになる。
実用的な運用リズム
- 有人返信を待つ会話に対応する。
- 影響の大きい会話、または feedback 付き会話を review する。
- 守る必要がある pattern を保存する。
- 限定した変更を行う。
- 再公開前に影響する case を検証する。