会話を確認して改善する
実際の会話は、利用者の context で Agent が何をしたかを示します。まず目の前の必要に対応し、その後、新しい判断を将来の version に反映するか決めます。
運用ループは次のとおりです。
観察 -> 対応 -> 保存 -> 変更 -> 検証
ステップ1：対応が必要な会話を先に処理する
会話 を開き、有人返信待ち、影響が大きい状況、Improve feedback があるメッセージから確認します。
利用者が待っている場合は、optimization task にする前に返信します。直接作成するか、AI下書き を生成して確認し、利用可能な場合は元のチャネルから送信します。
→ 会話に返信
ステップ2：Context と一緒に何が起きたか確認する
会話全体を読み、次を特定します。
- 利用者が完了しようとしていた仕事
- Agent が利用できた情報
- Agent が作ったアクションまたは回答
- 守られなかった品質または境界の判断
- 問題が現在の scope に含まれるか
「一般的すぎる」などの feedback は signal であり、まだ診断ではありません。どの質問が必要だったか、どの主張を避けるべきだったか、どの次の行動が不足したか、いつ handoff すべきだったかという観察可能な動作に変換します。
ステップ3：Add Case で状況を残す
Agent の変更後にも確認する必要がある場合は Add Case を使います。
Case Detail で次を行います。
- 仕事を理解するために必要な context を残す。
Inputが再実行する動作を表していることを確認する。- 例が review を改善する場合だけ
Ideal Responseを追加する。 - 別の reviewer が推測せず判断できる小さな
Standardset を書く。
有用な Standard は、不足情報を一つ質問すること、根拠のない特定の約束を避けること、情報源で解決できない場合に handoff することなどを要求できます。
ステップ4：関係する最小の原因を診断する
問題が次のどこにあるか判断します。
- 期待動作または
Standard Instructions- Knowledge Base content または retrieval
- ツール設定または呼び出し境界
- 状況を現在の scope に含める判断
Copilot で case と現在の Agent 設定を確認できます。一つの case の表現だけを繰り返すルールではなく、pattern を改善する最小の修正を求めます。
AI下書きの feedback は Agent の変更を公開しません
AI下書きの破棄または調整は、その会話の次の下書きを改善できます。将来の利用者に対する基本動作を変える場合は、Agent の更新と再検証が必要です。
ステップ5：変更して検証する
状況が対応 scope に含まれる場合は、次を行います。
AIエージェントを開き、関連する instruction、情報源、ツールだけを更新する。適用で draft の変更を保存する。Test Suiteで新しい case を実行する。- 関連する must-pass case を実行する。
- 既に合格した動作に影響する可能性がある場合は、広い regression case を実行する。
- リリース条件を満たしてから新しい version を公開する。
現在の scope に含まれない場合は、承認済み fallback を保ち、case を後の version に残します。
ステップ6：結果を観察する
公開後に 会話 に戻り、新しい traffic で同じ pattern が発生するか確認します。Case の合格は case 条件で確認した動作を示し、production review は実際の状況が繰り返されるか変化しているかを示します。