Optimization Loop

最初の version が公開に近づくと、仕事の性質が変わります。

もう instructions を書いて Agent が安定して振る舞うことを期待するだけでは足りません。重要な behavior を確認し、信頼できる範囲だけを公開し、実際の会話から学び、広げる前にもう一度確認する release discipline が必要になります。

Consultation Desk では、たいてい次のループになります。

1. risky な返信を試す、または Histories で見つける
2. Copilot に原因を聞く
3. Agent を更新する
4. 重要な scenario を case として保存する
5. Test Suite を走らせる
6. 重要な case が安定してから publish または rollout 拡大を行う

この章の役割

ここで作りたいのは、問題が起きた後の一度きりの修正ではなく、繰り返せる品質ループです。

理想の状態は単純です。

• 重要な scenario が再実行できる case として記録されている
• release や rollout 拡大の前に risky behavior を確認できる
• 新しい改善で以前の良い挙動を壊さない

この章の内容

• Evaluations and Improvements

関連ガイド

• Collect Feedback
• Version Management
• Histories