運用と改善
Agent が live になった後、本当のプロダクト作業は Editor の外にも広がります。
この章は、会話の確認、利用状況の把握、submission の処理、audience access の管理、次に何を改善するかの判断を行う運用面を扱います。
Operator がここで行うこと
典型的な運用作業は次の通りです。
- live conversation の確認
- 実際の利用が増えているか、変化しているかの確認
- request form から来る structured submission の処理
- pilot や rollout 中の audience access control
- 重要な修正を再実行できる eval case として残すこと