コンテンツにスキップ

まずここから

初めて Codeer を評価する人や運用する人は、まずこの流れを進めてください。

Codeer は、顧客との会話や業務フロー上のあらゆる場面に専門家の判断を持ち込むための仕組みです。ここで作るのは、定型文を返すチャットボットでも、prompt を書いてそのまま信じる仕組みでもありません。Agent と検証済みシナリオを一緒に作り、何に答え、何に答えず、いつ handoff するかを決めます。

このガイドでは、狭い first scope に絞ったシンプルな customer service Agent を作ります。例をあえて普通にしているのは、方法を見えやすくするためです。扱いたい質問から始め、境界をテストし、未検証の範囲は後の version まで安全な fallback に残します。

このガイドでは、最初の完全な loop を進めます。Copilot と目的を話し、最初の Agent を作り、Copilot に重要シナリオの初版を作らせ、すぐに Test Suite で 20 から 30 件を試し、pass しない case を直していきます。

ここまで進むと、実際の behavior が見えにくい空の Agent ではなくなります。score がまだ完璧でなくても、重要なシナリオで Agent がどう振る舞うかを確認できます。問題を見つけることが、問題を制御する最初の一歩です。

現在の Agent Editor と Live Test で動く customer service Agent の例

このガイドでできること

この一連の流れを終えると、次の状態になります。

  • Copilot で作ったシンプルな customer service Agent の初版がある
  • core、boundary、action scenario を含む最初の scenario set がある
  • Test Suite で再実行でき、確認可能な Standard を持つ case がある
  • slug 付きの共有可能な Web channel がある
  • 実際の会話から stakeholder のフィードバックを集めている
  • 次の version で追加する scenario scope が見えている

この customer service Agent がすべきこと

最初の customer service Agent の役割は次のとおりです。

  • 十分にテストされ検証された小さな customer question set に答える
  • first scope の外にある質問は、拒否、handoff、または form に流す
  • 未承認の policy、price、guarantee、outcome を作り話しない
  • 最初の検証済みシナリオに必要な knowledge と tool だけを使う

重要シナリオから始める

Agent を広げる前に、本当に重視する最初の scenario set を定義します。

  • Agent が答えるべき core scenarios
  • Agent が拒否、handoff、または form に流すべき boundary scenarios
  • tool が必要な action scenarios

信頼できる scope を定義して広げる方法は、検証済みシナリオ を読んでください。

前提条件

始める前に、次を確認してください。

  • Codeer.ai アカウントを持っている
  • Agent の編集と channel の公開ができる workspace 権限がある
  • Chrome、Firefox、Edge などのモダンブラウザを使っている

最初に進めるべきおすすめフロー

1ワークスペースを設定
↓
2検証済みシナリオを定義
↓
3最初の草案を作ってデバッグ
↓
4Test Suite でシナリオを検証
↓
5安定した scope を公開
↓
6Production feedback を確認
↓
7Version ごとに scope を広げる

ステップ1：ワークスペースを設定

Agent、channel、フィードバックを 1 か所にまとめるための、きれいな作業場所を用意します。

→ ワークスペースを設定

ステップ2：重要シナリオを定義する

最初に意図する scope をもとに、Copilot に最初の重要シナリオを作らせます。Agent が答えるべき core question だけでなく、boundary と out-of-scope の質問も含めます。

→ 検証済みシナリオ

ステップ3：最初の草案を作ってデバッグする

Copilot を使って customer service Agent の初版を作ります。Knowledge base はできるだけ小さくし、最初の重要シナリオに必要なものだけを入れます。

Live Test は草案を素早くデバッグするために使います。release gate としては扱いません。

→ 最初のバージョンを作る

→ 最初の草案を作ってデバッグ

ステップ4：Test Suite でシナリオを検証する

最初の scenario set を再実行できる case にし、すぐに 20 から 30 件を実行します。Copilot と一緒に各 AI response を Standard と照らし、pass しない case を見つけ、重要 case が安定するまで草案を修正します。

→ 検証済みシナリオ

ステップ5：安定した scope を公開する

最初の検証済み scope が安定してから、Agent と Web channel を公開します。first version の範囲外の質問は、拒否、human handoff、または form への誘導にします。

→ 安定した範囲を公開

ステップ6：フィードバックを見て scope を広げる

Histories で実際のユーザーが何を聞いたかを見直します。first version が out-of-scope question を拒否または handoff した場合でも、その質問は次に広げるべき scope を見つける材料になります。

→ フィードバックを見て範囲を広げる

次のステップ

最初の検証済み launch loop が終わったら、次に進めます。