LLMモデル選択
モデル選択は重要ですが、多くの場合はフローが明確になってから効いてきます。ほとんどの運用担当者にとって最初にすべきことは、まずデフォルトモデルでテストし、失敗の原因がはっきりしてから切り替えることです。
まずはデフォルトモデルから始める
Consultation Desk のような Agent では、第一版はワークスペースのデフォルト、またはバランス型のモデルに留めるのが普通です。最初は挙動そのものに集中してください。
- Agent は確認質問をしているか
- 次の一歩を一つだけ選んでいるか
- Instructions に書いた境界を守っているか
この基本が崩れているなら、モデル変更はたいてい最初の修正ではありません。
理由を説明できる時だけ切り替える
繰り返しのテストで次のような問題が見えた時にだけ、モデル変更を検討します。
| 観測された問題 | 試す方向 |
|---|---|
| この種のフロントドア会話には遅すぎる | より速いモデルを試す |
| ニュアンスを外し、振り分け判断が弱い | より強い推論モデルを試す |
| 目的の言語で不自然な言い回しになる | その用途で言語品質が高いモデルを試す |
利用できるモデルはワークスペースによって異なるため、あなたのドロップダウンはこのスクリーンショットと完全には一致しない場合があります。
安全にモデル比較する方法
比較する時は、条件を固定してください。
- 毎回同じ 3 から 5 個の prompt を使う。
- 変えるのはモデルだけにする。
- 何が良くなり、何が悪くなったかを記録する。
- 結果を
Applyと分かりやすいノートで保存する。
そうしないと、本当にモデルが問題を解決したのか分かりません。
Consultation Desk での実用基準
Consultation Desk のような振り分け型 Agent では、次の失敗が見えた時だけモデル変更を検討する価値があります。
- 確認フローを安定して守れない
- 曖昧なケースでの推薦が弱い
- 対象言語で簡潔かつ専門的なトーンを保てない
デフォルトモデルで正しい判断ができているなら、より強いモデルが存在するだけで切り替える必要はありません。
以前のモデルが使えなくなったら
以前使っていたモデルがドロップダウンから消えていたら、最も近い代替モデルを選び、再公開の前にコアテストをもう一度通してください。
テストで必要性が分かった時だけモデル設定を変える
Advanced → Model Settings では、選択したモデルのデフォルト値を上書きできます。空欄の項目は、そのモデルのデフォルト値を使います。
| 設定 | 対応値 | 慎重に変更する場面 |
|---|---|---|
Temperature |
0 から 2 |
一貫性を高めた出力と、変化を増やした出力を比較する時。 |
Top P |
0.01 から 1 |
sampling を別の方法で調整する時。まず Temperature と Top P のどちらか一方だけを変えてください。 |
Max Tokens |
1 以上の整数 |
回答に明確な出力上限が必要な時。低すぎる値は有用な回答を途中で切る可能性があります。 |
Thinking Level |
モデル対応レベル、またはモデルデフォルト | 同じ case の結果から、推論量を変える必要があると分かった時。高い値が速度、コスト、品質を必ず改善するわけではありません。 |
一度に一項目だけ変更し、同じ代表的な case を再実行します。重要な動作が改善し、regression が起きない場合だけ上書きを残してください。Reset to defaults で、選択モデルの上書きを削除できます。
音声添付には audio input 対応モデルが必要
Agent が音声添付を使う場合は、audio input に対応したモデルを選択してください。
Codeer は対応するアップロードフローで音声ファイルを受け取れますが、その音声を Agent が理解できるかどうかは、選択した LLM モデルで決まります。モデルが audio input に対応していない場合、音声添付を残したまま Agent を保存することはできません。audio input 対応モデルに切り替えるか、その添付を削除してください。
判断には次のルールを使います。
- アップロードされた voice note、録音、その他音声ファイルを Agent が理解する必要があるなら、audio input 対応モデルを使う。
- ドキュメント、画像、通常のテキストメッセージだけでよいなら、text-only model のままでよい。
- Agent 自身のテキスト回答を音声化したい場合は、別途 Text to Speech を使う。
Live Test と対応 chat client では、audio-capable model によって Record voice message も有効になります。browser は microphone 入力を音声添付として送信します。Agent の回答を音声化する機能ではありません。action が無効な場合は、現在の model、browser の録音対応、microphone permission を確認してください。
Copilot のモデル提案は出発点として使う
第一版を作る時、Copilot はツール利用の有無、推論の重さ、応答速度、トーン品質などを見て、最初のモデル候補を提案することがあります。これは有用ですが、あくまで出発点です。公開前には同じテスト prompt で必ず検証してください。
次のステップ
- Version Management でモデル変更を安全に保存する
- Agent Editor で
Live Testを続ける