LLMモデル選択

モデル選択は重要ですが、多くの場合はフローが明確になってから効いてきます。ほとんどの運用担当者にとって最初にすべきことは、まずデフォルトモデルでテストし、失敗の原因がはっきりしてから切り替えることです。

LLM model dropdown

まずはデフォルトモデルから始める

Consultation Desk のような Agent では、第一版はワークスペースのデフォルト、またはバランス型のモデルに留めるのが普通です。最初は挙動そのものに集中してください。

この基本が崩れているなら、モデル変更はたいてい最初の修正ではありません。

繰り返しのテストで次のような問題が見えた時にだけ、モデル変更を検討します。

利用できるモデルはワークスペースによって異なるため、あなたのドロップダウンはこのスクリーンショットと完全には一致しない場合があります。

比較する時は、条件を固定してください。

そうしないと、本当にモデルが問題を解決したのか分かりません。

Consultation Desk のような振り分け型 Agent では、次の失敗が見えた時だけモデル変更を検討する価値があります。

デフォルトモデルで正しい判断ができているなら、より強いモデルが存在するだけで切り替える必要はありません。

以前使っていたモデルがドロップダウンから消えていたら、最も近い代替モデルを選び、再公開の前にコアテストをもう一度通してください。

第一版を作る時、Copilot はツール利用の有無、推論の重さ、応答速度、トーン品質などを見て、最初のモデル候補を提案することがあります。これは有用ですが、あくまで出発点です。公開前には同じテスト prompt で必ず検証してください。