Codeer.ai 使用指南
把需要反覆運用專業判斷的工作,交給一個你能檢查的 Agent
Codeer 適合用在「回答得流暢還不夠」的工作。真正懂這份工作的人,仍然需要決定什麼才算做好、哪些邊界不能跨過,以及什麼時候應該把工作交回真人。
Codeer 把這種 Agent 稱為 Expert-led AI Agent(專家主導的 AI Agent):專家負責訂定品質標準,AI 則協助把專業判斷落實為可以建立、測試、上線並持續改善的 Agent。
你不需要先寫出完美的指示(prompt),也不需要一開始就維護一大組測試。先選一個真實且會反覆出現的情境,並說清楚三件事:
- Agent 應該幫使用者完成什麼?
- 什麼結果才算可以接受?
- 哪些情況應該避免、先釐清,或交接真人?
接下來,Codeer 可以協助你做出第一版、實際試跑、把重要情境保存成可重跑案例,並判斷哪些範圍已經適合發布。
產品證據與團隊發布決策是兩件事
Codeer 會保存案例、評估結果、Agent 版本與對話,讓團隊持續檢查行為。產品目前不會把必須通過的案例集、具名核准人或停止條件,自動變成發布 gate。需要哪些證據、何時發布、縮小範圍或停止使用,仍由團隊決定並留下發布紀錄。
一個代表性例子
代表性流程,不是客戶成效
一位課程負責人反覆收到「哪一門課適合我?」有用的 Agent 應先詢問學習目標、目前程度與可投入時間,只推薦目前確實提供的課程、說明推薦依據;答案若取決於尚未確認的例外,則交由真人處理。
在 Live Test 中,Agent 還沒詢問可投入時間就推薦課程。負責人把這個情境保存成不能退步的案例:推薦前必須先確認時間。修改後的版本通過這個案例,以及幾個位於處理範圍邊界的相似情境後,團隊才讓一小群經核准的試用者開始使用。
團隊因此能檢查後續版本是否仍遵守同一項判斷。這個例子不代表已經證明節省時間、增加銷售或改善學習成果;這些結果必須由真實試行的證據支持。
開始前先看清楚投入
受控試行仍然需要有人定義可接受的工作、有人查看真實使用並處理例外,也需要有人具備管理存取權與發布的權限。同一個人可以兼任多個角色。
實際投入會隨風險、資料、工具與整合而改變。先從一項工作開始,記錄完成設定所需的時間、真人接手的情況、日常營運工時及發生的品質問題,再決定是否擴大使用。Codeer 不會移除專家的責任;它讓這些決定更容易檢查、重複使用與驗證。
從工作開始,不要先學產品架構
同一套方法可以支援不同類型的專業工作:
| 工作原型 | 例子 | 專家要決定什麼 |
|---|---|---|
| 回答與處理 | 客服、課程諮詢、訂單、收案 | 哪些事情可以直接回答或完成,以及何時必須由真人接手 |
| 引導與判斷 | 教學與引導、策略思考、內部指引、分診 | 該問哪些問題、判斷不能越過哪些邊界,以及什麼下一步真正有幫助 |
| 審查與交付 | 草稿回饋、備課、專業成果審查 | 什麼才算有品質、需要哪些證據,以及哪些地方必須修改 |
例子雖然不同,營運循環是一樣的:
- 從一個真實工作開始。
- 讓 AI 協助建立第一版。
- 用真實情境和處理範圍邊界的相似案例檢查 Agent。
- 把一定要守住的行為保存成可重跑案例。
- 只發布你準備好承擔的範圍。
- 從真實對話學習,並驗證下一次修改。
從這裡開始
從一個真實工作開始
建立第一版 Agent、檢查處理範圍,並做出受控的發布決定
使用 Template
回答和工作有關的問題,並在建立 Agent 前檢查 AI 產生的 draft
營運對話
處理真實對話、留下新案例,並決定下一版應該學會什麼
依你的角色開始
| 如果你負責的是⋯⋯ | 建議從這裡開始 |
|---|---|
| 定義什麼才正確、有用而且安全 | 從一個真實工作開始,再看已驗證情境 |
| 查看真實使用狀況並處理例外 | 對話,再看回覆對話 |
| 資料、頻道、權限與逐步開放設定 | 知識與整合、安全上線與團隊與權限 |
同一個人可以兼任多個角色。重點是讓品質決定、日常營運與技術設定保持可見,而不是全部藏在同一段指示裡。
依工作任務探索
建立 Agent
定義 Agent 應該如何釐清、判斷與回應,並遵守核准的處理範圍
教會並驗證
把專家判斷留下來,成為每次發布新版本前都能重跑的案例
安全上線
發布受控範圍、決定誰能使用,並讓未驗證工作採用預先核准的替代處理方式
營運與改進
觀察真實工作、必要時接手、保存新判斷,並驗證下一次修改
知識與整合
只加入這份工作需要的資料來源與動作,不先增加無關複雜度
團隊與權限
為專家、營運人員、審查者與管理員劃分清楚責任