花三小時雕出來的提示詞,換一個輸入就崩潰——沒有評估機制的提示詞工程只是在瞎忙。 本集建立科學的評估管線:用 AI 出考卷做資料集、用 Structured Outputs 清掉開頭那堆對話廢話、 出題就同時寫好評分標準、三種評分器與「懶惰的 6 分」、先推理再給分的 token 順序, 再用一日餐飲計劃走完五步驟閉環(清楚直接、具體明確、XML 標籤、提供範例), 最後補上兩個新陷阱:effort 管的是「想多少」,以及不要叫模型自己先篩題目。
本集章節20
本集心智圖5 組
把提示詞從手感變成分數
- 為什麼要量
- 提示詞工程是寫,評估是量
- 沒有分數就只能靠感覺
- Opus 5 特別要管的幾件事
- 回應長度與囉嗦程度
- 給使用者看的進度更新
- 書面交付物的長度
- 任務範圍與過度驗證
- 控制它自己開子代理
- 自我修正
- 關掉思考時怎麼跑
- 讓輸出穩定的六招
- 指定想要的輸出格式
- 預填回應的開頭
- 用範例框住
- 用檢索維持脈絡一致
- 複雜任務串成提示詞鏈
- 讓它維持在角色裡
- 結構化輸出
- JSON 輸出與 JSON Schema
- strict 工具使用
- 兩者可以併用
- 文法編譯與快取、提示詞被改寫帶來的 token 成本
- JSON Schema 的限制
- 評分怎麼設計
- 程式碼、人工、模型三種評分器
- 中庸偏誤:懶惰的 6 分
- 先推理再給分