循循 synsoon 課程
02 / 13

科學評估提示詞

花三小時雕出來的提示詞,換一個輸入就崩潰——沒有評估機制的提示詞工程只是在瞎忙。 本集建立科學的評估管線:用 AI 出考卷做資料集、用 Structured Outputs 清掉開頭那堆對話廢話、 出題就同時寫好評分標準、三種評分器與「懶惰的 6 分」、先推理再給分的 token 順序, 再用一日餐飲計劃走完五步驟閉環(清楚直接、具體明確、XML 標籤、提供範例), 最後補上兩個新陷阱:effort 管的是「想多少」,以及不要叫模型自己先篩題目。

本集章節20

本集心智圖5 組

把提示詞從手感變成分數
  • 為什麼要量
    • 提示詞工程是寫,評估是量
    • 沒有分數就只能靠感覺
  • Opus 5 特別要管的幾件事
    • 回應長度與囉嗦程度
    • 給使用者看的進度更新
    • 書面交付物的長度
    • 任務範圍與過度驗證
    • 控制它自己開子代理
    • 自我修正
    • 關掉思考時怎麼跑
  • 讓輸出穩定的六招
    • 指定想要的輸出格式
    • 預填回應的開頭
    • 用範例框住
    • 用檢索維持脈絡一致
    • 複雜任務串成提示詞鏈
    • 讓它維持在角色裡
  • 結構化輸出
    • JSON 輸出與 JSON Schema
    • strict 工具使用
    • 兩者可以併用
    • 文法編譯與快取、提示詞被改寫帶來的 token 成本
    • JSON Schema 的限制
  • 評分怎麼設計
    • 程式碼、人工、模型三種評分器
    • 中庸偏誤:懶惰的 6 分
    • 先推理再給分

#提示詞#PromptEngineering#ClaudeAPI#評估#AI開發