【改版】2026-09-28 新版：畫面全面改為逐格動畫，講到哪裡就標出哪裡，重點處畫面停留片刻；旁白改回原速。旁白講錯或與官方說法不符之處，畫面加上更正卡，並逐條列在下方【更正】。本片取代先前上架的舊版。 「97% 準確率」是開發這類系統時最危險的一種幻覺。 這一集順著資料在系統裡的生命週期走一遍：工具錯誤該帶著什麼形狀回來 （errorCategory、isRetryable）、schema 怎麼先讓「沒有」成為合法答案、 驗證加重試也修不回來的錯，以及 97% 這個數字到底該怎麼用、出處為什麼會在摘要時不見。 📚 正課對應 6:07 工具怎麼定義、怎麼被呼叫 → ch3 工具使用與代理迴圈〈工具呼叫的四步來回〉 https://youtu.be/ZbGtOKzRkek?t=195 （錯誤該長什麼形狀，正課沒教，本集補足） 8:41 把輸出鎖成 JSON → ch1 Claude API 介紹〈預填已死，改用 Structured Outputs〉 https://youtu.be/YRNn4W7e8cw?t=1092 10:50 評估五步驟閉環 → ch2 科學評估提示詞〈評估的五步驟閉環〉 https://youtu.be/udwgjIY0haI?t=215 12:47 上線前把分數拉高 → ch2 整集 https://youtu.be/udwgjIY0haI （分段驗收與分層抽樣，正課沒教，本集補足） 14:07 單一來源引用機制 → ch3〈網頁搜尋：動態過濾、網域名單、引用機制〉 https://youtu.be/ZbGtOKzRkek?t=787
本集章節11
本集心智圖6 組
- 工具失敗不能只回「操作失敗」——錯誤要有結構
- 統一的錯誤回應讓代理無法做復原決策，只能用猜的
- 三件套：errorCategory 分類＋isRetryable 布林＋人看得懂的說明
- 四類處置不同：暫時性重試、驗證類改輸入、商業類回話術、權限類走別路
- isRetryable 不是裝飾——政策不允許的退款重試一百次還是不允許
- 寫成長篇散文仍要靠猜來解析——能寫成欄位就不要寫成句子
- 暫時性失敗在子代理內自己復原；解不掉才上傳，帶部分結果與「試過什麼」
- 「拿不到資料」與「查到但是空的」是兩回事——回同一個東西上游就會做錯決定
- schema 設計：先讓「沒有」變成合法的答案
- 來源可能沒有該資訊的欄位設成可為空——避免模型為滿足必填而捏造
- 模型編出合理日期不是不聽話，是被必填 schema 逼的
- 只在提示詞加「找不到請不要編造」不夠——問題出在欄位設計
- 列舉型欄位加「不明確」選項，收讀不出來的情況
- 「其他」＋說明欄位的組合，讓分類可擴充
- 工具呼叫的強制設定保證模型一定走抽取工具，不回聊天文字
- schema 保證形狀，不保證內容
- 工具呼叫＋嚴格 JSON schema 是最可靠的做法，消滅了 JSON 語法錯誤
- 但它不防語意錯誤：明細加起來對不上總額、值填錯欄位
- 自我檢查設計：同時抽「算出來的總額」與「文件上寫的總額」，不一致自動浮出來
- 加「偵測到衝突」布林欄位，收來源自相矛盾的情況——讓錯誤自己現形
- 重試的邊界：修得好「處理錯了」，修不好「材料不在」
- 驗證失敗時把原文、失敗結果、具體錯誤訊息一起送回去，自我修正大多有效
- 所需資訊不在來源文件裡時，重試無效——再問一百次只會逼它開始編
- 型別錯、加總不對是有材料只是處理錯了，帶錯誤訊息回去它有東西可以改
- 重試迴圈要能分辨兩者，否則會在「材料不在」上花光預算還拿到編的答案
- 九成七準確率與信心分數的正確用法
- 模型自己講的把握程度不可靠——拿壞掉的判斷當閘門，閘門就是壞的
- 欄位級信心要用有標準答案的驗證集校準過，數字才有意義
- 同一個數字，校準前是感覺，校準後是統計
- 校準過的信心拿來排複審優先序——不是「這筆可以不用看」的開關
- 整體準確率是平均：八種文件九成九、第九種六成，平均長得一模一樣
- 減少人工複審前，要先按文件型別與欄位驗證表現一致
- 上線後對高信心結果持續分層抽樣——新錯誤不會出現在你已經不看的數字裡
- 第二模型複核未必有用：兩個模型可能一起錯，要先證明錯誤不相關
- 多來源匯總：兩個可信來源打架時，兩個都要留
- 對同一數字給不同值：用來源歸屬標註衝突，不任意挑一個
- 報告區分「已確立」與「有爭議」，保留原始來源的描述方式
- 要求填發布日期——避免把時間差誤讀成互相矛盾
- 「挑比較新的」是陷阱：可能一個量去年、一個量今年
- 取平均最糟——生出沒有任何來源支持的數字，且無法追回去
- 摘要會弄丟出處——處方是上游輸出「主張—來源」成對，下游保留並合併
- 出處是設計問題不是紀律問題：不能靠叮嚀「記得標出處」
本集更正4 字幕已更正
-
1:56 旁白說這些條目「雖然考不到」——考試指南把它們列為受測項目（exam items are written against these objectives），只是 12 道公開範例題沒出，正式考試可能會考。
原本說
這些雖然考不到更正為列在考綱裡就是受測項目，只是公開範例題沒出為什麼旁白與官方說法相反
影片處置更正卡
依據pages/exam/CCAR-F_exam_guide.txt L160–L161、L1247–L1248、L1511
-
11:44 旁白說「即使校準過，考綱也指明他只能用來排優先序」——考綱的方向是：信心分數用標註過的驗證集校準，低信心的送人工複審；按文件型別與欄位驗證過準確率後，高信心的抽取可以自動化、減少人工複審，並持續分層抽樣。沒有說「只能排優先序」。
原本說
即使校準過，考綱也指明他只能用來排優先序更正為分段驗證過準確率後，高信心抽取可以自動化、減少人工複審為什麼旁白與官方說法相反
影片處置更正卡
依據pages/exam/CCAR-F_exam_guide.txt L1029–L1049
-
13:09 旁白對「挑比較新的，或是取兩個的平均」說「考綱嚴厲阻止了這種做法」——考綱原文是用來源歸屬標註衝突，而不是任意挑一個值（兩個值都保留）；沒有提到取平均，也沒有「嚴厲」。
原本說
考綱嚴厲阻止了這種做法更正為考綱說標註衝突並附來源、不要任意挑一個值為什麼旁白與官方說法相反
影片處置更正卡
依據pages/exam/CCAR-F_exam_guide.txt L1063–L1064、L1237–L1238
-
0:47 旁白說這是「最危險的一種幻覺」——沒有出處把它排成最危險；考綱只說整體準確率（例如 97%）可能掩蓋特定文件類型或欄位的表現。
原本說
最危險的一種幻覺更正為沒有出處把它排成最危險；考綱只說整體準確率（例如 97%）可能掩蓋特定文件類型或欄位的表現為什麼旁白說錯或說得比來源硬
影片處置說明欄
依據pages/exam/CCAR-F_exam_guide.txt L1026
另有 2 處措辭的精確化更正（把來源沒寫的形容詞、過度肯定的說法收回到文獻原本的範圍），不影響本集的結論。