800 頁的年度報告直接塞進提示詞？撞上脈絡上限、燒錢，還會迷失在中間。 本集蓋出完整的 RAG 檢索管線：三種切塊思路與重疊緩衝、text embeddings 與餘弦相似度、 embedding 供應商要自己選的取捨、純語意搜尋對編號的盲點、BM25 關鍵字專家， 用 RRF 倒數排名融合把兩份榜單合而為一，最後補上最容易被忽略的一哩路： 搜尋結果要怎麼排版、怎麼讓模型附上引用。
本集章節13
本集心智圖6 組
800 頁報告怎麼餵給模型
- 為什麼不能整份丟進去
- 脈絡窗有上限
- 成本與脈絡腐化
- 第一關：切塊
- 切塊的三種思路
- 語意截斷
- overlap 要留多少
- 第二關：檢索
- 關鍵字比對與語境錯置
- 語意搜尋與 Text Embeddings
- embedding 模型要自己選供應商
- 餘弦相似度：比方向不比距離
- 純語意搜尋的盲點：死板的亂碼編號
- 第三關：融合
- 異質分數不能直接相加
- RRF 倒數排名融合
- 統一的檢索器界面與熱插拔
- 交給模型之前
- 搜尋結果的結構化格式
- 引用欄位怎麼帶回來
- 脈絡本身怎麼管
- 各模型的脈絡窗大小
- compaction 壓縮
- 溢位時的行為