# fetch_page 篩選實測

`fetch_page` 在 v1.3.17 改為依當下請求以 [decision model](/zh/providers-typesafe) 篩選頁面，本頁比較改版前（舊版）與改版後（新版）的實測差異。

比較聚焦三件事：

1. **相關性**：與任務無關的頁面是否被排除
2. **內容篩選**：與任務無關的段落是否在回傳前被篩掉，且關鍵內容仍保留
3. **內容減量**：實際交給 agent 的內容少了多少

## 結論

| 指標 | 舊版 | 新版 |
| --- | --- | --- |
| 頁面相關性判斷正確 | 19 / 22 | **22 / 22** |
| 相關任務的關鍵內容保留 | 11 / 15（另有 1 份截斷後不合法的 JSON） | **15 / 15** |
| 相關任務交給 agent 的內容（未篩選 3,130 KB） | 595 KB，減少 81.0% | **320 KB，減少 89.8%** |
| 無關任務交給 agent 的內容 | 104 KB | **2.2 KB**（只回提示） |
| 平均耗時：一般頁面 | 5.14 s | 5.42 s |
| 平均耗時：超過 1 MiB 的頁面 | 15.2 s | 20.7 s |

舊版的減量主要來自固定截斷在 100 KiB，以及把相關頁面誤判為無關而整頁隱藏，是用遺失資訊換來的。新版的減量來自刪掉與任務無關的段落，關鍵內容全數保留。

## 兩版的處理方式

| | 舊版 | 新版 |
| --- | --- | --- |
| 存進快取 | 去雜訊並截斷後的結果 | 只去雜訊（廣告、導覽列等）的原始內容 |
| 長頁面 | 固定截斷在 100 KiB | 依任務逐段篩選，只回相關段落 |
| 頁面相關性 | 只用頁面開頭判斷整頁，只處理 markdown | 短頁整頁判斷；長頁逐段判斷，沒有任何相關段落才排除；markdown 與 json 相同 |
| 超過 1 MiB | 截斷在 100 KiB | 取開頭 1 MiB，只保留直接回答任務的段落；找不到就回「頁面太大，建議下載」 |
| 錯誤頁 | 依標題判斷 | 依實際 HTTP 狀態碼與標題判斷 |

新版的依任務篩選發生在回傳前，剛抓取的內容與從快取取出的內容走同一套流程，同一頁換不同任務會得到各自篩選的結果。

## 快取與重新篩選

新版把「存什麼」和「回傳什麼」分開：

1. **存進快取的是原始內容**：抓取後只用 decision model 去除廣告、導覽列這類雜訊（markdown、未開 `keep_links`、內容不超過 1 MiB 時），其餘原樣存進 ToriiDB。快取不含依任務篩選的結果，也不含 withheld 訊息。
2. **沒有快取時**：先抓取並依第 1 點存入快取，再從這份原始內容依當下任務經 decision model 篩選後回傳。
3. **有快取時**：同一網址（同樣參數）再次取用，直接從快取取出原始內容，依當下任務重新經 decision model 篩選後回傳。

因此同一個網址被不同任務取用，不會沿用前一個任務的篩選結果。前一個任務判定無關，也不會讓下一個相關任務拿不到內容。

實測（英文維基 Taiwan，同一 session 先後兩個任務）：

| 格式 | 任務 | 來源 | 結果 | 耗時 |
| --- | --- | --- | --- | --- |
| markdown | 怎麼烤酸種麵包 | 抓取 | withheld，166 B | 7.6 s |
| markdown | 台灣首都 | 快取 | 篩選後 45 KB，含 `Taipei` | 0.7 s |
| json | 怎麼烤酸種麵包 | 抓取 | withheld，160 B | 7.2 s |
| json | 台灣首都 | 快取 | 篩選後 113 KB，含 `Taipei`，JSON 合法 | 1.4 s |

兩次之後快取內容仍是完整原始頁面（markdown 229 KB、json 572 KB）。從快取取用省下抓頁時間，剩下的耗時是依任務重新篩選。

## 相關性：無關的頁面要排除

同一個頁面分別配一個相關任務與一個無關任務。相關任務不應被隱藏，無關任務應回 withheld。

| 頁面 | 相關任務：舊 | 相關任務：新 | 無關任務：舊 | 無關任務：新 |
| --- | --- | --- | --- | --- |
| MDN Array.map | 回傳 | 回傳 | 排除 | 排除 |
| Python stdtypes | **誤藏** | 回傳 | 排除 | 排除 |
| pkg.go.dev net/http | 回傳 | 回傳 | 排除 | 排除 |
| 英文維基 Taiwan | 回傳 | 回傳 | 排除 | 排除 |
| 中文維基 日本 | 回傳 | 回傳 | 排除 | 排除 |
| Effective Go | **誤藏** | 回傳 | 排除 | 排除 |
| RFC 9112 | 回傳 | 回傳 | 排除 | 排除 |
| ECMAScript（1.8 MB） | 回傳 | 回傳 | 排除 | 排除 |
| example.com | 回傳 | 回傳 | 排除 | 排除 |
| GitHub go-rod | 回傳 | 回傳 | 排除 | 排除 |
| WWII（json） | 回傳 | 回傳 | **漏擋（102 KB）** | 排除 |

- **舊版誤藏**：舊版只用頁面開頭判斷整頁。Python stdtypes 的 `maxsplit`、Effective Go 的 `defer` 不在開頭，整頁被隱藏，agent 只能換來源。
- **舊版漏擋**：舊版不判斷 json 的相關性，無關任務也收到 102 KB 的 WWII 內容。

## 內容篩選：無關的內容篩掉後再回傳

只看相關任務。每個任務指定 1-2 個必須出現的關鍵內容，回傳結果中找得到才算保留。

| 頁面／任務 | 關鍵內容 | 舊版 | 新版 |
| --- | --- | --- | --- |
| MDN Array.map／map 回傳什麼 | `new array`、`callbackFn` | 2/2 整頁 | 2/2 整頁 |
| Python stdtypes／maxsplit | `maxsplit`、`sep` | **0/2 被藏** | 2/2 篩選 |
| net/http／Client 逾時 | `Timeout`、`Client` | 2/2 整頁 | 2/2 篩選 |
| 英文維基 Taiwan／首都 | `Taipei` | 1/1 截斷 | 1/1 篩選 |
| 中文維基 日本／首都 | `東京` | 1/1 截斷 | 1/1 篩選 |
| Effective Go／defer | `defer`、`LIFO` | **0/2 被藏** | 2/2 篩選 |
| RFC 9112／chunked 格式 | `chunk-size`、`last-chunk` | 2/2 整頁 | 2/2 篩選 |
| ECMAScript／Number 型別 | `Number type` | 1/1 只有開頭 | 1/1 只留答案段落 |
| example.com／用途 | `documentation` | 1/1 整頁 | 1/1 整頁 |
| GitHub go-rod／rod 是什麼 | `DevTools Protocol` | 1/1 整頁 | 1/1 整頁 |
| WWII json／入侵波蘭 | `1 September 1939` | **1/1 但 JSON 不合法** | 1/1 JSON 合法 |

- 新版 15 項關鍵內容全數保留；8 個長頁面依任務逐段篩選，3 個短頁面本來就短，整頁回傳。
- 舊版沒有依任務篩選內容，只固定截斷在 100 KiB；答案在後段就拿不到，誤藏的 2 頁共遺失 4 項關鍵內容。
- ECMAScript 舊版雖然出現 `Number type` 字樣，但只是開頭目錄中的提及；新版回傳的 1.3 KB 是定義本身。

## 內容減量：實際減少多少

基準是「未經任務篩選的 fetch_page 輸出」，也就是存進快取的內容（frontmatter 加上去雜訊後的正文）。ECMAScript 超過 1 MiB，以完整頁面大小為基準。只看相關任務；無關任務新版一律只回約 150-270 B 的提示。

| 頁面 | 未篩選 | 舊版 | 舊版減少 | 新版 | 新版減少 |
| --- | --- | --- | --- | --- | --- |
| MDN Array.map | 5.4 KB | 5.4 KB | 多 0.5% | 5.4 KB | 0% |
| Python stdtypes | 169 KB | 185 B | 99.9%（誤藏） | 9.0 KB | 94.6% |
| net/http | 84 KB | 84 KB | 0% | 17 KB | 79.6% |
| 英文維基 Taiwan | 224 KB | 100 KB | 55.4%（截斷） | 42 KB | 81.1% |
| 中文維基 日本 | 146 KB | 100 KB | 31.6%（截斷） | 19 KB | 87.1% |
| Effective Go | 96 KB | 197 B | 99.8%（誤藏） | 13 KB | 86.9% |
| RFC 9112 | 88 KB | 88 KB | 0% | 35 KB | 60.2% |
| ECMAScript | 1,806 KB | 100 KB | 94.5%（截斷） | 1.2 KB | 99.9% |
| example.com | 1.5 KB | 1.5 KB | 多 1.7% | 1.5 KB | 0% |
| GitHub go-rod | 2.2 KB | 2.1 KB | 2.9% | 2.1 KB | 4.1% |
| WWII json | 435 KB | 100 KB | 77.0%（JSON 不合法） | 167 KB | 61.5% |
| **合計** | **3,130 KB** | **595 KB** | **81.0%** | **320 KB** | **89.8%** |

- 以 4 bytes 約 1 token 粗估：未篩選約 78 萬 tokens，新版約 8 萬，舊版約 15 萬。
- MDN、example.com 本來就短，不需要篩選，新版減少 0%。go-rod 的 4.1% 是兩次抓取時去雜訊結果略有差異。舊版短頁反而多出約 1-2%，是外層包的 `Web page content:` 字樣，該字樣移除於 v1.3.17。
- WWII json 仍有 167 KB，是新版最大的輸出。篩選後的 json tree 不帶篩選標註，agent 收到時沒有段落已被刪除的提示。

## 耗時

| 範圍 | 舊版平均 | 新版平均 | 差距 |
| --- | --- | --- | --- |
| 一般頁面（20 個案例，不含 ECMAScript） | 5.14 s | 5.42 s | +0.28 s |
| 超過 1 MiB（ECMAScript 2 個案例） | 15.2 s | 20.7 s | +5.5 s |

耗時包含 Chrome 抓頁（每次都 `force` 重抓，不讀快取），大部分時間花在抓頁本身。新版多出的時間用於依任務逐段判斷；超過 1 MiB 的頁面要以細批次判斷開頭 1 MiB，成本最高。

## 測試方式

- **舊版**：commit [`b45377ab`](https://github.com/pardnchiu/Agenvoy/commit/b45377ab)，即 v1.3.16 發布的 `fetch_page` 行為；依賴為 go.mod 正式版（go-browser v0.3.4）。
- **新版**：後來發布為 v1.3.17 的工作區版本，經 go.work 使用本地 go-browser（含 `keep_links` 修正，已發布為 v0.3.5）、go-llm-router、go-pkg。
- 兩版都從工具入口 `toolregister.Dispatch("fetch_page")` 呼叫並帶 `force: true`；decision model 為 `typesafe@jev-latest`；依序執行，避免互搶 Chrome 與 decision model。
- 每個案例只跑一次。decision model 每次的回答可能略有不同，邊緣段落的去留會浮動。
- 關鍵內容以字串比對判定，只能證明內容存在，不能證明回答品質；樣本為 11 個頁面，偏重英文技術文件。
- 減量基準是 readability 擷取正文並去雜訊後的輸出，不是網頁的原始 HTML；基準另外抓取一次，去雜訊結果可能與測試當下略有差異。
- 原始報告：[doc/decision/fetchPage.zh.md](https://github.com/pardnchiu/Agenvoy/blob/master/doc/decision/fetchPage.zh.md)。
