fetch_page 篩選實測
最後更新
fetch_page 在 v1.3.17 改為依當下請求以 decision model 篩選頁面,本頁比較改版前(舊版)與改版後(新版)的實測差異。比較聚焦三件事:
- 相關性:與任務無關的頁面是否被排除
- 內容篩選:與任務無關的段落是否在回傳前被篩掉,且關鍵內容仍保留
- 內容減量:實際交給 agent 的內容少了多少
結論
| 指標 | 舊版 | 新版 |
|---|---|---|
| 頁面相關性判斷正確 | 19 / 22 | 22 / 22 |
| 相關任務的關鍵內容保留 | 11 / 15(另有 1 份截斷後不合法的 JSON) | 15 / 15 |
| 相關任務交給 agent 的內容(未篩選 3,130 KB) | 595 KB,減少 81.0% | 320 KB,減少 89.8% |
| 無關任務交給 agent 的內容 | 104 KB | 2.2 KB(只回提示) |
| 平均耗時:一般頁面 | 5.14 s | 5.42 s |
| 平均耗時:超過 1 MiB 的頁面 | 15.2 s | 20.7 s |
舊版的減量主要來自固定截斷在 100 KiB,以及把相關頁面誤判為無關而整頁隱藏,是用遺失資訊換來的。新版的減量來自刪掉與任務無關的段落,關鍵內容全數保留。
兩版的處理方式
| 舊版 | 新版 | |
|---|---|---|
| 存進快取 | 去雜訊並截斷後的結果 | 只去雜訊(廣告、導覽列等)的原始內容 |
| 長頁面 | 固定截斷在 100 KiB | 依任務逐段篩選,只回相關段落 |
| 頁面相關性 | 只用頁面開頭判斷整頁,只處理 markdown | 短頁整頁判斷;長頁逐段判斷,沒有任何相關段落才排除;markdown 與 json 相同 |
| 超過 1 MiB | 截斷在 100 KiB | 取開頭 1 MiB,只保留直接回答任務的段落;找不到就回「頁面太大,建議下載」 |
| 錯誤頁 | 依標題判斷 | 依實際 HTTP 狀態碼與標題判斷 |
新版的依任務篩選發生在回傳前,剛抓取的內容與從快取取出的內容走同一套流程,同一頁換不同任務會得到各自篩選的結果。
快取與重新篩選
新版把「存什麼」和「回傳什麼」分開:
- 存進快取的是原始內容:抓取後只用 decision model 去除廣告、導覽列這類雜訊(markdown、未開
keep_links、內容不超過 1 MiB 時),其餘原樣存進 ToriiDB。快取不含依任務篩選的結果,也不含 withheld 訊息。 - 沒有快取時:先抓取並依第 1 點存入快取,再從這份原始內容依當下任務經 decision model 篩選後回傳。
- 有快取時:同一網址(同樣參數)再次取用,直接從快取取出原始內容,依當下任務重新經 decision model 篩選後回傳。
因此同一個網址被不同任務取用,不會沿用前一個任務的篩選結果。前一個任務判定無關,也不會讓下一個相關任務拿不到內容。
實測(英文維基 Taiwan,同一 session 先後兩個任務):
| 格式 | 任務 | 來源 | 結果 | 耗時 |
|---|---|---|---|---|
| markdown | 怎麼烤酸種麵包 | 抓取 | withheld,166 B | 7.6 s |
| markdown | 台灣首都 | 快取 | 篩選後 45 KB,含 Taipei | 0.7 s |
| json | 怎麼烤酸種麵包 | 抓取 | withheld,160 B | 7.2 s |
| json | 台灣首都 | 快取 | 篩選後 113 KB,含 Taipei,JSON 合法 | 1.4 s |
兩次之後快取內容仍是完整原始頁面(markdown 229 KB、json 572 KB)。從快取取用省下抓頁時間,剩下的耗時是依任務重新篩選。
相關性:無關的頁面要排除
同一個頁面分別配一個相關任務與一個無關任務。相關任務不應被隱藏,無關任務應回 withheld。
| 頁面 | 相關任務:舊 | 相關任務:新 | 無關任務:舊 | 無關任務:新 |
|---|---|---|---|---|
| MDN Array.map | 回傳 | 回傳 | 排除 | 排除 |
| Python stdtypes | 誤藏 | 回傳 | 排除 | 排除 |
| pkg.go.dev net/http | 回傳 | 回傳 | 排除 | 排除 |
| 英文維基 Taiwan | 回傳 | 回傳 | 排除 | 排除 |
| 中文維基 日本 | 回傳 | 回傳 | 排除 | 排除 |
| Effective Go | 誤藏 | 回傳 | 排除 | 排除 |
| RFC 9112 | 回傳 | 回傳 | 排除 | 排除 |
| ECMAScript(1.8 MB) | 回傳 | 回傳 | 排除 | 排除 |
| example.com | 回傳 | 回傳 | 排除 | 排除 |
| GitHub go-rod | 回傳 | 回傳 | 排除 | 排除 |
| WWII(json) | 回傳 | 回傳 | 漏擋(102 KB) | 排除 |
- 舊版誤藏:舊版只用頁面開頭判斷整頁。Python stdtypes 的
maxsplit、Effective Go 的defer不在開頭,整頁被隱藏,agent 只能換來源。 - 舊版漏擋:舊版不判斷 json 的相關性,無關任務也收到 102 KB 的 WWII 內容。
內容篩選:無關的內容篩掉後再回傳
只看相關任務。每個任務指定 1-2 個必須出現的關鍵內容,回傳結果中找得到才算保留。
| 頁面/任務 | 關鍵內容 | 舊版 | 新版 |
|---|---|---|---|
| MDN Array.map/map 回傳什麼 | new array、callbackFn | 2/2 整頁 | 2/2 整頁 |
| Python stdtypes/maxsplit | maxsplit、sep | 0/2 被藏 | 2/2 篩選 |
| net/http/Client 逾時 | Timeout、Client | 2/2 整頁 | 2/2 篩選 |
| 英文維基 Taiwan/首都 | Taipei | 1/1 截斷 | 1/1 篩選 |
| 中文維基 日本/首都 | 東京 | 1/1 截斷 | 1/1 篩選 |
| Effective Go/defer | defer、LIFO | 0/2 被藏 | 2/2 篩選 |
| RFC 9112/chunked 格式 | chunk-size、last-chunk | 2/2 整頁 | 2/2 篩選 |
| ECMAScript/Number 型別 | Number type | 1/1 只有開頭 | 1/1 只留答案段落 |
| example.com/用途 | documentation | 1/1 整頁 | 1/1 整頁 |
| GitHub go-rod/rod 是什麼 | DevTools Protocol | 1/1 整頁 | 1/1 整頁 |
| WWII json/入侵波蘭 | 1 September 1939 | 1/1 但 JSON 不合法 | 1/1 JSON 合法 |
- 新版 15 項關鍵內容全數保留;8 個長頁面依任務逐段篩選,3 個短頁面本來就短,整頁回傳。
- 舊版沒有依任務篩選內容,只固定截斷在 100 KiB;答案在後段就拿不到,誤藏的 2 頁共遺失 4 項關鍵內容。
- ECMAScript 舊版雖然出現
Number type字樣,但只是開頭目錄中的提及;新版回傳的 1.3 KB 是定義本身。
內容減量:實際減少多少
基準是「未經任務篩選的 fetch_page 輸出」,也就是存進快取的內容(frontmatter 加上去雜訊後的正文)。ECMAScript 超過 1 MiB,以完整頁面大小為基準。只看相關任務;無關任務新版一律只回約 150-270 B 的提示。
| 頁面 | 未篩選 | 舊版 | 舊版減少 | 新版 | 新版減少 |
|---|---|---|---|---|---|
| MDN Array.map | 5.4 KB | 5.4 KB | 多 0.5% | 5.4 KB | 0% |
| Python stdtypes | 169 KB | 185 B | 99.9%(誤藏) | 9.0 KB | 94.6% |
| net/http | 84 KB | 84 KB | 0% | 17 KB | 79.6% |
| 英文維基 Taiwan | 224 KB | 100 KB | 55.4%(截斷) | 42 KB | 81.1% |
| 中文維基 日本 | 146 KB | 100 KB | 31.6%(截斷) | 19 KB | 87.1% |
| Effective Go | 96 KB | 197 B | 99.8%(誤藏) | 13 KB | 86.9% |
| RFC 9112 | 88 KB | 88 KB | 0% | 35 KB | 60.2% |
| ECMAScript | 1,806 KB | 100 KB | 94.5%(截斷) | 1.2 KB | 99.9% |
| example.com | 1.5 KB | 1.5 KB | 多 1.7% | 1.5 KB | 0% |
| GitHub go-rod | 2.2 KB | 2.1 KB | 2.9% | 2.1 KB | 4.1% |
| WWII json | 435 KB | 100 KB | 77.0%(JSON 不合法) | 167 KB | 61.5% |
| 合計 | 3,130 KB | 595 KB | 81.0% | 320 KB | 89.8% |
- 以 4 bytes 約 1 token 粗估:未篩選約 78 萬 tokens,新版約 8 萬,舊版約 15 萬。
- MDN、example.com 本來就短,不需要篩選,新版減少 0%。go-rod 的 4.1% 是兩次抓取時去雜訊結果略有差異。舊版短頁反而多出約 1-2%,是外層包的
Web page content:字樣,該字樣移除於 v1.3.17。 - WWII json 仍有 167 KB,是新版最大的輸出。篩選後的 json tree 不帶篩選標註,agent 收到時沒有段落已被刪除的提示。
耗時
| 範圍 | 舊版平均 | 新版平均 | 差距 |
|---|---|---|---|
| 一般頁面(20 個案例,不含 ECMAScript) | 5.14 s | 5.42 s | +0.28 s |
| 超過 1 MiB(ECMAScript 2 個案例) | 15.2 s | 20.7 s | +5.5 s |
耗時包含 Chrome 抓頁(每次都
force 重抓,不讀快取),大部分時間花在抓頁本身。新版多出的時間用於依任務逐段判斷;超過 1 MiB 的頁面要以細批次判斷開頭 1 MiB,成本最高。測試方式
- 舊版:commit
b45377ab,即 v1.3.16 發布的fetch_page行為;依賴為 go.mod 正式版(go-browser v0.3.4)。 - 新版:後來發布為 v1.3.17 的工作區版本,經 go.work 使用本地 go-browser(含
keep_links修正,已發布為 v0.3.5)、go-llm-router、go-pkg。 - 兩版都從工具入口
toolregister.Dispatch("fetch_page")呼叫並帶force: true;decision model 為typesafe@jev-latest;依序執行,避免互搶 Chrome 與 decision model。 - 每個案例只跑一次。decision model 每次的回答可能略有不同,邊緣段落的去留會浮動。
- 關鍵內容以字串比對判定,只能證明內容存在,不能證明回答品質;樣本為 11 個頁面,偏重英文技術文件。
- 減量基準是 readability 擷取正文並去雜訊後的輸出,不是網頁的原始 HTML;基準另外抓取一次,去雜訊結果可能與測試當下略有差異。
- 原始報告:doc/decision/fetchPage.zh.md。