v1.3.21

fetch_page 篩選實測

最後更新


fetch_page 在 v1.3.17 改為依當下請求以 decision model 篩選頁面,本頁比較改版前(舊版)與改版後(新版)的實測差異。
比較聚焦三件事:
  1. 相關性:與任務無關的頁面是否被排除
  2. 內容篩選:與任務無關的段落是否在回傳前被篩掉,且關鍵內容仍保留
  3. 內容減量:實際交給 agent 的內容少了多少

結論


指標舊版新版
頁面相關性判斷正確19 / 2222 / 22
相關任務的關鍵內容保留11 / 15(另有 1 份截斷後不合法的 JSON)15 / 15
相關任務交給 agent 的內容(未篩選 3,130 KB)595 KB,減少 81.0%320 KB,減少 89.8%
無關任務交給 agent 的內容104 KB2.2 KB(只回提示)
平均耗時:一般頁面5.14 s5.42 s
平均耗時:超過 1 MiB 的頁面15.2 s20.7 s

舊版的減量主要來自固定截斷在 100 KiB,以及把相關頁面誤判為無關而整頁隱藏,是用遺失資訊換來的。新版的減量來自刪掉與任務無關的段落,關鍵內容全數保留。

兩版的處理方式


舊版新版
存進快取去雜訊並截斷後的結果只去雜訊(廣告、導覽列等)的原始內容
長頁面固定截斷在 100 KiB依任務逐段篩選,只回相關段落
頁面相關性只用頁面開頭判斷整頁,只處理 markdown短頁整頁判斷;長頁逐段判斷,沒有任何相關段落才排除;markdown 與 json 相同
超過 1 MiB截斷在 100 KiB取開頭 1 MiB,只保留直接回答任務的段落;找不到就回「頁面太大,建議下載」
錯誤頁依標題判斷依實際 HTTP 狀態碼與標題判斷

新版的依任務篩選發生在回傳前,剛抓取的內容與從快取取出的內容走同一套流程,同一頁換不同任務會得到各自篩選的結果。

快取與重新篩選


新版把「存什麼」和「回傳什麼」分開:
  1. 存進快取的是原始內容:抓取後只用 decision model 去除廣告、導覽列這類雜訊(markdown、未開 keep_links、內容不超過 1 MiB 時),其餘原樣存進 ToriiDB。快取不含依任務篩選的結果,也不含 withheld 訊息。
  2. 沒有快取時:先抓取並依第 1 點存入快取,再從這份原始內容依當下任務經 decision model 篩選後回傳。
  3. 有快取時:同一網址(同樣參數)再次取用,直接從快取取出原始內容,依當下任務重新經 decision model 篩選後回傳。

因此同一個網址被不同任務取用,不會沿用前一個任務的篩選結果。前一個任務判定無關,也不會讓下一個相關任務拿不到內容。
實測(英文維基 Taiwan,同一 session 先後兩個任務):
格式任務來源結果耗時
markdown怎麼烤酸種麵包抓取withheld,166 B7.6 s
markdown台灣首都快取篩選後 45 KB,含 Taipei0.7 s
json怎麼烤酸種麵包抓取withheld,160 B7.2 s
json台灣首都快取篩選後 113 KB,含 Taipei,JSON 合法1.4 s

兩次之後快取內容仍是完整原始頁面(markdown 229 KB、json 572 KB)。從快取取用省下抓頁時間,剩下的耗時是依任務重新篩選。

相關性:無關的頁面要排除


同一個頁面分別配一個相關任務與一個無關任務。相關任務不應被隱藏,無關任務應回 withheld。
頁面相關任務:舊相關任務:新無關任務:舊無關任務:新
MDN Array.map回傳回傳排除排除
Python stdtypes誤藏回傳排除排除
pkg.go.dev net/http回傳回傳排除排除
英文維基 Taiwan回傳回傳排除排除
中文維基 日本回傳回傳排除排除
Effective Go誤藏回傳排除排除
RFC 9112回傳回傳排除排除
ECMAScript(1.8 MB)回傳回傳排除排除
example.com回傳回傳排除排除
GitHub go-rod回傳回傳排除排除
WWII(json)回傳回傳漏擋(102 KB)排除

  • 舊版誤藏:舊版只用頁面開頭判斷整頁。Python stdtypes 的 maxsplit、Effective Go 的 defer 不在開頭,整頁被隱藏,agent 只能換來源。
  • 舊版漏擋:舊版不判斷 json 的相關性,無關任務也收到 102 KB 的 WWII 內容。

內容篩選:無關的內容篩掉後再回傳


只看相關任務。每個任務指定 1-2 個必須出現的關鍵內容,回傳結果中找得到才算保留。
頁面/任務關鍵內容舊版新版
MDN Array.map/map 回傳什麼new array、callbackFn2/2 整頁2/2 整頁
Python stdtypes/maxsplitmaxsplit、sep0/2 被藏2/2 篩選
net/http/Client 逾時Timeout、Client2/2 整頁2/2 篩選
英文維基 Taiwan/首都Taipei1/1 截斷1/1 篩選
中文維基 日本/首都東京1/1 截斷1/1 篩選
Effective Go/deferdefer、LIFO0/2 被藏2/2 篩選
RFC 9112/chunked 格式chunk-size、last-chunk2/2 整頁2/2 篩選
ECMAScript/Number 型別Number type1/1 只有開頭1/1 只留答案段落
example.com/用途documentation1/1 整頁1/1 整頁
GitHub go-rod/rod 是什麼DevTools Protocol1/1 整頁1/1 整頁
WWII json/入侵波蘭1 September 19391/1 但 JSON 不合法1/1 JSON 合法

  • 新版 15 項關鍵內容全數保留;8 個長頁面依任務逐段篩選,3 個短頁面本來就短,整頁回傳。
  • 舊版沒有依任務篩選內容,只固定截斷在 100 KiB;答案在後段就拿不到,誤藏的 2 頁共遺失 4 項關鍵內容。
  • ECMAScript 舊版雖然出現 Number type 字樣,但只是開頭目錄中的提及;新版回傳的 1.3 KB 是定義本身。

內容減量:實際減少多少


基準是「未經任務篩選的 fetch_page 輸出」,也就是存進快取的內容(frontmatter 加上去雜訊後的正文)。ECMAScript 超過 1 MiB,以完整頁面大小為基準。只看相關任務;無關任務新版一律只回約 150-270 B 的提示。
頁面未篩選舊版舊版減少新版新版減少
MDN Array.map5.4 KB5.4 KB多 0.5%5.4 KB0%
Python stdtypes169 KB185 B99.9%(誤藏)9.0 KB94.6%
net/http84 KB84 KB0%17 KB79.6%
英文維基 Taiwan224 KB100 KB55.4%(截斷)42 KB81.1%
中文維基 日本146 KB100 KB31.6%(截斷)19 KB87.1%
Effective Go96 KB197 B99.8%(誤藏)13 KB86.9%
RFC 911288 KB88 KB0%35 KB60.2%
ECMAScript1,806 KB100 KB94.5%(截斷)1.2 KB99.9%
example.com1.5 KB1.5 KB多 1.7%1.5 KB0%
GitHub go-rod2.2 KB2.1 KB2.9%2.1 KB4.1%
WWII json435 KB100 KB77.0%(JSON 不合法)167 KB61.5%
合計3,130 KB595 KB81.0%320 KB89.8%

  • 以 4 bytes 約 1 token 粗估:未篩選約 78 萬 tokens,新版約 8 萬,舊版約 15 萬。
  • MDN、example.com 本來就短,不需要篩選,新版減少 0%。go-rod 的 4.1% 是兩次抓取時去雜訊結果略有差異。舊版短頁反而多出約 1-2%,是外層包的 Web page content: 字樣,該字樣移除於 v1.3.17。
  • WWII json 仍有 167 KB,是新版最大的輸出。篩選後的 json tree 不帶篩選標註,agent 收到時沒有段落已被刪除的提示。

耗時


範圍舊版平均新版平均差距
一般頁面(20 個案例,不含 ECMAScript)5.14 s5.42 s+0.28 s
超過 1 MiB(ECMAScript 2 個案例)15.2 s20.7 s+5.5 s

耗時包含 Chrome 抓頁(每次都 force 重抓,不讀快取),大部分時間花在抓頁本身。新版多出的時間用於依任務逐段判斷;超過 1 MiB 的頁面要以細批次判斷開頭 1 MiB,成本最高。

測試方式


  • 舊版:commit b45377ab,即 v1.3.16 發布的 fetch_page 行為;依賴為 go.mod 正式版(go-browser v0.3.4)。
  • 新版:後來發布為 v1.3.17 的工作區版本,經 go.work 使用本地 go-browser(含 keep_links 修正,已發布為 v0.3.5)、go-llm-router、go-pkg。
  • 兩版都從工具入口 toolregister.Dispatch("fetch_page") 呼叫並帶 force: true;decision model 為 typesafe@jev-latest;依序執行,避免互搶 Chrome 與 decision model。
  • 每個案例只跑一次。decision model 每次的回答可能略有不同,邊緣段落的去留會浮動。
  • 關鍵內容以字串比對判定,只能證明內容存在,不能證明回答品質;樣本為 11 個頁面,偏重英文技術文件。
  • 減量基準是 readability 擷取正文並去雜訊後的輸出,不是網頁的原始 HTML;基準另外抓取一次,去雜訊結果可能與測試當下略有差異。
  • 原始報告:doc/decision/fetchPage.zh.md。
EN