Understand how AI reads the web.

從 AI Crawler、AEO、GEO 到 Agentic Web,建立給人與機器都能理解的技術知識庫。

這個站回答一類具體問題:AI 系統怎麼取得網頁、怎麼理解它、以及什麼情況下會引用它。內容以官方文件與第一手伺服器記錄為準,不做預測,也不販售保證。

最新文章

所有技術文章 →

從這裡開始

這個站的資料從哪裡來

爬蟲目錄的觀測欄位不是抄自官方文件,而是來自 shell.fans(ShellFans 的官網)的伺服器端存取記錄——2026-06-18 至 2026-09-08,累計 10,784 筆 AI 爬蟲請求(已排除疑似偽冒的請求)。只用 shell.fans 自己的記錄,不含任何客戶網站的資料。

這件事有實際差別:官方文件的 UA 範例常常過期。例如在本觀測期間,GPTBot 從 7 月起送出的都是 GPTBot/1.4,而多數教學文章仍寫著 1.0。如果你的日誌比對規則是照文件寫死的,就會漏掉。

觀測資料的限制:樣本只來自 shell.fans 一個站台,流量規模與主題會影響哪些爬蟲來、來多少。這些數字用來理解「有哪些爬蟲、長什麼樣子」很合適,但不適合當作全網路的市佔或排名。
更正(2026-09-24):本頁先前引用的觀測數字把 shell.fans 與一個客戶網站的記錄合併計算,卻寫成「兩個站台」的第一手資料。現已只用 shell.fans 自己的記錄重算(期間不變)。改了什麼見AI 爬蟲目錄的更正說明。

這個站不做什麼