Understand how AI reads the web.
從 AI Crawler、AEO、GEO 到 Agentic Web,建立給人與機器都能理解的技術知識庫。
這個站回答一類具體問題:AI 系統怎麼取得網頁、怎麼理解它、以及什麼情況下會引用它。內容以官方文件與第一手伺服器記錄為準,不做預測,也不販售保證。
最新文章
從這裡開始
這個站的資料從哪裡來
爬蟲目錄的觀測欄位不是抄自官方文件,而是來自 shell.fans(ShellFans 的官網)的伺服器端存取記錄——2026-06-18 至 2026-09-08,累計 10,784 筆 AI 爬蟲請求(已排除疑似偽冒的請求)。只用 shell.fans 自己的記錄,不含任何客戶網站的資料。
這件事有實際差別:官方文件的 UA 範例常常過期。例如在本觀測期間,GPTBot 從 7 月起送出的都是 GPTBot/1.4,而多數教學文章仍寫著 1.0。如果你的日誌比對規則是照文件寫死的,就會漏掉。
觀測資料的限制:樣本只來自 shell.fans 一個站台,流量規模與主題會影響哪些爬蟲來、來多少。這些數字用來理解「有哪些爬蟲、長什麼樣子」很合適,但不適合當作全網路的市佔或排名。
更正(2026-09-24):本頁先前引用的觀測數字把 shell.fans 與一個客戶網站的記錄合併計算,卻寫成「兩個站台」的第一手資料。現已只用 shell.fans 自己的記錄重算(期間不變)。改了什麼見AI 爬蟲目錄的更正說明。
這個站不做什麼
- 不賣服務。這裡沒有詢價表單,也沒有把讀者導向購買流程的設計。
- 不提供排名保證。沒有任何方法能保證 AI 引用特定網站,本站不做這種承諾。
- 不做廠商排行榜。比較文只列差異與適用情境,不排名次。