首頁 / AI 爬蟲目錄

AI 爬蟲目錄

15 種在實際流量中觀測到的 AI 爬蟲。每一筆的 User-Agent 都是 shell.fans 實際收到的字串，不是抄自文件。

發布 2026-09-08更新 2026-09-24最後查核 2026-09-08topcc.me 編輯部

資料來源：shell.fans（ShellFans 的官網）的伺服器端存取記錄，2026-06-18 ~ 2026-09-08，累計 10,784 筆 AI 爬蟲請求（已排除疑似偽冒的請求，見偽冒）。只用 shell.fans 自己的記錄，不含任何客戶網站的資料。「取得內容比例」指該爬蟲的請求中回傳 HTTP 200 的百分比。

2026-09-24 更正：本頁的觀測數字已全部重算，Google-Extended 改列為 robots.txt 控制權杖，先前「沒有任何一筆疑似偽冒」的說法已撤回。改了什麼見下方的更正說明。

本目錄實際觀測到的 AI 爬蟲（2026-06-18 ~ 2026-09-08，shell.fans，10,784 筆請求，已排除疑似偽冒）
爬蟲	廠商	用途	觀測次數	取得內容比例	身分可驗證
Amazonbot	Amazon	抓取網頁供 Amazon 的服務（含 Alexa 與 AI 產品）使用	2,726	65.0%	廠商未提供方法
Meta-ExternalAgent	Meta	抓取網頁供 Meta 的 AI 產品使用	1,886	80.7%	廠商未提供方法
ClaudeBot	Anthropic	抓取網頁作為模型訓練資料	1,623	76.6%	廠商未提供方法
Bytespider	ByteDance	抓取網頁供 ByteDance 的 AI 產品使用	730	60.8%	廠商未提供方法
OAI-SearchBot	OpenAI	建立 ChatGPT 搜尋的索引	652	81.9%	是（509/652 筆通過）
CCBot	Common Crawl	建立公開的網頁語料庫，多個 AI 模型以此作為訓練資料來源	567	54.1%	廠商未提供方法
Claude-User	Anthropic	使用者在對話中要求讀取特定網址時的即時抓取	553	63.7%	廠商未提供方法
ChatGPT-User	OpenAI	使用者在對話中要求讀取特定網址時，即時抓取該頁	477	87.8%	是（355/477 筆通過）
Claude-SearchBot	Anthropic	建立 Claude 網頁搜尋的索引	426	52.8%	廠商未提供方法
anthropic-ai	Anthropic	早期的 Anthropic 抓取識別字	369	35.8%	廠商未提供方法
Diffbot	Diffbot	結構化網頁資料抽取，供其知識圖譜產品使用	294	38.1%	廠商未提供方法
GPTBot	OpenAI	抓取網頁作為模型訓練資料	261	80.1%	是（211/261 筆通過）
PerplexityBot	Perplexity	建立 Perplexity 搜尋的索引	191	94.2%	是（146/191 筆通過）
Perplexity-User	Perplexity	使用者在 Perplexity 中要求讀取特定網址時的即時抓取	17	35.3%	是（17 筆都在查核啟用前）
cohere-ai	Cohere	抓取網頁供 Cohere 的模型使用	12	0.0%	廠商未提供方法

怎麼讀這張表

「取得內容比例」低不代表爬蟲有問題

這個數字多半反映的是你自己網站的路由歷史。shell.fans 沒拿到 200 的 3,325 筆請求中，1,725 筆（51.9%）是 404（網址不存在），1,408 筆（42.3%）是轉址（3xx）。404 多半是已經不存在的舊網址——那些路徑可能來自爬蟲的既有知識、外部連結或很久以前的抓取紀錄——也包含探測用的路徑；轉址則通常只是多走一步，爬蟲跟著轉址後仍可能取得內容。要降低這個數字，做法是為仍有外部連結的舊網址建立轉址，而不是去擋爬蟲。

「身分可驗證」的兩種情況要分開

標示「是」代表該廠商公布了 IP 網段或支援反向 DNS 正解，可以確認來源確實屬於它；本目錄以廠商公布的 IP 網段逐筆比對。括號裡「通過」以外的筆數都發生在 2026-07-02 查核啟用之前，當時只依 UA 記錄、沒有查核，不是驗證失敗。標示「廠商未提供方法」代表本目錄無從驗證——這不等於偽冒，但也不代表每一筆都是真的。

偽冒：已排除的請求

User-Agent 是請求方自己填的字串，任何人都能冒用。對廠商有公布 IP 網段的五支爬蟲（GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot、Perplexity-User），本目錄自 2026-07-02 起逐筆比對來源 IP：在網段內記為「通過」，不在網段內記為「疑似偽冒」，不計入觀測次數與取得內容比例。

偽冒的量並不小：查核啟用後，自稱這五支爬蟲的 6,768 筆請求中，5,547 筆（82.0%）被判定為疑似偽冒，其中 4,840 筆（87.3%）來自 Google Cloud 的 IP 網段。另有 603 筆自稱 Google-Extended——依 Google 文件，這個名稱不會出現在 Google 真正送出的請求裡（見 Google-Extended 一節）。這兩類請求都已排除。

可查核的五支爬蟲：2026-07-02 查核啟用後的結果（shell.fans）
自稱的爬蟲	通過	疑似偽冒（已排除）	疑似偽冒的比例
`GPTBot`	211	1,197	85.0%
`OAI-SearchBot`	509	1,050	67.4%
`ChatGPT-User`	355	1,829	83.7%
`PerplexityBot`	146	952	86.7%
`Perplexity-User`	0	519	100.0%
合計	1,221	5,547	82.0%

這個篩選有三個限制要一起看：

「疑似偽冒」的依據是廠商公布的網段清單。清單若不完整，真正的爬蟲也可能被誤判。
2026-07-02 查核啟用前的 377 筆請求沒有查核，已計入觀測次數，其中可能也有偽冒。
標示「廠商未提供方法」的爬蟲無法用這種方式篩選，它們的觀測次數只依 UA 判斷，可能包含冒用其名稱的請求（例如 cohere-ai 的紀錄）。無法驗證的 UA 本來就可以被任何人冒用，這是設計 robots.txt 或存取控制時必須納入的前提。

同一家廠商的多支爬蟲，用途可能完全不同

OpenAI 有三支（訓練、搜尋索引、使用者即時請求），Anthropic 也有三支。把它們當成同一件事來設定，是最常見的錯誤。詳見GPTBot 與 OAI-SearchBot 差在哪。

各爬蟲詳細資料

Amazonbot

欄位	內容
廠商	Amazon
用途	抓取網頁供 Amazon 的服務（含 Alexa 與 AI 產品）使用。
robots.txt 權杖	`Amazonbot`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
官方文件	https://developer.amazon.com/support/amazonbot
身分驗證	觀測期間未見可用的反向 DNS 驗證方法
驗證結果	無法查核。觀測次數只依 UA 判斷，可能包含冒用這個名稱的請求
本目錄觀測期間	2026-06-20 ~ 2026-09-08
觀測次數	2,726 次（取得內容 65.0%）

本目錄觀測到的請求量最高（2,726 次），取得內容比例 65.0%；沒拿到內容的請求中，404（網址不存在）567 次、轉址 380 次。

Meta-ExternalAgent

欄位	內容
廠商	Meta
用途	抓取網頁供 Meta 的 AI 產品使用。
robots.txt 權杖	`meta-externalagent`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))
官方文件	https://developers.facebook.com/docs/sharing/webmasters/crawler
身分驗證	觀測期間未見可用的反向 DNS 驗證方法
驗證結果	無法查核。觀測次數只依 UA 判斷，可能包含冒用這個名稱的請求
本目錄觀測期間	2026-06-18 ~ 2026-09-08
觀測次數	1,886 次（取得內容 80.7%）

UA 字串常偽裝成一般 Chrome 瀏覽器並在括號中附註身分，比對時不能只看開頭。本目錄觀測到的請求量第二高。

ClaudeBot

欄位	內容
廠商	Anthropic
用途	抓取網頁作為模型訓練資料。
robots.txt 權杖	`ClaudeBot`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
官方文件	https://support.anthropic.com/en/articles/8896518
身分驗證	觀測期間未見可用的反向 DNS 驗證方法
驗證結果	無法查核。觀測次數只依 UA 判斷，可能包含冒用這個名稱的請求
本目錄觀測期間	2026-06-18 ~ 2026-09-07
觀測次數	1,623 次（取得內容 76.6%）

Anthropic 目前使用三支不同的 UA（ClaudeBot、Claude-User、Claude-SearchBot），用途不同，robots.txt 需分別設定。

Bytespider

欄位	內容
廠商	ByteDance
用途	抓取網頁供 ByteDance 的 AI 產品使用。
robots.txt 權杖	`Bytespider`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
官方文件	（觀測期間未找到穩定的官方公開文件網址）
身分驗證	觀測期間未見可用的反向 DNS 驗證方法
驗證結果	無法查核。觀測次數只依 UA 判斷，可能包含冒用這個名稱的請求
本目錄觀測期間	2026-06-18 ~ 2026-09-08
觀測次數	730 次（取得內容 60.8%）

UA 字串有好幾種，其中不少偽裝成一般瀏覽器（例如上面這個 Android 行動瀏覽器的版本），身分寫在括號裡。

OAI-SearchBot

欄位	內容
廠商	OpenAI
用途	建立 ChatGPT 搜尋的索引。
robots.txt 權杖	`OAI-SearchBot`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot
官方文件	https://platform.openai.com/docs/bots
身分驗證	OpenAI 公布 IP 網段並支援反向 DNS 正解
驗證結果	509 筆通過（來源 IP 在廠商公布的網段內）；143 筆在 2026-07-02 查核啟用前，未查核。另有 1,050 筆自稱 OAI-SearchBot、來源 IP 卻不在網段內，判定為疑似偽冒，未計入觀測次數
本目錄觀測期間	2026-06-18 ~ 2026-09-08
觀測次數	652 次（取得內容 81.9%）

想被 ChatGPT 搜尋引用卻擋掉這一支，是最常見也最可惜的設定錯誤。

CCBot

欄位	內容
廠商	Common Crawl
用途	建立公開的網頁語料庫，多個 AI 模型以此作為訓練資料來源。
robots.txt 權杖	`CCBot`
User-Agent（shell.fans 實際收到的字串之一）	CCBot/2.0 (https://commoncrawl.org/faq/)
官方文件	https://commoncrawl.org/faq
身分驗證	觀測期間未見可用的反向 DNS 驗證方法
驗證結果	無法查核。觀測次數只依 UA 判斷，可能包含冒用這個名稱的請求
本目錄觀測期間	2026-06-19 ~ 2026-09-07
觀測次數	567 次（取得內容 54.1%）

Common Crawl 是非營利組織，其語料被多家 AI 公司使用。擋掉它等於同時影響多個下游模型。

Claude-User

欄位	內容
廠商	Anthropic
用途	使用者在對話中要求讀取特定網址時的即時抓取。
robots.txt 權杖	`Claude-User`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +claudebot@anthropic.com)
官方文件	https://support.anthropic.com/en/articles/8896518
身分驗證	觀測期間未見可用的反向 DNS 驗證方法
驗證結果	無法查核。觀測次數只依 UA 判斷，可能包含冒用這個名稱的請求
本目錄觀測期間	2026-07-09 ~ 2026-09-08
觀測次數	553 次（取得內容 63.7%）

與 ChatGPT-User 是對應角色，但本目錄觀測到的取得內容比例明顯較低（63.7% vs 87.8%）。

ChatGPT-User

欄位	內容
廠商	OpenAI
用途	使用者在對話中要求讀取特定網址時，即時抓取該頁。
robots.txt 權杖	`ChatGPT-User`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
官方文件	https://platform.openai.com/docs/bots
身分驗證	OpenAI 公布 IP 網段並支援反向 DNS 正解
驗證結果	355 筆通過（來源 IP 在廠商公布的網段內）；122 筆在 2026-07-02 查核啟用前，未查核。另有 1,829 筆自稱 ChatGPT-User、來源 IP 卻不在網段內，判定為疑似偽冒，未計入觀測次數
本目錄觀測期間	2026-06-18 ~ 2026-09-08
觀測次數	477 次（取得內容 87.8%）

取得內容比例 87.8%，在本目錄中僅次於 PerplexityBot，因為它抓的是使用者當下明確指定的網址。擋掉它等於拒絕一個主動想了解你的使用者。

Claude-SearchBot

欄位	內容
廠商	Anthropic
用途	建立 Claude 網頁搜尋的索引。
robots.txt 權杖	`Claude-SearchBot`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +claudebot@anthropic.com)
官方文件	https://support.anthropic.com/en/articles/8896518
身分驗證	觀測期間未見可用的反向 DNS 驗證方法
驗證結果	無法查核。觀測次數只依 UA 判斷，可能包含冒用這個名稱的請求
本目錄觀測期間	2026-07-19 ~ 2026-09-07
觀測次數	426 次（取得內容 52.8%）

2026 年 7 月中旬才首次在本目錄的觀測資料中出現，比 ClaudeBot 晚約一個月。

anthropic-ai

欄位	內容
廠商	Anthropic
用途	早期的 Anthropic 抓取識別字。
robots.txt 權杖	`anthropic-ai`
User-Agent（shell.fans 實際收到的字串之一）	anthropic-ai
官方文件	https://support.anthropic.com/en/articles/8896518
身分驗證	觀測期間未見可用的反向 DNS 驗證方法
驗證結果	無法查核。觀測次數只依 UA 判斷，可能包含冒用這個名稱的請求
本目錄觀測期間	2026-06-20 ~ 2026-08-02
觀測次數	369 次（取得內容 35.8%）

UA 字串極短、不含網址。本目錄自 2026-08-02 後未再觀測到它，可能已被 ClaudeBot 系列取代。

Diffbot

欄位	內容
廠商	Diffbot
用途	結構化網頁資料抽取，供其知識圖譜產品使用。
robots.txt 權杖	`Diffbot`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 (compatible; Diffbot/1.0; +https://diffbot.com)
官方文件	https://docs.diffbot.com/
身分驗證	觀測期間未見可用的反向 DNS 驗證方法
驗證結果	無法查核。觀測次數只依 UA 判斷，可能包含冒用這個名稱的請求
本目錄觀測期間	2026-07-19 ~ 2026-07-26
觀測次數	294 次（取得內容 38.1%）

觀測期間只在 7 月中下旬密集出現一週，之後未再見到——屬於間歇式抓取。

GPTBot

欄位	內容
廠商	OpenAI
用途	抓取網頁作為模型訓練資料。
robots.txt 權杖	`GPTBot`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)
官方文件	https://platform.openai.com/docs/bots
身分驗證	OpenAI 公布 IP 網段並支援反向 DNS 正解
驗證結果	211 筆通過（來源 IP 在廠商公布的網段內）；50 筆在 2026-07-02 查核啟用前，未查核。另有 1,197 筆自稱 GPTBot、來源 IP 卻不在網段內，判定為疑似偽冒，未計入觀測次數
本目錄觀測期間	2026-06-19 ~ 2026-09-08
觀測次數	261 次（取得內容 80.1%）

擋掉它只影響未來模型的訓練資料，不影響 ChatGPT 搜尋是否引用你的網站——那是 OAI-SearchBot 的工作。

PerplexityBot

欄位	內容
廠商	Perplexity
用途	建立 Perplexity 搜尋的索引。
robots.txt 權杖	`PerplexityBot`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
官方文件	https://docs.perplexity.ai/guides/bots
身分驗證	Perplexity 公布 IP 網段並支援反向 DNS 正解
驗證結果	146 筆通過（來源 IP 在廠商公布的網段內）；45 筆在 2026-07-02 查核啟用前，未查核。另有 952 筆自稱 PerplexityBot、來源 IP 卻不在網段內，判定為疑似偽冒，未計入觀測次數
本目錄觀測期間	2026-06-20 ~ 2026-09-04
觀測次數	191 次（取得內容 94.2%）

本目錄觀測到的取得內容比例最高（94.2%）。另有 Perplexity-User 負責使用者即時請求，本目錄觀測到的量少很多（17 次）。

Perplexity-User

欄位	內容
廠商	Perplexity
用途	使用者在 Perplexity 中要求讀取特定網址時的即時抓取。
robots.txt 權杖	`Perplexity-User`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user
官方文件	https://docs.perplexity.ai/guides/bots
身分驗證	Perplexity 公布 IP 網段
驗證結果	0 筆通過（來源 IP 在廠商公布的網段內）；17 筆在 2026-07-02 查核啟用前，未查核。另有 519 筆自稱 Perplexity-User、來源 IP 卻不在網段內，判定為疑似偽冒，未計入觀測次數
本目錄觀測期間	2026-06-20 ~ 2026-06-25
觀測次數	17 次（取得內容 35.3%）

列入觀測的 17 次都發生在查核啟用前（2026-07-02 之前）。之後自稱 Perplexity-User 的 519 次請求，來源 IP 全部不在 Perplexity 公布的網段內，判定為疑似偽冒而排除（若廠商的網段清單不完整，其中也可能有真的請求）。使用者主動要求型的抓取本來就取決於使用者行為，量少不代表該功能未被使用。

cohere-ai

欄位	內容
廠商	Cohere
用途	抓取網頁供 Cohere 的模型使用。
robots.txt 權杖	`cohere-ai`
User-Agent（shell.fans 實際收到的字串之一）	Mozilla/5.0 (compatible; cohere-ai; +https://cohere.com/crawler)
官方文件	https://cohere.com/crawler
身分驗證	觀測期間未見可用的反向 DNS 驗證方法
驗證結果	無法查核。觀測次數只依 UA 判斷，可能包含冒用這個名稱的請求
本目錄觀測期間	2026-09-06 ~ 2026-09-07
觀測次數	12 次（取得內容 0.0%）

12 次請求全部來自 Google Cloud 的 IP 網段，抓的幾乎都是 .env、.bashrc、雲端憑證這類敏感檔案路徑，全部沒有取得內容。這比較像冒用 cohere-ai 名稱的掃描器，而不是 Cohere 的爬蟲；廠商沒有提供驗證方法，本目錄無法確認。

robots.txt 控制權杖（沒有 User-Agent）

有些名稱只在 robots.txt 裡有意義，廠商不會用它當 User-Agent 送出請求。它們不是爬蟲，所以不在上面的觀測表中。

Google-Extended（robots.txt 控制權杖，不是爬蟲）

欄位	內容
廠商	Google
用途	讓網站決定 Google 爬蟲抓到的內容，能否用於訓練未來的 Gemini 模型，以及在 Gemini Apps 與 Vertex AI 的 Grounding with Google Search 中作為接地來源。
robots.txt 權杖	`Google-Extended`
User-Agent	沒有獨立的 User-Agent。Google 以既有的 Google 爬蟲 UA 抓取，這個名稱只在 robots.txt 裡作為控制權杖
官方文件	https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
身分驗證	不適用。Google 不會以這個名稱送出請求，UA 自稱 Google-Extended 的請求應視為偽冒
本目錄的處理	不列入觀測資料。shell.fans 在 2026-06-20 ~ 2026-09-07 收到 603 筆 UA 自稱 Google-Extended 的請求（其中 562 筆來自 Google Cloud 的 IP 網段），全部排除

Google 的官方文件寫明：Google-Extended 沒有獨立的 HTTP User-Agent 字串，抓取沿用既有的 Google User-Agent，robots.txt 裡的這個權杖只用來表達控制意願；它也不影響網站是否出現在 Google 搜尋，不是 Google 搜尋的排名訊號。

所以在 robots.txt 寫 User-agent: Google-Extended 是有效的設定；但在日誌裡用這個名稱找 Google 的 AI 抓取，找到的只會是冒用者。

更正說明（2026-09-24）

本頁 2026-09-08 的版本有三個錯誤，依更正政策在此說明改了什麼：

資料來源。舊版稱資料來自兩個站台，實際是把 shell.fans 與一個客戶網站的伺服器記錄合併計算，而且沒有說明其中一個是客戶網站。客戶網站的資料不應用在本站的公開內容，因此改為只用 shell.fans 自己的記錄重算。觀測期間不變（2026-06-18 ~ 2026-09-08），總數改為 10,784 筆；各爬蟲的觀測次數、取得內容比例、驗證筆數、首末觀測日與排名敘述全部依新資料重算，舊版的數字請勿再引用。
Google-Extended。舊版把它列為觀測到的爬蟲，寫出一個 User-Agent 字串，並標示大多數請求「通過驗證」。依 Google 官方文件，Google-Extended 沒有獨立的 User-Agent，只是 robots.txt 的控制權杖；那些「通過驗證」的請求來自 Google Cloud 上任何人都能租用的主機，是驗證程式把這類主機的反向 DNS 誤認為 Google 爬蟲。現在改列為控制權杖，自稱 Google-Extended 的請求一律視為偽冒、不計入。
偽冒。舊版宣稱觀測期間沒有發現驗證失敗或疑似偽冒的請求，這是錯的：當時的數字已經先排除了被判定為疑似偽冒的請求。實際比例與篩選方式見偽冒一節。

引用本站舊版數字的其他頁面（首頁、技術指南、關於、llms.txt）已同步更正。

資料來源

OpenAI — Bots and crawlers
Anthropic — Does Anthropic crawl data from the web?
Google — List of Google's common crawlers（Google-Extended）
Google — Overview of Google crawlers and fetchers
Perplexity — PerplexityBot
Amazon — Amazonbot
Common Crawl — FAQ
第一手觀測資料：shell.fans（ShellFans 的官網）的伺服器端存取記錄，2026-06-18 ~ 2026-09-08（不含客戶網站的資料）。