首頁 / 技術文章 / AEO/GEO 建議有多少官方依據?拆解 AI 搜尋的取得條件與引用選擇
技術文章
AEO/GEO 建議有多少官方依據?拆解 AI 搜尋的取得條件與引用選擇
常見 AEO/GEO 建議中,爬蟲用途與抓取規則有官方依據;特定寫法或標記能提高引用機率,則未獲本文涵蓋的平台文件證實。判斷這些建議,應先分清楚網站能否被取得,以及內容取得後是否被選為引用。
能被取得,是進入搜尋流程的條件,不是引用保證
討論 AI 搜尋優化時,最需要拆開的是兩個問題:平台能不能取得頁面,以及平台為什麼選擇這個頁面。前者涉及爬蟲用途與網站的抓取設定;後者涉及候選內容如何比對、排序,最後成為答案中的來源。把它們放進同一份優化清單,容易把開放抓取誤認為提高引用機率的證據。
以 OpenAI 的爬蟲文件為例,OAI-SearchBot 用於呈現 ChatGPT 搜尋結果,官方建議允許它抓取,以便網站出現在搜尋中。這支持的是取得層的設定方向,不能延伸成放行後必定被引用。網站能控制自己的放行規則,卻不能據此控制平台是否收錄、何時處理或最終選擇哪個來源。
常見 AEO/GEO 建議的依據判定表
下表判定的是建議所宣稱的效果,不是技術本身有沒有價值。同樣是整理內容,提供閱讀入口與提高引用機率,需要不同的證據。無一手來源表示本文涵蓋的文件沒有支持該項效果,不代表效果已被證明不存在。
| 建議或待確認問題 | 所屬層級 | 依據等級 | 文件支持的範圍與限制 |
|---|---|---|---|
| 允許 OAI-SearchBot 抓取 | 取得層 | 官方文件明載 | OpenAI 建議放行以便出現在 ChatGPT 搜尋中;不保證成為答案引用。 |
| 用 robots.txt 表達爬蟲存取規則 | 取得層 | 官方文件明載 | RFC 9309 規範爬蟲應遵守的規則;它不是存取授權機制。 |
| 區分 OAI-SearchBot 與 ChatGPT-User | 取得層 | 官方文件明載 | 兩者用途不同;辨識其中一個,不能代替對另一個用途的判斷。 |
| 提供 llms.txt 作為內容入口 | 取得層的輔助提案 | 提案但無平台承諾 | 提案提供背景、指引與內容連結;本文涵蓋的平台文件未承諾依此收錄或引用。 |
| 加入 schema.org 結構化資料以提高引用機率 | 選中層 | 無一手來源 | 本文涵蓋的來源未證實結構化資料會影響生成式答案的引用選擇。 |
| 採用問答格式以提高引用機率 | 選中層 | 無一手來源 | 可以作為編輯選擇,不能宣稱是平台確認的引用訊號。 |
| 加入摘要段落以提高引用機率 | 選中層 | 無一手來源 | 整理重點與被選為引用之間,缺少平台文件支持的因果關係。 |
| 增加統計、權威來源或更新頻率以提高引用機率 | 選中層 | 無一手來源 | 本文涵蓋的文件未公開這些因素是否構成引用訊號及其權重。 |
| 依 query fan-out 撰寫具體子問題的答案 | 從取得機制推論選中效果 | 官方文件明載機制;效果無一手來源 | Google 說明會發出相關搜尋;針對子問題寫作能否增加引用,仍是推論。 |
| fan-out 子查詢結果如何合併、哪些頁面成為連結 | 選中層 | 無一手來源 | 目前未知;Google 文件未公開合併與最終選擇細節。 |
| ChatGPT 是否使用第三方搜尋索引 | 取得層與選中層之間 | 無一手來源 | 目前未知;本文涵蓋的 OpenAI 文件未說明其使用情況及對引用的影響。 |
表中的取得規則主要依據 OpenAI 文件與 RFC 9309;搜尋展開方式依據 Google 的 AI 搜尋說明。這些文件各有適用範圍,不能把某一平台的機制視為所有生成式搜尋共同遵循的規格。
robots.txt 與爬蟲分工,回答的是取得問題
OpenAI 區分 OAI-SearchBot 與 ChatGPT-User:前者服務 ChatGPT 搜尋結果;後者在使用者提問時,依需要造訪頁面並在回答中附上來源連結。兩者是不同的 user agent,因此不能把所有 OpenAI 取用網站的行為視為同一個開關,也不能把其中一種造訪直接解讀為另一種搜尋用途的成果。
另一個界線來自 RFC 9309:robots.txt 規則不是存取授權機制。它規範爬蟲應如何遵守網站的存取意願,不能當作保護內容的權限驗證。若需求是限制未經授權的讀取,把拒絕規則寫進 robots.txt 並不足以完成這個目標。
對網站經營者而言,合理的決策單位應是各個 bot 的用途與預期曝光,而不是籠統的開放或封鎖 AI。取得條件的檢查也應與引用成效分開記錄;需要進一步拆解時,可參考判斷 AI 搜尋取得網頁的檢查關卡。即使確認了前段條件,也仍不能推定後段引用成立。
llms.txt 有提案依據,但沒有搜尋引用承諾
Answer.AI 提出的 llms.txt,建議網站提供 Markdown 格式的 /llms.txt,放入簡短背景、指引,以及更詳細內容的 Markdown 連結。提案沒有規定上下文必須如何組裝與格式化。因此,發布這個檔案與模型最後採用哪些內容,中間仍有未被提案規定的處理步驟。
llmstxt.org 的 llms.txt v2進一步把目的定位為幫助 agent 使用網站。這說明提案想解決的使用情境,並不構成 Google 或 OpenAI 對搜尋收錄、引用排序的承諾。評估依據時,應分清楚提案方對用途的描述,以及搜尋平台對實際採用方式的說明。
文件團隊可以基於整理入口、提供 agent 使用指引等需求,評估是否維護 llms.txt;這是合理的產品取捨。但若導入目標是增加 AI 搜尋引用,就需要另外建立成效證據。提案存在、網站發布檔案與搜尋採用檔案,是不同的主張,不能互相代替。
query fan-out 解釋搜尋如何展開,沒有揭露引用排序
Google 說明 AI Overviews 與 AI Mode 使用 query fan-out,針對問題發出多個相關搜尋,找出支持頁面並顯示相關連結。這表示理解答案來源時,不能只盯著原始查詢的一份排名列表;平台還可能透過相關搜尋取得候選內容。
假設讀者詢問企業該如何選擇知識管理工具,編輯可以把內容拆成權限管理、資料匯入與維護成本等具體問題。這只是示意性的內容規劃,不是 Google 實際發出的子查詢。從 fan-out 機制推論,檢視頁面能完整回答哪個子問題,可能比只看主關鍵字更有參考價值;但這仍不是已確認的引用優化公式。
缺少的關鍵環節是:相關搜尋的結果如何合併、候選頁面如何比較,以及哪些連結最後顯示。Google 文件沒有公開這些細節。問答格式或摘要段落可以讓編輯更清楚地組織內容,但不能因為它們符合對 fan-out 的想像,就宣稱平台會給予引用優勢。
企業應把設定交付與引用成效分開驗收
採購 AEO/GEO 服務時,本站的判斷是:應要求供應商把可查核的設定,與需要測量的成效分開列出。修改爬蟲規則、發布 llms.txt、調整問答段落,都是可以確認是否完成的工作;引用是否增加、增加是否由這些工作造成,則是另一組需要證據回答的問題。
若供應商主張某種改寫有效,較有判斷價值的材料應包含測試問題、查詢時間、引用頁面、改動內容與可比較的基準。單張答案截圖只能作為某次呈現的紀錄,不能獨自證明方法具有穩定效果。這是成效驗收的建議,不是平台公布的評分方式。
也不應為了迎合未證實的訊號,機械式增加統計、引用或更新日期。這些資訊應服務讀者理解與內容正確性。若提案的理由只有提高 AI 引用機率,卻無法提供平台依據或可比較的結果,企業就應把它列為實驗,而非已知有效的必要支出。
本文的依據與限制
這份判定限於 Google、OpenAI 的相關文件、Robots Exclusion Protocol 與 llms.txt 提案,沒有涵蓋 Perplexity、Copilot 等產品的來源選擇。本文涵蓋的平台文件未公開引用排序訊號與權重,不能因此推定平台沒有相關機制,也不能斷言所有內容調整都無效。
Google 表示,AI Overviews 讓使用者造訪更多元的網站,但這是平台自述。本文依據不足以獨立驗證流量變化,更不能把網站種類變多換算成個別出版者的流量成長。被取得、被引用與獲得商業回報,應各自驗證。
現階段較穩健的投入順序,是先依官方文件處理可控制的取得條件,再把內容改寫與標記導入視為有待驗證的實驗。接下來真正值得追蹤的訊號,是平台是否公開引用選擇依據,以及特定做法能否產生可比較、可重複的成效;在此之前,引用保證不應成為採購或技術決策的基礎。
常見問題
允許 OAI-SearchBot 抓取,就一定會被 ChatGPT 引用嗎?
不一定。OpenAI 建議允許 OAI-SearchBot 抓取,以便網站出現在 ChatGPT 搜尋中;這是取得層的條件,並非最終引用的保證。
llms.txt 是做 AEO/GEO 的必要設定嗎?
本文涵蓋的平台文件沒有將它列為搜尋收錄或引用的必要條件。llms.txt 是提供背景、指引與內容連結的提案,可依網站的 agent 使用需求評估,不宜把它當成提高引用機率的既定方法。
問答格式、摘要與 schema.org 結構化資料都沒有用嗎?
不能這樣推論。本文能判定的是,涵蓋的來源未證實這些做法能提高生成式答案的引用機率。是否採用應依內容與產品需求決定;若以引用成效為目標,仍需另行驗證。
封鎖 robots.txt 就能阻止 AI 讀取內容嗎?
不能把它當成強制存取控制。RFC 9309 明確區分爬蟲規則與存取授權;若要限制未經授權的讀取,需要另外處理存取權限。