技術文章

用 robots.txt 允許 AI 搜尋、封鎖模型訓練的做法與限制

robots.txt 可以針對特定 User-Agent 表達「允許 AI 搜尋、禁止模型訓練」的偏好，但只在爬蟲業者提供分離 UA 並遵守規則時成立。