robots.txt写法 - 用最小修复试验定位抓取限制问题
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d938171536d9.html
📄
robots.txt写法 - 用最小修复试验定位抓取限制问题
最小修复试验的核心做法是：每次只改一条规则，改完后用具体URL验证它是否从“被禁止”变为“可抓取”，并观察搜索引擎是否重新抓取。不要一次重写整个文件，否则无法判断是哪条规则起了作用。下面从一个假设例子展开，说明怎样安排这种试验。
假设场景：一个被误伤的目录
假设某站点的 robots.txt 原本写着 Disallow: /search，后来站内新增了 /search-guide/ 这个内容目录。由于前缀匹配，/search-guide/ 也被一并禁止抓取。运营方想恢复这个目录的抓取，同时保留对 /search 的禁止。这就是一个适合做最小修复试验的场景。
常见错误是直接把 Disallow: /search 删掉，结果 /search 也被放开；或者写成 Disallow: /search-guide/ 的允许规则，但顺序和语法处理不当。正确思路是先明确目标：只放开 /search-guide/，继续拦住 /search。
方案对比：改规则还是改路径
面对这种前缀冲突，通常有两种处理方案，适用条件不同。
- 方案一：细化禁止路径。把
Disallow: /search改为更精确的写法，例如Disallow: /search?或Disallow: /search/，让/search-guide/不再命中。适用条件是原禁止目标本身有稳定特征，比如都带查询参数或都位于某个子目录。 - 方案二：显式允许例外。保留原禁止规则，另加
Allow: /search-guide/。适用条件是禁止范围较宽、无法用一条规则精确收窄，且需要放开的路径数量有限。
判断依据是：改完后用目标URL实测，看它是否仍被禁止。如果两种方案都能达到目的，优先选规则更少、更易读的那个，因为规则越少，后续误伤的概率越低。
最小修复试验的执行步骤
- 先备份当前 robots.txt 内容，记录修改前的原文。
- 只改一条规则，其他行保持不动。比如只把
Disallow: /search改为Disallow: /search?。 - 用目标URL逐一验证：
/search-guide/应变为可抓取，/search?q=test应仍被禁止，/search/按你的预期确认。 - 如果结果符合预期，再观察搜索引擎对该目录的重新抓取情况；如果不符合，回滚这一条改动，换另一种方案重试。
- 确认稳定后，把这次改动原因和验证结果记在变更记录里，方便下次排查。
验证时要注意：robots.txt 的抓取限制只影响爬虫是否抓取，不等于可靠的索引移除。一个URL被禁止抓取后，它仍可能因为外部链接而出现在搜索结果里，只是摘要信息受限。所以不要用“加了 Disallow 就会从搜索结果消失”来判断试验是否成功。
检查项与判断结果
每次试验结束，按下面几项核对：
- 目标路径是否从被禁止变为可抓取；
- 原本要拦住的路径是否仍然被禁止；
- 是否误伤了其他同前缀路径；
- 文件语法是否正确，比如
User-agent与规则是否配对、冒号后是否有空格、大小写是否一致。
如果目标路径已可抓取，但搜索引擎迟迟不重新抓取，这不一定是写法问题。抓取频率受站点权重、链接结构、站点地图等因素影响，站点地图也不保证收录。此时应检查内链是否指向该目录、是否有其他页面引用，而不是继续改 robots.txt。另外，不同搜索引擎对 Allow 与 Disallow 的优先级处理可能不同，需要分别核查，不能只看一个引擎的结果就下结论。
下一步：挑一个你站点里疑似被前缀规则误伤的目录，按上面的步骤只改一条规则，记录修改前后的验证结果，再决定是保留该方案还是换用另一种写法。
