解决收录失败：改版或迁移时应核对什么，先看这五类检查项
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /9fc1b4a5fea5.html
📄
解决收录失败：改版或迁移时应核对什么，先看这五类检查项
改版或迁移时出现收录失败，通常不是单一原因造成的。要核对的核心是：搜索引擎能否顺利抓取新地址、新页面是否仍返回正常内容、旧地址有没有把信号正确传递给新地址，以及站点有没有误伤自己的抓取通道。下面这份清单按“要查什么、怎么查、结果说明什么”组织，你可以逐项执行。
核对抓取通道：robots.txt 与页面可访问性
要查什么：新站或新目录是否被 robots.txt 误屏蔽，重要页面是否返回 200 而不是 404、403 或跳转链。
怎么查：直接打开 https://你的域名/robots.txt，逐行看 Disallow 是否覆盖了改版后的新路径；再用带状态码的工具或命令行请求几个代表性页面，记录返回码和最终 URL。
结果说明什么：如果 robots.txt 屏蔽了整站或关键目录，抓取会被直接阻断，此时页面即使内容正常也无法进入索引。需要特别注意：robots.txt 的限制只是阻止抓取，并不等于可靠的索引移除；反过来，解除屏蔽后也不保证立即收录，只代表抓取通道恢复。若页面返回 404，说明迁移时链接或重定向没配好；若返回 200 但内容为空或报错，则属于渲染或服务端问题。
核对旧地址与新地址的对应关系
要查什么：旧 URL 是否通过 301 永久重定向指向最相关的新 URL，而不是全部跳到首页。
怎么查：从旧站导出访问量较高或外链较多的 URL 列表，抽样请求每个旧地址，观察是否 301 到语义对应的新页面；同时检查是否存在重定向链（A→B→C）或重定向环。
结果说明什么：一对一或按主题归类的 301 能帮助搜索引擎把旧地址的信号转移到新地址。如果所有旧页面都跳首页，搜索引擎可能把大量不同主题的旧链接统一指向一个页面，稀释相关性。如果出现重定向链，抓取会消耗额外请求，且中途任一环出错都会导致失败。若旧地址直接返回 404 而没有重定向，外链带来的信号基本中断。
核对站点地图与内部链接
要查什么：站点地图是否只包含可索引的规范 URL，内部链接是否指向新地址而非旧地址或死链。
怎么查：打开站点地图文件，抽查其中的 URL 是否返回 200、是否与页面上的 canonical 一致；再随机点开导航、面包屑和正文内链，看是否还有指向旧域名或旧路径的链接。
结果说明什么：站点地图是发现新 URL 的辅助入口，但站点地图不保证收录；它只帮助搜索引擎知道有哪些地址存在。如果站点地图里混入 404、重定向或 noindex 页面，会浪费抓取预算并降低文件可信度。内部链接仍指向旧地址，会让抓取路径混乱，也可能让用户和搜索引擎反复进入重定向。
核对 canonical 与 meta robots 设置
要查什么：新页面是否错误地把 canonical 指向旧地址、其他页面或自身之外；是否误加了 noindex。
怎么查：查看页面 HTML 中的 <link rel="canonical"> 和 <meta name="robots">，确认 canonical 指向的是当前页面的规范新地址，robots 没有禁止索引。
结果说明什么：canonical 指向旧地址时，搜索引擎可能仍把旧地址当作规范版本，新地址难以单独获得收录。误加 noindex 会直接阻止页面进入索引。改版模板批量生成时，这两项最容易因配置继承而出错，应优先抽查列表页、详情页和分页。
比较两种处理方案：全站切换与分批迁移
方案一：全站一次性切换。适用条件是站点结构变化不大、旧新 URL 能建立清晰映射、团队能在切换后集中监控状态码和抓取错误。做法是提前准备好重定向表，切换后立即提交新站点地图并检查关键页面。判断结果是：若几天内抓取错误集中在少数模板，可针对性修复；若大面积 404 或重定向异常，说明映射表不完整，应回退或补配。
方案二：分批迁移。适用条件是站点规模大、栏目之间独立性较强，或旧站仍需继续运行一段时间。做法是按目录或栏目逐步切换，每批切换后核对收录与抓取数据，再推进下一批。判断结果是：若某一批出现异常，影响范围可控，便于定位是模板问题还是单页问题。代价是迁移周期更长，旧新两套地址会并存一段时间。
选择依据可以简化为三点：旧新 URL 能否一一对应、团队能否在切换后快速回滚、业务能否承受短期流量波动。能对应且能快速修复的，适合一次性切换；结构复杂或无法停站的，适合分批迁移。
改版迁移后的下一步
完成上述核对后，建立一份迁移检查表并保留每次抽查的状态码、canonical 和 robots 记录。之后定期查看抓取统计与索引覆盖报告，把新出现的 404、重定向异常和 noindex 页面逐项处理，直到新地址稳定进入索引。若某项长期无法收录，优先回到抓取通道和 canonical 两项复查，而不是反复提交站点地图。
