抓取、索引和排名是三个先后不同、判定方式也不同的环节。抓取是搜索引擎发现并读取页面;索引是把读取后的内容存入可供检索的数据库;排名是用户搜索某个词时,页面能否被召回并出现在结果中的位置。判断问题出在哪一环,不能只看“搜不到”,而要分别观察抓取记录、索引状态和关键词表现。
当页面没有流量时,很多人直接归因于排名差,但实际可能停在前两步。可以按以下顺序观察:
site:限定查询该页面,看它是否被收录。没有出现,说明可能未索引,而不是排名低。这里的关键是:抓取是输入,索引是入库,排名是输出。三者不能互相替代。
观察之后,通常落入以下三种判断,每种的处理方向不同。
robots.txt、noindex、服务器错误或加载超时阻碍了抓取。应检查这些技术项,确认没有主动屏蔽。需要强调:同一现象可能有多个原因。例如“搜不到”既可能是未索引,也可能是排名太靠后。不要在没有核实的情况下断定唯一原因。
处理时要针对判断结果,而不是同时改所有东西,否则无法知道哪一步起了作用。
robots.txt是否误封、确认页面返回正常状态码。复查应间隔一段时间进行,并记录同一页面的前后状态。判断标准是:抓取记录是否增加、索引状态是否变化、目标词是否开始被召回。若只有排名位置小幅波动,通常属于正常竞争,不代表抓取或索引出了问题。
上述区分适用于自有站点或可查看后台数据的页面。对于无法获取抓取与索引报告的情况,只能通过site:查询和精确搜索做粗略推断,结论可靠性会下降。
常见误区是把“提交网址”等同于“一定被索引”,或把“被索引”等同于“有排名”。提交只是提示发现,索引由搜索引擎决定,排名还要经过关键词竞争。三者是递进关系,不是同一件事。下一步可以选一个目标页面,先确认它处于抓取、索引还是排名阶段,再只针对该阶段做一次调整并记录变化。