问题解决:已编入索引,尽管遭到 robots.txt 屏蔽

一定有人好奇,为什么 URL 已经被 robots.txt 文件屏蔽,还是会被谷歌索引?

导致该问题的原因

因为这个链接有可能是通过不同的提交来源,或者是其他的引荐来源获取的,谷歌并没有事先进行 robots.txt 的判断就将 URL 编入了索引。包括但不仅限如下这些情况:

  • 这些链接出现在了其他的的网页上(例如外链,大概率都是因为这个)
  • 这些链接之前是没有被屏蔽的,但是你之后又设置了屏蔽。
  • 这些链接被它人通过特殊方式进行了提交(例如 Ping,不太可能发生)
  • 这些链接,被你自己通过 Sitemap 的方式,或者是手动提交的方式给提交了。

解决方案

在浏览器中输入 主域名/robots.txt 查看自己的 robots.txt 文件,并对比 URL,确认屏蔽是否合理。

如果合理则忽略该提示(因为随着时间,谷歌会主动删除你的链接);如果不合理,则删除 robots.txt 中对应的命令。

如果觉得等待谷歌判断花费的时间较长,而你又是个急性子,那么建议你直接将 URL 301 重定向至有效的页面,或是首页。

需要关注的重点

如果被你用 robots.txt 屏蔽的页面是你的核心页面(落地页、搜索流量入口页等)那么必须及时调整 robots.txt 文件。否则时间长了谷歌有可能会主动将该链接移出索引!

推荐阅读:

无文章