问题解决：已编入索引，尽管遭到 robots.txt 屏蔽

一定有人好奇，为什么 URL 已经被 robots.txt 文件屏蔽，还是会被谷歌索引？

导致该问题的原因

因为这个链接有可能是通过不同的提交来源，或者是其他的引荐来源获取的，谷歌并没有事先进行 robots.txt 的判断就将 URL 编入了索引。包括但不仅限如下这些情况：

• 这些链接出现在了其他的的网页上（例如外链，大概率都是因为这个）
• 这些链接之前是没有被屏蔽的，但是你之后又设置了屏蔽。
• 这些链接被它人通过特殊方式进行了提交（例如 Ping，不太可能发生）
• 这些链接，被你自己通过 Sitemap 的方式，或者是手动提交的方式给提交了。

解决方案

在浏览器中输入 主域名/robots.txt 查看自己的 robots.txt 文件，并对比 URL，确认屏蔽是否合理。

如果合理则忽略该提示（因为随着时间，谷歌会主动删除你的链接）；如果不合理，则删除 robots.txt 中对应的命令。

如果觉得等待谷歌判断花费的时间较长，而你又是个急性子，那么建议你直接将 URL 301 重定向至有效的页面，或是首页。

需要关注的重点

如果被你用 robots.txt 屏蔽的页面是你的核心页面（落地页、搜索流量入口页等）那么必须及时调整 robots.txt 文件。否则时间长了谷歌有可能会主动将该链接移出索引！