便新网站可以出现在搜索结果

个文件，其中包含运行搜索引擎机器人的指令集合，或简单地向搜索引擎显示方法，以便您的网站可以在搜索引擎中建立索引。

所以，robots.txt在网站上提供了一个标志，以便robots.txt显示了传 美国电话号码表 达给搜索引擎的方式。

为什么 Robots.txt 很重要？
当建立一个新网站并与Google网站管理员工具连接时，Google将执行抓取过程，以中。除此之外，还有Google使用关键字进行的数据收集过程在网站等

Robots.txt 还可以分隔您不希望出现在搜索引擎中的页面。例如，如果您的网站有一个会员页面，该页面上的信息是私人的，只允许会员访问，那么您可以过滤该会员页面，使其不被抓取或不被抓取，以维护会员的隐私。这一页。所以，即使你不使用robots.txt，Google仍然会抓取网站上的所有页面。

robots.txt除了可以帮助阻止搜索引擎抓取网站之外，还可以减少网站页面必须承受的负载。

Cara Memperbaiki“虽然被 robots.txt 屏蔽但已编入索引”
当 Google 将不允许抓取的 URL 编入索引时，Google Search Console (GSC)中会显示消息“已被 robots.txt 阻止编入索引” 。



在某些情况下，当您在 robots.txt 文件中阻止抓取时，此类错误将立即成为问题。

因此，要解决此类错误消息，您需要执行如下故障排除过程来修复它。

如果您不希望该 URL 出现在索引中
您可以添加 noindex robots 元标记并确保允许抓取。如果您阻止某个页面被抓取，Google 仍然可以对其建立索引，因为抓取和索引是两个不同的东西。如果 Google 可以抓取某个网站页面，那么 Google 就无法审查 noindex 元标记，并且它仍然有可能对该网站页面建立索引，因为它仍然具有网站链接。