但你也可以检查我们的其他指南

Robiul5615

检查站点是如何被索引的最简单的方法是到 Google Search Console 并检查 Coverage 报告。在这里，你可以准确地看到哪些页面被索引，哪些页面有警告，以及哪些页面被排除在外，以及为什么: Google 站长工具中的覆盖率报告 请注意，只有在没有任何问题的情况下对页面进行索引时，页面才会出现在搜索结果中。 如果你的页面没有被编入索引，那么可能会有许多问题导致这种情况。我们将看一看下面的顶部几个，以获得更深入的演练。 检查robots.txt文件 优先级: 高 robots.txt文件可以说是你网站上最简单的文件。但这是人们经常犯的错误。虽然你可能会建议搜索引擎如何抓取你的网站，它很容易出错。 大多数搜索引擎，尤其是 Google，都喜欢遵守你在 robots.txt 文件中设置的规则。因此，如果你告诉搜索引擎不要爬行和/或索引某些网址，甚至不小心你的整个网站，这就会发生。 下面是 robots.txt 文件的样子，它告诉搜索引擎不要抓取任何页面: 通过Robots.txt禁止搜索引擎 通常，这些说明即使在站点上线，也将这些说明留在文件中，从而阻止了站点被爬行。这是一个罕见的简单修复程序，可作为SEO的灵丹妙药。 你还可以通过将URL键入Google搜索控制台搜索栏来检查单个页面是否可以访问和索引。

如果尚未索引并且可以访问，则可以“请求索引”。 请求在Google站长工具中索引 Google 搜索控制 WhatsApp 号码数据 台的 Coverage 报告也可以让你知道你是否屏蔽了 robots.txt 中的某些页面，尽管它们被索引了: 通过robots.txt在Google站长工具中阻止页面 推荐阅读：robots.txt和seo：你需要了解的一切 机器人元标签 优先级: 高 Robot meta 标记是一个 HTML 片段，它告诉搜索引擎如何抓取或索引某个页面。它被放置在网页的 < head > 部分，看起来像这样:是最常见的。正如你所猜测的，它告诉搜索引擎不要索引页面。我们还经常在整个网站的页面上看到以下机器人元标签:  这告诉 Google 可以在 SERP 上免费使用你的任何内容。除非你添加 noindex 或 nonippet 指令，否则 WordPress 的 Yoast SEO 插件默认会添加这个。 如果页面上没有机器人元标签，搜索引擎会将其作为索引，follow，这意味着它们可以索引页面并抓取其上的所有链接。 但是Noindex实际上有很多用途： 对用户来说很少或没有价值的单薄页面 重复页面 管理员和感谢页面 内部搜索结果 PPC 登陆页 关于即将到来的促销、竞赛或产品发布的页面 重复的内容(使用权威标签建议索引的最佳版本) 但是不恰当的使用恰好也是一个顶级的可索引性问题。意外地使用错误的属性可能会对 SERP 上的显示产生不利影响，因此请记住小心使用它。 推荐阅读：机器人元标签和X机器人标签：你需要知道的一切 检查站点地图 优先级: 高 XML 站点地图可以帮助 Google 浏览网站上的所有重要页面。考虑到爬虫不能停下来问路，一个站点地图确保谷歌有一套说明，当涉及到爬行和索引你的网站。



但是，就像爬虫程序可能会意外地通过 robots.txt 文件被阻塞一样，网页可能会被排除在站点地图之外，这意味着爬虫程序可能不会获得优先级。 此外，通过在你的站点地图中包含不应该存在的页面，比如破碎的页面，你可以混淆爬虫程序并影响你的爬行预算(下面将详细介绍)。 你可以在网站诊断 > 所有问题 > 其他中查看网站地图问题。 Ahrefs 网站诊断中的网站地图问题 这里的主要内容是确保所有你想要索引的重要页面都在你的站点地图中，并避免包含任何其他内容。 推荐阅读：如何创建XML站点地图（并将其提交给Google） 检查抓取预算 优先级: 高(对于大型网站) 抓取预算是指搜索引擎可以抓取多少页面以及抓取的速度。 各种各样的事情影响爬行预算。其中包括网站上的资源数量，以及谷歌认为你的可索引页面的价值。 拥有一个大的抓取预算并不能保证你将排在搜索结果页面的顶部。但是，如果由于爬网预算问题而没有抓取所有关键页面，那么这些页面可能不会被索引。 如果你的网页很受欢迎，收到有机流量和链接，并且在网站内部链接良好，那么你的网页很可能会被扫描成你每日抓取预算的一部分。 新网页ーー以及那些没有内部或外部链接的网页，例如那些在较新网站上找到的网页ーー可能不会那么频繁地被搜索。 对于拥有数百万页面或经常更新的站点的大型站点，爬虫预算可能是一个问题。