Blocked due to other 4xx issue

如何修复 Google Search Console 中的“因其他 4xx 问题而被阻止”

“由于其他 4xx 问题而被阻止”,英文为“Blocked due to other 4xx issue”错误意味着您的页面使用 401、403、404 或 Soft 404 以外的 4xx HTTP 响应代码之一进行响应,因此,该页面被阻止编入索引。

尽管 4xx 客户端错误列表令人印象深刻,但一些 HTTP 状态代码很少见。 这就是为什么 Google 将它们全部归类为 “由于其他 4xx 问题而被阻止 ”状态,而不是 401、403、404 和 Soft 404 问题,这些问题在页面索引报告中由不同的状态表示。 但是,在我们开始之前,您需要知道 Google 在对 4xx 错误进行排序方面并不完美”。这意味着有时您也可能会遇到一些处于“由于其他 4xx 问题而被阻止”状态的 404。

为了帮助您避免不必要的混淆,让我指导您了解解决此问题的常见原因和方法。

文章目录

“由于其他 4xx 问题而被阻止”的常见原因

如果您在网页索引编制(索引覆盖率)报告中看到“由于其他 4xx 问题而被阻止”,则表示:

  • Googlebot 向您的服务器发送了一个请求,以检索给定的网页
  • 由于浏览器或搜索引擎端(客户端)出现错误,服务器使用 4xx HTTP 状态代码之一进行响应。

尽管某些 4xx 错误很少见,但请记住,您的网站越大,您遇到这些问题的可能性就越大。

让我们探讨一下最常见的 4xx 错误,这些错误可能会在 Google Search Console 中触发 “由于其他 4xx 问题而被阻止”。

“Bad request (400)” “错误请求 (400)”

400 HTTP 响应代码反映了由于您发送的请求不当,您的服务器无法为给定页面提供服务的情况。

此响应代码背后的原因可能是指 URL 结构不正确或上传的文件超出服务器上传限制等。

“Blocked due to unauthorized request (401)”“由于未经授权的请求而被阻止 (401)”

因未经授权的请求而被阻止 (401)”是在 Google Search Console 中单独状态中涵盖的 4xx 问题之一。

如果您看到页面的 401 HTTP 响应代码,则表示请求的 URL 隐藏在登录表单后面。

大多数情况下,您会故意阻止此类页面,因为您不希望机器人和用户随机在 Web 上看到您的内容。

否则,请研究 Google Search Console 显示状态的原因。

“Blocked due to access forbidden (403)”“由于禁止访问 (403) 而被阻止”

让页面返回 403 HTTP 状态代码意味着,当浏览器或搜索引擎请求时,您的服务器拒绝授予对 URL 的访问权限。

尽管在某些情况下页面以此状态响应是完全正常的,但不受控制的 “Blocked due to access forbidden (403)” 可能会导致您网站上的进一步 SEO 问题。

这也是 Google 在页面索引编制报告中为 4xx 问题指定单独状态的另一种情况。

“Not found (404)” “未找到 (404)”

404 HTTP 状态代码表示服务器找不到请求的页面,因为它不再存在于您的网站上。

虽然听起来很可怕,但有时设置 404 状态代码可能是由于优化您网站上的孤立重复内容造成的。 由于 Google 以单独的状态涵盖了这个问题,我决定仔细研究一下。阅读文章,了解何时修复 Google Search Console 中的“未找到 (404)”问题。

“Soft 404”

虽然它不是官方的 HTTP 响应代码,但 “Soft 404” 是 Google Search Console 检测到的最常见的问题之一,它在 Page Indexing 报告中由单独的状态表示。

“Gone (410)” 消失 (410)

410 HTTP 状态代码表示页面已从您的网站中永久删除。

一般来说,此状态应该是您深思熟虑的结果。

您希望页面何时返回 410 状态代码?当页面:

  • 对您的网站没有搜索需求或商业价值,因此您不希望它不再存在,
  • 有助于浪费您的抓取预算。这样,设置 410 状态代码会向 Googlebot 表明无需进一步抓取,并且它应该会从索引中删除该网址。

尽管这些 URL 的结果与 404 的结果相同,但请记住,410 状态代码对于您的 Pages 发生了什么更具体。

这样,设置 410 HTTP 状态代码可以比标准 404 更快地从 SERP 中删除不需要的内容。

但要注意:由于它与 404 错误相似,您有时可能会在“未找到 (404)”状态页面报告中发现“消失 (410)”。

“Length Required (411)” “所需长度 (411)”

如果您看到某个页面的 411 HTTP 响应代码,则表示您的浏览器可能尚未定义 content-length 标头。

从服务器的角度来看,content-length 标头对于评估请求大小至关重要。 要解决此问题,您应该联系您的开发团队以设置正确的标头。

“Too many requests (429)”“请求过多 (429)”

“请求过多 (429)”与上述其他 4xx 状态不同,因为 Google 将此视为服务器错误。  为什么?当您的服务器使用 429 HTTP 响应代码进行响应时,这意味着它在给定时间段内收到了太多请求,例如,来自搜索引擎爬虫的请求。

但是,从 Google 的角度来看,像 Googlebot 这样的友好机器人不会使服务器过载,因为它们会在服务器变慢时限制它们发送的请求数量。因此,Google 认为这种情况来自您服务器自身的问题。

但请记住,还有其他搜索引擎爬虫和机器人正在向您的服务器发送请求,从而影响其处理能力。

例如,有时即使 Googlebot 只发送了一个请求,您的服务器仍然可能“太多”无法管理,因此它会返回 429。

如果您遇到“请求过多 (429)”的情况,请尝试清除浏览器缓存或考虑联系您的托管服务提供商。

如何修复“因其他 4xx 问题而被阻止”

由于“由于其他 4xx 问题而被阻止”状态是由于客户端的错误导致的,因此您可能无法在浏览器中复制给定的问题。

这并不意味着问题不存在。但是,这表明您网站的一些访问者遇到了这个问题,因此解决它对您来说仍然至关重要。

让我指导您完成分步过程,以帮助您导航和修复“由于其他 4xx 问题而被阻止”。

在 Google Search Console 中分析受影响页面的列表

no index reasons

进入 Page indexing (Index Coverage) 报告,然后前往状态页面以分析 “Blocked due to other 4xx issue” URL。

  • 检查您的网页数量受到影响,以评估您的问题可能有多严重
  • 在页面的 URL 结构中查找任何模式。尝试观察受影响的 URL 是否属于同一类别。然后,它们很可能基于相同的模板,这可能更容易进一步分析和解决问题。

当您进入状态页面时,单击倒金字塔符号以过滤掉要分析的给定路径的 URL。

然后,您可以使用 URL 检查工具进一步研究每个受影响的页面。 网址检查工具可以帮助您诊断 Google 抓取网页的频率或发现网页的方式。 但是,对于“由于其他 4xx 问题而被阻止”,Google 无法定义引用页面或站点地图是很常见的。那么,诊断问题的根源可能是一项真正的斗争。

在这种情况下,请不要害怕在“由于其他 4xx 问题而被阻止”页面上咨询您的开发人员。由于他们应该全面了解您网站的历史记录和文件依赖关系,因此他们可以为您提供有关这些问题的可能原因的线索。

检查“由于其他 4xx 问题而阻止提交的 URL”

“由于其他 4xx 问题而阻止提交的 URL”以前是一个单独的 Google Search Console 状态。

没有改变的是,监控是否有任何受影响的 URL 被添加到您的 XML 站点地图中,这仍然是您在 Google Search Console 中分析不可或缺的一部分。 现在可以在报告左上角的“All submitted URLs”(所有提交的 URL)中筛选出所有受影响的 URL,以查找添加到站点地图的 URL。

在理想情况下,你的站点地图文件应该只包含以 200 状态代码响应的页面。 否则,您需要优先删除受影响的页面。 即使你故意让你的一些页面响应 “由于其他 4xx 问题而被阻止”,比如 “消失 (410)”,你也需要记住,将这些页面添加到你的站点地图可能会浪费你的抓取预算。

更重要的是,如果你正在管理一个大型网站,除了在 Google Search Console 中查看列表外,你还应该对你的站点地图进行完全抓取。请记住,由于 Page indexing 报告显示了 1000 个页面的样本,因此它可能只能让您了解您提交的页面的情况。

分析内部链接

还应该优先考虑的另一个步骤是监控您 指向 “Blocked due to other 4xx issue” 页面内部链接

根据 Google 的官方文档,“提供 4xx HTTP 状态代码(429 除外)的页面不会浪费抓取预算”,许多指向 4xx 页面的内部链接实际上可能会影响 Google 抓取您网站的方式。

为什么?因为当您广泛链接到您可能不关心的页面时,Googlebot 会认为它们对您实际上很重要。因此,机器人会耗尽其资源来获取最终无法查看或访问的内容。

这就是为什么检查指向 4xx 页面的内部链接应该至关重要,尤其是当您确定其中一些页面(如 “Gone (410)”)永久留在您的网站上时。

如果你无法在 URL 检查工具中跟踪引用页面,你应该对你的网站执行完全抓取。为此,您可以利用 Screaming Frog 或 Deepcrawl 等 SEO 爬虫。

要解决不正确的内部链接问题,您可以:

  • 删除指向 4xx 页面的损坏链接(这些通常是 404 或 400 页面)
  • 将 4xx 页面中的链接替换为使用 200 状态代码响应的相关链接。

如果您想保持这些页面的内部链接不变,请继续阅读以了解更多修复 “Blocked due to other 4xx issue” 页面的策略。

当你把所有你能榨干的东西都从 Google Search Console 中挤出来时……

这个阶段可能是你整个过程中的转折点,因为它应该会帮助你决定下一步。

这是你需要评估问题的规模以及解决 “由于其他 4xx 问题而被阻止 ”如何适用于你网站的紧急 SEO 优先事项的时候。

可以考虑两种可能的解决方案:

在以下情况下忽略“由于其他 4xx 问题而被阻止”:

  1. 只有少数问题不会对您的网站产生重大影响,并且您知道它们不需要立即关注或
  2. 这是由您的故意行为引起的,例如,设置 410 HTTP 状态码。

在以下情况下,请对“因其他 4xx 问题而被阻止”页面进行全面分析:

  1. 受影响的页面数量很大或持续增长,并且
  2. 你不知道如何处理这些问题,或者它们可能会导致哪些进一步的 SEO 问题。

如果第二种选择适合您,那么我们进行进一步分析!

识别触发“由于其他 4xx 问题而被阻止”的响应代码

一旦您决定您的 “Blocked due to other 4xx issue” 页面需要采取一些进一步的措施,您应该检查它们返回的响应代码。

您可以在 Google Search Console 中找到它,因此现在是您可以深入了解 Chrome DevTools 的时候。

可以在浏览器中模拟 Googlebot 用户代理,并检查给定网页返回的状态代码。 为此,请前往“网络”并打开控制台底部的“网络条件”选项卡。 然后,要模拟 Googlebot 用户代理,请取消点击用户代理部分中的“使用浏览器默认值”,并从下拉列表中选择“Googlebot 智能手机”。

在上面的主控制台中,您将看到页面上使用的特定文件和资源返回的状态代码。

另一个简单的解决方案是使用 Link Redirect Trace 工具。此 Google Chrome 扩展程序使您能够在实时浏览任何网站时跟踪页面的 HTTP 状态 。

另一种选择是查看您的服务器日志。这是您可以利用我们的服务器日志分析的时间。 当您知道“因其他 4xx 问题而被阻止”的确切响应代码时,您可以指定以下操作。

例如,这些可能与识别 URL 中的任何拼写错误有关,以解决“错误请求 (400)”错误,或者在“由于访问禁止而被阻止 (403)”的情况下处理您的 .htaccess 文件。

重定向受影响的页面

如果你无法解决你正在努力解决的特定问题,一个好的做法可能是使用 301 重定向来重定向你的页面。

这也是一个有效的解决方案,尤其是当受影响的 URL 出现以下情况时:

  • 是您网站结构的重要组成部分,对您的业务很有价值,并且
  • 有许多反向链接指向它。

通过阅读我们的重定向指南并解决 Google Search Console 中的 “重定向错误” 问题,了解如何以对 SEO 友好的方式重定向您的页面。

注意:有时,Google Search Console 中 “由于其他 4xx 问题而被阻止 ”数据的数据可能不准确和不是最新的。

例如,即使你重定向了给定的页面,Google 也没有获取你的最新更改,因为它可能不会定期抓取这些页面。

因此,在采取行动之前,请务必仔细检查受影响 URL 的当前 HTTP 响应代码。

设置另一个 4xx 状态

如果 “Blocked due to other 4xx issue” 页面不再适用于你的网站策略,或者你无法修复特定的 4xx 错误,请考虑将状态更改为 404 或 410。

当您让 Googlebot 知道某个网页不存在时,一段时间后,它会将其抓取限制在最低限度,因为它知道没有可找到的内容。

此外,看到信息丰富的 404 页面而不是空白页面可能有助于在您的网站上获得更好的用户体验。

总而言之,当它们是随机的个别案例时,“因其他 4xx 问题而被阻止”很少导致 SEO 噩梦。但是,在更大的范围内,如果没有足够的经验,这些问题可能会导致重大问题。

请记住,在管理大型网站时,您必须仔细决定您的 SEO 优先级。

要正确处理 “由于其他 4xx 问题而被阻止”,你需要改进网站的技术 SEO 策略,以避免不受控制的混乱。

后续步骤

以下是现在可以执行的操作:

  1. 联系我们
  2. 接收个性化计划来处理您的 4xx 问题。
  3. 享受你的自然流量!

仍然不确定要给我们留言?阅读技术 SEO 服务如何帮助你改进网站。

为什么您应该注意“由于其他 4xx 问题而被阻止”

Google 对大多数“因其他 4xx 问题而被阻止”页面(“请求过多 (429)”除外)一视同仁,无法提供这些页面,因此 Googlebot 认为所请求的内容不存在。

如果您不以任何方式解决这个问题,您可能会限制您的网站对您有价值的内容进行索引和排名的潜力。

此外,请记住,您应该定期监控您的网站,以确保不会忽略任何重大错误。

例如,您可以在网站的暂存版本上找到一些 4xx 错误。当您的网站未上线时,Google Search Console 应该无法检测到它们。因此,您需要密切关注此类错误,因为在执行网站迁移时也很可能会错过它们。

此外,在极少数情况下,即使您的页面使用 200 状态代码进行响应,Google 也可能会将其分配为“由于其他 4xx 问题而被阻止”。对您的网站了如指掌对于确保各种工具显示正确的信息至关重要。

结束语

Google Search Console 中的“由于其他 4xx 问题而被阻止”概述了您的某些页面可能会响应的 4xx 错误。

尽管其中一些问题可能不是要解决的关键索引问题,但请记住,Google 在页面索引编制(索引覆盖率)报告中显示这些问题是有原因的。

联系我们对您的网站进行彻底的技术 SEO 审核,以找出可能发展成重大问题并损害您网站健康的小错误。

内容创作不易,如果觉得Nat写的东西对您有一定的帮助,请不要吝啬对Nat的赞赏,谢谢!

提升网站的盈利能力

联系Nat并了解如何实现!
ZH
返回頂端

联系Nat

与Nat取得联系,我会在短时间内合理的规划关于建站,网站优化,及SEO推广方面的任何问题。