爬网收到域名解析失

kafece8348@tosp

我们还绘制了抓取时间问题。在这个网站上，我们收到了三个变体的错误，以及一个到站外域的单独重定向 混合有 301 和连接错误的链 并非所有重定向都是 301 或 302/7；这是一个使用 META 重定向到场外域的域。请注意，这个只有三种变体。我们可能没有抓取一些较小网站的每个变体，这是正常的。 一个有错误和 META 重定向的网站 该网站使用  版本重定向到https:// ，但具有来自普通https://变体的规范重定向。 具有规范重定向的网站 下面是一个循环引用的示例，它是由起的。但是该页面上的 Canonical 元标记直接指向h！ 具有循环引用的站点 （顶行https://旁边的问号表示我们还没有在这个索引范围内抓取到它。） 这是另一个示例，其中 Canonical 标签和 301 重定向相互指向。 一个复杂的链，包含一个循环重定向 最后，这是我们最喜欢的例子。

每个变体堆叠在一起形成 4 变体直链。 一条直线的链条。 ，哪个 301 到 https://，然后解析。 一些需要注意的事项 与往常一样，在可见的万维网的整个范围内获取这种类型的粒度数据非常困难。有些事情您应该注意。 1 – 四个变体可能未 新西兰手机号码数据 在同一时间段内进行检查。 很容易查看可视化并假设这些是同一天一次爬行的结果。对于中小型网站，每个变体更有可能在不同的一天进行检查。 这给出了一些结果，如下例所示，其中一些爬网收到域名解析失败（9 月 11 日和 19 日），而另外两个爬网成功解析了域名（9 月 22 日和 25 日），然后重定向到单独的域。 “上次抓取”列将帮助您检查日期以查看抓取顺序。 表数据，突出显示上次爬网日期 2 – 单独的爬行可能会收到一次性或暂时的结果 以下是我们在上次抓取时收到 HTTP 500 内部服务器错误的实例。这个错误是一次性的，下次我们抓取https://变体时就不会再发生。 显示 500 错误的重定向映射 此外，当我们使用国际分布式爬虫时，我们可以接收本地化的重定向，这些重定向可能会随着每个新索引的构建而改变。在此示例中，Nike 将一个爬网实例定向到其英国网站，并将另一个爬网实例定向到其加拿大版本。 显示  重定向至   和 nike.com/ca 的图表 3 – 在过去 120 天内，我们并未抓取每个域名的所有变体 在某些情况下，我们只是没有在当前索引窗口中抓取网站。



在此示例中，这个较小网站的所有变体都有入站链接，但我们在新鲜索引的过去 120 天内没有抓取其中的任何变体。拥有的所有数据。因此，如果您拥有 HubSpot 或其他任何东西，这是一件好事，您可以对此进行比较，并且还从客户那里听到很多信息，例如，哦，这些数据不匹配。这意味着出了问题。所以通常这并不是 100% 没有问题的迹象，最好有两种不同的工具，你可以比较数据，你可以有你的后端，比如表单提交或电子商务数据。然后您可以比较正在发生的事情。因此，您可以制作更大的谜题并查看数据发生了什么。因此，当我们考虑 GA4 时，我们不应该思考，因为这是我们正在使用的工具之一。我们还需要考虑可以添加哪些其他工具，例如，Microsoft Clarity 可以为我们提供更多有关内容消费和一切的数据。所以这是某种，特别是对于小型企业来说，我认为他们肯定正在努力拥有不同的工具，其中一些是付费的，或者我需要付费聘请另一位顾问来做到这一点。