如果您的网站响应速度变慢或返回服务器错误,抓取频率限制将会降低,Googlebot 会减少对您的抓取。 这意味着修复网站上的错误页面可以防止它们对您的抓取配额产生负面影响。 这是优化爬行的五种方法。 接下来,我们将 因抓取优化而实际增加。 如何检查您的网站被抓取的频率 您可以在 Google Search Console 中检查您的网站被抓取的频率。
登录 Google 搜索控制台 点击“设置” 点击“抓 新加坡手机号码 取统计”下的“打开报告” 您可以按照上述步骤查看过去90天内的抓取请求总数。 由于您可以将其视为折线图,因此您可以轻松了解执行抓取优化后抓取的频率是否实际上有所增加。 您还可以检查您的网站上出现 400 范围内的错误的频率。 概括 在本文中,我们介绍了抓取预算和抓取优化。
抓取预算是网站可以抓取的上限,由网站的响应速度、受欢迎程度、年龄等综合因素决定。 然而,大多数 URL 少于几千个的网站不需要担心抓取预算。要优化爬行,有效的方法是更新XML站点地图,改进低质量内容,并采取措施防止低质量内容被爬行。 如果您担心爬取频率,请尝试本文介绍的方法。练习抓取优化后,检查 Google Search Console 中的抓取频率是否有所提高。