谷歌搜索引擎爬虫预算概念以及如何优化

优选的利用好每个爬虫资源有助于对网站的seo优化,提高网站内页收录几率,下面就开始今天的分享。

谷歌搜索引擎爬虫预算概念以及如何优化插图

什么是爬虫预算?

爬虫在爬取每个页面都会有一个预算。

比如这个爬虫爬取你的网站只有100个页面的配额,一旦爬取超过100个页面后,他就会中止在你的网站进行爬取而跳到其他网站去。

不做好爬虫预算规划的话,会导致你的页面收录困难,错失排名商机。

在旧版Search Console的爬虫爬取情况

谷歌搜索引擎爬虫预算概念以及如何优化插图(1)

以前老版的Search Console会告诉你爬虫爬取的数量,该平均数量就是这个爬虫在你的网站的预算。

(PS:新版本的Search Console已经没有这个入口,本图仅仅是用来告诉大家爬取预算的概念。)

什么情况会浪费爬取预算?

页面存在大量的301跳转页面,会让Google先爬取跳转前的页面再爬取一次跳转后的页面。

重复页面,网站出现很多相似但不同的网站地址,相似的内容。

example 1:www.xxx.com/abce

xample 2:www.xxx.com/ABC

example 3:www.xxx.com/abc/

页面存在分页,但是没有标记Canonical标签

example 1:www.xxx.com/abc/page/1

example 2:www.xxx.com/abc/page/2

如何优化搜索引擎的爬取预算?

我们将会使用Screamingfrog工具,来进行网站的深度检测。找出网站出现重复页面,跳转页面的沫源。(六多数是因为内链错误导致)对内链的指问地址进行修复即可。

页面存在的分页,需要添加Canonical标签,如果你的是wordpress开源网站,只需要下载Yoast SEO插件即可进行设置,非WP需要程序员进行设置。

具体优化请看SEO工具使用之:Screaming Frog使用详解篇

 

以上就是今天关于谷歌搜索引擎爬虫的知识点分享。

谷歌SEO优化seo教程

SEO标签的含义以及使用说明

2020-11-30 23:43:09

谷歌SEO优化seo教程

如何检测网站的速度情况

2020-12-2 11:00:50

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索