Robots的作用以及制作上传介绍

robots文件是可以让各类搜索引擎来按照你的规则来对你的网站进行工作爬取,运用好这个知识点可以减轻网站的压力,并且引导好蜘蛛的爬行路径。

Robots的作用以及制作上传介绍插图

Robots.txt文件有什么作用?

Robots.txt是爬虫管理的协议,也就是说我们可以管理不同的爬虫爬取网站的内容。

比如我的网站不想百度抓取任何,那我就可以在robots文件里面明确声明baiduspider不能抓取任何内容。

操作如下:

User-agent:Baiduspider(这里先声明是哪个爬虫,如果是*就是全部爬虫)

Disallow:/(这里指的是不允许baiduspider爬取任何内容,/代表根目录)

Robots.txt文件书写规则

User-agent:[搜索引擎爬虫的声明]

Disallow:[具体不能被爬取的URL]

Robots的作用以及制作上传介绍插图(1)

如上图所示,则是分别针对不同的搜索引擎制定的规则。

1.禁止feedjirae虫爬取网站任何内容。

2.禁止magpie-crawler爬虫爬取网站任何内容。

3.禁止所有搜索引擎爬取/bullpen/这个层级下的内容

Robots.txt练习

1、禁止Google爬虫爬取网站SEO层级的内容

User-agent:Googlebot

Disallow:/seo/

2、禁止Bing爬虫爬取网站具体的页面

User-agent:Bingbot

Disallow:/example-subfolder/blocked-page.html

3、禁止所有搜索引擎爬取网站的内容

User-agent:*

Disallow:/

自己怕书写不规范怎么办?

可以使用Robots的生成器功能,根据你想要屏蔽的内容和指定的爬虫,即可生成Robots.txt文件http://tools.seobook.com/robots-txt/generator

制作好Robots之后怎么上传?

这里需要用到FTP的知识,我们需要登陆到网站服务器的FTP,然后把Robots.txt文件上传到网站的根目录即可。

Robots的作用以及制作上传介绍插图(2)

检查robots.txt是否上传成功

检查robots.txt是否上传成功,在浏览器里直接输入www.xxx.com/robots.tx

如果显示的内容和你上传的内容相符就证明是成功的。

 

以上就是今天关于robots文件设置的知识点分享。

 

下载权限

查看
  • 免费下载
    评论后下载
    登录后下载

  • {{attr.name}}:
您当前的等级为
您有每天免费下载所有资源次的特权,今日剩余 已取得下载权限
谷歌SEO优化链接建设

Sitemap网站地图的作用及提交介绍

2020-11-27 11:00:44

谷歌SEO优化seo教程

正确了解SEO的核心价值

2020-11-29 11:00:42

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索