作为一个SEO人员，你知道什么是robots协议？robots.txt文件怎么写吗？下面郑州SEO就来告诉大家什么是robots协议以及robots.txt文件的写法！
一、什么是Robots协议？
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”，robots.txt是搜索引擎访问网站时第一个查看的文件，当我们网站有部分内容不希望收搜索引擎抓取时，就可以通过Robots协议来告诉搜索引擎哪些页面是不能抓取的，大多用来保护网站的隐私，以及一些死链、重复页面等等。
二、、Robots.txt文件怎么写？
基本语法
User-agent:指定对哪些爬虫生效！*号代表全部搜索引擎，百度(Baiduspide)、谷歌(Googlebot)、360(360Spider)
Disallow:不允许抓取
Allow:允许抓取
#:注释
全站屏蔽所有蜘蛛
新站上线前或网站改版之前，为了避免蜘蛛抓取错误或临时的链接，可以采用全站屏蔽蜘蛛的操作，在根目录建立robots.txt，添加如下内容：
User-agent:*
Disallow:/
屏蔽某个目录、文件
屏蔽所有蜘蛛抓取根目录下的seo文件夹及里面的所有内容，根目录下的seo1目录下的1.html文件,robots.txt文件添加如下内容：
User-agent:*
Disallow:/seo/
Disallow:/seo1/1.html
屏蔽某个目录，但抓取目录下的文件或文件夹
屏蔽所有蜘蛛抓取网站根目录下的seo文件夹，但抓取里面后缀名为html的文件
User-agent:*
Disallow:/seo/
Allow:/seo/*.html
注意：上面的写法，seo带“/”代表根目录下的seo目录下的内容。并不会禁止比如根目录下seotest的文件夹及文件夹所有内容。
禁止抓取根目录下所有前面带“seo”字符的文件夹及文件
User-agent:*
Disallow:/seo
禁止了如：/seo/，/seo/12.html，/seotest/，/seoabc.html
屏蔽动态URL
网站有些动态页面可能会和静态页面相同，造成重复收录,用robots屏蔽动态URL
User-agent:*
Disallow:/*?*
仅允许访问“.html”为后缀的URL
User-agent:*
Allow:.html$
Disallow:/
屏蔽死链接
网站改版、删除文章后，原来的URL如果已经被搜索引擎索引，出现404错误。一般的做法如下：
①查看网站日志，找出这些死链，用百度提交死链工具提交，慢慢的会删除这些死链；
②如果这个链接已经更换，也可以用301跳转到新的链接，301跳转后原页面和新页面处理办法；
③robots禁止蜘蛛抓取死链，写法同上，最好带完整路径
User-agent:*
Disallow:http://www.hnanseo.com/1.html
屏蔽不参与排名的页面链接
比如会员中心、登陆界面、联系我们等。这些虽然有实际用途，蜘蛛一样会爬取这些页面链接，这些页面也会分权，因此为了集中权重，一些完全不参与排名的页面应该用robots屏蔽。也可以在该页面的</head>之前添加<meta>声明，指向该页面的链接加上nofollow标签。
<meta name=”robots” content=”noindex,nofollow”/>
<a rel=”nofollow” href=”/member/login”>登陆</a>
sitemap索引在robots.txt的位置
sitamap索引的位置最好放在robots.txt的最下面，蜘蛛先遵循前面的原则，再按照网站地图爬取。
Sitemap: http://www.hnanseo.com/sitemap.xml
Sitemap: http://www.hnanseo.com/sitemap
原创文章，作者：郑州seo，如若转载，请注明出处：http://www.hnanseo.com/579.html
评论列表（1条）
robots.txt是一个协议文件。搜索引擎访问网站的时候，会首先访问robots.txt，了解哪些能抓取，哪些不能抓取。robots.txt可以告诉搜索引擎，哪些内容可以抓取，哪些不能抓取。当我们有信息不想让搜索引擎抓取到的时候，我们就可以用robots.txt禁止。