作为一名网站排名优化者你了解robots文件是用来做什么的么？与robots文件在撰写有什么规范和需要注意的地方呢？
robots.txt是用来告诉搜索引擎网站上什么内容可以被访问、什么不可以被访问。当搜索引擎访问一个网站的时候，它第一会检查网站是不是存在robots.txt，假如有则会依据文件命令访问有权限的文件。概括下来主要有四点网站优化必须具备知识robots文件！
1、robots.txt的写法与步骤
1、概念搜索引擎
用User-agent网站优化必须具备知识robots文件！*表示概念所有蜘蛛，User-agent网站优化必须具备知识robots文件！
Disallow: /a/
Disallow: /b/
Disallow: /c/
2)禁止搜索引擎访问文件夹中的某一类文件，以a文件夹中的js文件为例，写法如下网站优化必须具备知识robots文件！
User-agent: Baiduspider
Disallow:
5、禁止访问网站中的动态页面
User-agent: *
Disallow: /*?*
6、只允许搜索引擎访问某类文件，以”.htm”为后缀的URL为例，写法如下网站优化必须具备知识robots文件！
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
2、robots.txt文件存放地方
robots.txt文件存放在网站根目录下，并且文件名所有字母都需要小写。
3、需要注意的地方
1、在写robots.txt文件时语法必须要用对，User-agent、Disallow、Allow、Sitemap这类词都需要是第一个字母大写，后面的字母小写，而且在:后面需要带一个英文字符下的空格。
2、网站上线之前切记写robots.txt文件禁止蜘蛛访问网站，假如不会写就先知道了解写法之后再写，以免给网站网站收录带来麻烦。
3、robots.txt文件生效时间不定，站长自己没办法控制。但，站长可以在百度统计中查询网站robots.txt文件是不是生效。
目前题目网站优化必须具备知识robots文件！
