robots.txt是什么

　　robots.txt一般指robots协议 ，robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。它是一个文本文件，任何的搜索引擎访问你的网站时，一定会先访问你网站的robots.txt文件，然后遵循协议去抓取网站页面，当然也会有一些不遵循协议的爬取行为，不过这种是特别少见的，几乎没有。

　　如果将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令，也不是防火墙，如同守门人无法阻止窃贼等恶意闯入者。　　

robots在网站优化中的作用

　　上文中思齐seo讲到了，robots协议的存在可以让搜索引擎遵循我们的要求去抓取网站内容，那么我们用这个协议禁止搜索引擎抓取网站中的php文件、js文件或者是后台目录，保证网站后台的私密性和网站安全。

　　robots协议因为搜索引擎每一次访问都会访问，所以我们是不是可以把网站地图的链接地址放到协议里？通过这种方式来增加网站地图的抓取，进而促进网站收录。　　

robots.txt怎么写

　　User-agent: * 代表所有搜索引擎，也可指定搜索引擎，如指定百度，User-agent: Baiduspider
　　Disallow: /a/  这里定义是禁止抓取a目录下面的所有内容
　　Disallow: /cgi-bin/*.htm  禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)
　　Disallow: /*?*  禁止访问网站中所有包含问号 (?) 的网址
　　Disallow: /.jpg$  禁止抓取网页所有的.jpg格式的图片
　　Disallow:/ab/adc.HTML  禁止爬取ab文件夹下面的adc.html文件
　　Allow: /cgi-bin/a/　 这里定义是允许爬寻cgi-bin目录下面的a目录
　　Allow: /tmp  这里定义是允许爬寻tmp的整个目录
　　Allow: .htm$  允许访问以”.htm”为后缀的URL
　　Allow: .gif$  允许抓取网页和gif格式图片
　　sitemap: https://www.SEOhet.com/sitemap.xml  网站地图，告诉爬虫这个页面是网站地图　

Robots.txt文件的存放位置

　　网站根目录下，通过“域名/robots.txt”能正常访问即可，如https://www.seohet.com/robots.txt

网站没有Robots.txt文件的弊端

　　如果网站中没有robots.txt文件，则网站中的程序脚本、样式表等一些和网站内容无关的文件或目录即使被搜索引擎蜘蛛爬行，也不会增加网站的收录率和权重，只会浪费服务器资源；搜索引擎派出的蜘蛛资源也是有限的，我们要做的应该是尽量让蜘蛛爬行网站重点文件、目录，最大限度的节约蜘蛛资源。