一个网站和一个人一样，有的隐私和不好的习惯不想让别人知道，那么就可以隐藏起来，而网站也是，比如你后台的操作路径，不想被人知道，那么就用一些手法和命令去禁止搜索引擎蜘蛛爬去。那么目前比较熟知的是robots.txt的操作。

 

        一、首先大家要认识robots是什么

        1、什么是robots.txt文件?

        搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。

 

        2、robots.txt文件放在哪里?

        robots.txt文件应该放置在网站根目录（www)下。举例来说，当蜘蛛访问一个网站（比如 http://www.php520.cn）时，首先会检查该网站中是否存在http://www.php520.cn/robots.txt这个文件，如果 蜘蛛找到这个文件，它就会优先根据这个文件的内容，来确定它访问权限的范围。

 

        二、常用符号

        User-agent:定义搜索引擎的类型

        Disallow:定义精致搜索引擎收录的地址

        Allow:定义允许搜索引擎收录的地址。

        “$” 代表匹配行结束符。

        “*” 代表匹配0或多个任意字符。

        *代表所有任意字符，如果是是用User-agent: * 代表着所有的搜索引擎。

        如果是定义百度蜘蛛，那么就是 User-agent: baiduspider

 

        1、 User-agent:

        该项的值用于描述搜索引擎robot的名字。在”robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受 到”robots.txt”的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效， 在”robots.txt”文件中，”User-agent:*”这样的记录只能有一条。如果在”robots.txt”文件中，加入”User- agent:SomeBot”和若干Disallow、Allow行，那么名为”SomeBot”只受到”User-agent:SomeBot”后面的 Disallow和Allow行的限制。

 

        2、Disallow:

        该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。例如”Disallow:/help”禁止robot访问/help.html、/helpabc.html、/help /index.html，而”Disallow:/help/”则允许robot访问/help.html、/helpabc.html，不能访问 /help/index.html。”Disallow:”说明允许robot访问该网站的所有url，在”/robots.txt”文件中，至少要有一 条Disallow记录。如果”/robots.txt”不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

 

        3、Allow:

        该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL 是允许robot访问的。例如”Allow:/hibaidu”允许robot访问/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页 同时禁止访问其它所有URL的功能。

 

        4、robots中各种符号含义：

        “$” 代表匹配行结束符。

        “*” 代表匹配0或多个任意字符。

 

        5、禁止所有搜索引擎访问网站的任何部分：

        User-agent: *

        Disallow: /

 

        6、允许所有的搜索引擎访问网站

        User-agent: *

        Allow: / 

        其中Disallow代表禁止，allow代表允许。/代表根目录