搜索引擎robots.txt规则，是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。
首先要创建一个robots.txt文本文件，放置网站的根目录下，下面就开始编辑设置robots.txt协议文件：
①robots.txt允许所有搜索引擎蜘蛛抓取所以目录文件，如果文件无内容，也表示允许所有的蜘蛛访问，设置代码如下：
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
②robots.txt禁止某个搜索引擎蜘蛛抓取目录文件，设置代码如下：
Use

301转向(或叫301重定向，301跳转)是当用户或搜索引擎向网站服务器发出浏览请求时，服务器返回的HTTP数据流中头信息(header)中的状态码的一种，表示本网页永久性转移到另一个地址。

其它常见的状态码还包括，200表示一切正常，404网页找不到，302暂时转向，等等。

为什么要做网址转向？

除了前面介绍过的网址规范化问题外，还有很多需要做网址转向的情形。比如，为保护版权，你拥有不同TLD的多个域名：

company.com
company.net
company.org
company.com.cn
co