网站二级域名绑定子目录时的Robots.txt文件设置

在为网站启用二级域名如果是以子目录的方式时请务必在Robots.txt里设置对搜索引擎抓取的限制.

在主域名的基础上启用的二级域名.而且二级域名是跟主站根目录下的子目录”baike”文件夹绑定的.这样一来在SEO中就会产生搜索引擎重复收录的问题,因为存在这个相同的内容形如: http://baike.ourseo.net/ 和http://www.ourseo.net/baike/ 是完全一样的内容.当然,我们都不希望搜索引擎会在两个地方看到一模一样的东西,其实,搜索引擎是最讨厌重复内容的.所以,一定要想办法搞定这个问题.

其实很简单,只要在你的网站根目录下的Robots.txt文件里简单的增添一条内容就可以了.具体操作如下:

打开根目录下的Robots.txt文件.按照你的实际情况来进行设置.

如上所述,二级域名是绑定的根目录下的”baike”文件夹.则,需要进行如下设置

User-agent: *

Disallow: /baike/

如果你为网站启用了多个二级域名,则相应的设置多个二级目录的禁止抓取就可以了.