首页 > SEO > 为什么要写好Robots.txt文件
2013
11-21

为什么要写好Robots.txt文件

很多站长在上线网站前都不知道写好robots文件,好点的网站空间或成熟的网站程序会自动给你放个robots文件,但毕竟是默认的文件,里面写的内容并不适用于所有网站。

为什么要写好Robots.txt文件

为什么要写好robots文件呢,主要有四点:

一、Robots.txt节省流量

写好robots文件,把需要禁止收录的内容写好,一方面来说节省你自己网站的流量,另一方面也减少蜘蛛的工作量。 如:禁止image文件夹,图片对于搜索引擎索引来说没有什么实际意义还浪费了大量的流量。假如是一个图片网站,那流量更是惊人。再如禁止jscss等文件夹,里面的内容都是页面特效有关的,不是网站的内容部分,对搜索引擎也没啥么好处,禁止又何妨。

二、保护网站安全

我们还要把管理目录(admin),数据库,备份目录等设置成disallow,禁止蜘蛛收录,不然被蜘蛛收录了,被别人在搜索引擎上搜到你的安全信息可就危险了。这个也涉及到搜索引擎的robots协议的问题。

三、禁止搜索引擎收录页面

一个网站总有一些不希望被人看到的页面,这时我们可以通过设置Robots.txt来防止蜘蛛对其索引。如前段日子笔者这边的网速慢,更新了一篇文章,结果连续发布了3次,而且全部被搜索引擎收录,怎样办呢?重复的文章对网站优化不友好,这时就可以通过设置Robots.txt来将重复的页面屏蔽掉。

四、Robots.txt引导蜘蛛爬地图

蜘蛛访问网站首先查看的是Robots.txt文件,那么我们能够将网站地图设置进去,更有利于蜘蛛索引最新的信息,而少走许多冤枉路。如我们可以在Robots.txt文件的最下面加上一句:Sitemap: https://www.wusiwei.com/sitemap.xml

写好robots文件,简单的说,从安全角度就是保护网站安全,从seo角度就是有利于网站优化,从流量来说就是节省流量。

基本写法及注意事项 

  User-agent:* 是必需要写的,*表示针对一切搜索引擎。

    Disallow:(文件目录)表示禁止搜索引擎收录的目录

    allow:(文件目录)表示允许搜索引擎收录的目录

    特别说明,"disallow表示所有目录允许搜索引擎收录。

更多robots文件说明:http://www.baidu.com/search/robots.html#1



网友评论(3)

我是用默认Robots.txt文件的。
2013-11-22 14:27   回复
@李明:建议在里面加个网站地图文件的指引
2013-11-22 16:18   回复
学习啦
2013-11-21 20:53   回复