首页 > SEO > 如何巧妙写robots文件,既禁止指定目录抓取又不让别人看到你的禁止目录
2017
01-10

如何巧妙写robots文件,既禁止指定目录抓取又不让别人看到你的禁止目录


robots文件,一个说难不难,说易嘛,真要用到特殊情况的时候也不容易,一个让SEO又爱又恨的东西。比较最近提交robots文件,既不想让蜘蛛抓取我的指定目录,又不想被别人通过robots文件看到我的目录。常见的robots文件无非也就随便allow,disallow一下,当然今天用的这个方法也是巧妙的disallow了一下。不多说,直接上栗子:

User-agent: *
Disallow: /*admi*
Disallow: /*dat*
Disallow: /*inclu*
Disallow: /*instal*
Disallow: /*logrepor*
Disallow: /plus
Disallow: /style
Disallow: /*templet*

这里巧妙的使用了*号,Disallow: /*admi*,意思是包含“admi”的 目录或域名 都不能被抓取,而*admi*,可以是admin,admin123,admin444,admin_2baa ... 可以是无数的可能,所以几乎没人猜得出来,也就相当于禁止别人看到你的目录了,从而起到安全作用。(robots文件参考:http://zhanzhang.baidu.com/college/courseinfo?id=267&page=12#h2_article_title28)

robots文件

笔者提交robots文件后,在百度站长后台亲自验证,目录没有问题。该能被访问的都能被访问,不能被访问的也显示不允许。