robots文件,一个说难不难,说易嘛,真要用到特殊情况的时候也不容易,一个让SEO又爱又恨的东西。比较最近提交robots文件,既不想让蜘蛛抓取我的指定目录,又不想被别人通过robots文件看到我的目录。常见的robots文件无非也就随便allow,disallow一下,当然今天用的这个方法也是巧妙的disallow了一下。不多说,直接上栗子:
User-agent: * Disallow: /*admi* Disallow: /*dat* Disallow: /*inclu* Disallow: /*instal* Disallow: /*logrepor* Disallow: /plus Disallow: /style Disallow: /*templet*
这里巧妙的使用了*号,Disallow: /*admi*,意思是包含“admi”的 目录或域名 都不能被抓取,而*admi*,可以是admin,admin123,admin444,admin_2baa ... 可以是无数的可能,所以几乎没人猜得出来,也就相当于禁止别人看到你的目录了,从而起到安全作用。(robots文件参考:http://zhanzhang.baidu.com/college/courseinfo?id=267&page=12#h2_article_title28)
笔者提交robots文件后,在百度站长后台亲自验证,目录没有问题。该能被访问的都能被访问,不能被访问的也显示不允许。
- 除非注明,文章均为 Wings Blog 原创,欢迎转载!
- 本文固定链接: https://www.wusiwei.com/post-1798.html
- 转载请注明: : Wings 2017年1月10日 于 WingsBlog 发表