不要温和的走进那个良夜
Do not go gentle into that good night

晒晒robots

网站也将近运行两个星期了,才考虑搜索引擎的事情,自从上次不小心把网站sitemap.xml当死链提交给百度之后连主页都木有啦。。。啥都木有啦,没办法从新来过。这一次看到百度的关于robots的技术文章。

刚开始看真心觉得好复杂,不知道咋下手啊。

没办法啊,生在中国的站就得讨好百度么T_T

刚刚去看了看,又有死链啊- -google都说了死链是站长不容易避免的,比如我这个,有时候改了标签别名(默认中文没法显示),经常会出现以前的链接无法显示,google的处理方式是死链不会影响google权重,而百度却认为死链说明网站不完美。今天百度刚刚调整了自己的压力表,突然又发现死链- -又给我打回原形了- –

还是说说robots.txt吧,默认rotbots.txt放在网站www根目录

如https://www.lfzh.org/ https://www.lfzh.org/robots.txt

我的robots内容:

User-agent: *

Sitemap: https://www.lfzh.org/sitemap.xml
Disallow: /wp*
Disallow: /databases/

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$

Disallow: */trackback

Disallow: /?random

Disallow: */feed

Disallow: /*.css$

Disallow: /*.js$

我禁止蜘蛛访问我的后台(废话,这个肯定啊),然后禁止爬我的图片,因为图片太大了浪费流量。其次是feed,这个东西经常会报死链。

赞(0)
未经允许不得转载:林枫紫涵 » 晒晒robots

评论 4

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #3

    @免费部落: Disallow: /wp*不是么?

    admin6年前 (2013-07-11)回复
  2. #2

    也禁用wp这个目录吧!

    免费部落6年前 (2013-07-11)回复
  3. #1

    不是说百度的sitemap是html格式那个么。。我写了2个sitemap,一个xml的一个html的。。貌似识别不出来哎。搞不懂怎么弄。

    冻猫6年前 (2013-06-04)回复
    • @冻猫: 目前为止百度只接受受邀请用户提交sitemap但是却支持死链提交- -也就是说百度木有sitemap,你可以去百度站长中心如果提交sitemap页面写的是一个邮箱就是你不是受邀请用户,貌似最近有个活动百万受邀用户测试百度的sitemap,google倒是很人性化随便你啥格式都行

      admin6年前 (2013-06-05)回复