网站也将近运行两个星期了,才考虑搜索引擎的事情,自从上次不小心把网站sitemap.xml当死链提交给百度之后连主页都木有啦。。。啥都木有啦,没办法从新来过。这一次看到百度的关于robots的技术文章。

刚开始看真心觉得好复杂,不知道咋下手啊。

没办法啊,生在中国的站就得讨好百度么T_T

刚刚去看了看,又有死链啊- -google都说了死链是站长不容易避免的,比如我这个,有时候改了标签别名(默认中文没法显示),经常会出现以前的链接无法显示,google的处理方式是死链不会影响google权重,而百度却认为死链说明网站不完美。今天百度刚刚调整了自己的压力表,突然又发现死链- -又给我打回原形了- -

还是说说robots.txt吧,默认rotbots.txt放在网站www根目录

如http://www.lfzh.org/ http://www.lfzh.org/robots.txt

我的robots内容:

User-agent: *

Sitemap: http://www.lfzh.org/sitemap.xml
Disallow: /wp*
Disallow: /databases/

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$

Disallow: */trackback

Disallow: /?random

Disallow: */feed

Disallow: /*.css$

Disallow: /*.js$

我禁止蜘蛛访问我的后台(废话,这个肯定啊),然后禁止爬我的图片,因为图片太大了浪费流量。其次是feed,这个东西经常会报死链。

小林子打字好辛苦,麻烦转载注明: 转载自林枫紫涵

本文链接地址: http://www.lfzh.org/robots.html

作者: admin