robots.txt在seo优化中具有相当重要的作用,但是很多朋友没有注意到,在seo实战中对robots.txt进行了优化的朋友其实并不多.

要想在seo优化方面有点想法的话,robots.txt确实是首要考虑的,因为搜索的入口就在这里.当然是不是所有的搜索都遵守这个原则那还得两说,但已知的搜索中.google还是很尊重robots.txt的,百度的反应有点慢,按理现在百度也应该遵守一下这个规则了.

seo实战中robots.txt的写法中有几点要注意

User-agent:后面为搜索机器人的名称,后面如果是*,则泛指所有的搜索机器人;Disallow:后面为不允许访问的文件目录。

Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。

这样,一共有四种组合:

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>
<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>

对于没有配置robots.txt 的网站,Spider 将会被重定向至404 错误页面,相关研究表明,如果网站采用了自定义的404 错误页面,那么Spider 将会把其视作robots.txt——虽然其并非一个纯粹的文本文件——这将给Spider 索引网站带来很大的困扰,影响搜索引擎对网站页面的收录。

还有一个好处,就是可以节省一些带宽.