查看: 914|回复: 0

robots.txt对一个网站的影响有多大

[复制链接]

135

主题

135

帖子

374

积分

新手上路

Rank: 1

积分
374

实名认证用户

发表于 2009-4-27 15:07 | 显示全部楼层 |阅读模式
  大家好,我是Jrasy,刚刚有一篇文章精准的介绍了我从事SEO行业4年来的所有经验,最后特别提到了一个关于robots.txt的问题,不管这个文件对于一个网站的影响有多大,我个人觉的我都有必要先告诉对这个文件有兴趣的人,这个文件要怎么写。

  robots.txt很简单,是非常非常简单。有的人不懂robots是什么,有什么用?

  robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件,文件名必须是小写的"robots.txt"。通过robots.txt可以控制SE收录内容,告诉蜘蛛哪些文件和目录可以收录,哪些不可以收录。

  在这里说明下,如果在网站目录下加了这个文件,搜索引擎会认为你是一个比较正规标准的站。

  搜索引擎会对你有个好印象,我的论坛就有ROBOTS文件,有个前辈曾经还告诉过我,ROBOTS文件会对网站的关键词有影响,具体也没说的太清楚,例如我给我的学员用来做教程用的一个网站,ROBOTS文件是程序本来就带的,也没发现什么问题,更不用说对关键词有什么影响,切入整体,ROBOTS文件如何写!

  用几个最常见的情况,直接举例说明:

  1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。

  2. 禁止所有SE收录网站的某些目录:

  User-agent: *

  Disallow: /目录名1/

  Disallow: /目录名2/

  Disallow: /目录名3/

  3. 禁止某个SE收录本站,例如禁止百度:

  User-agent: Baiduspider

  Disallow: /

  4. 禁止所有SE收录本站:

  User-agent: *

  Disallow: /

  5. 加入sitemap.xml路径。

  ROBOTS的潜力到底有多大?Jrasy有时间再跟大家讨论
温馨提示:
1、本内容转载于网络,版权归原作者所有!
2、本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
3、本内容若侵犯到你的版权利益,请联系我们,会尽快给予删除处理!
您需要登录后才可以回帖 登录 | 注册

本版积分规则

客服QQ/微信
89080001 周一至周日:09:00 - 22:00
十五年老品牌,学习网上创业赚钱,首先生财有道,值得信赖!
生财有道 版权所有!

本站内容均转载于互联网,并不代表生财有道立场!
拒绝任何人以任何形式在本站发表与中华人民共和国法律相抵触的言论!

QQ|小黑屋|广告服务|加入vip|APP下载| 生财有道

GMT+8, 2024-11-13 08:45 , Processed in 0.107344 second(s), 33 queries .

快速回复 返回顶部 返回列表