|
大家好,我是Jrasy,刚刚有一篇文章精准的介绍了我从事SEO行业4年来的所有经验,最后特别提到了一个关于robots.txt的问题,不管这个文件对于一个网站的影响有多大,我个人觉的我都有必要先告诉对这个文件有兴趣的人,这个文件要怎么写。
robots.txt很简单,是非常非常简单。有的人不懂robots是什么,有什么用?
robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件,文件名必须是小写的"robots.txt"。通过robots.txt可以控制SE收录内容,告诉蜘蛛哪些文件和目录可以收录,哪些不可以收录。
在这里说明下,如果在网站目录下加了这个文件,搜索引擎会认为你是一个比较正规标准的站。
搜索引擎会对你有个好印象,我的论坛就有ROBOTS文件,有个前辈曾经还告诉过我,ROBOTS文件会对网站的关键词有影响,具体也没说的太清楚,例如我给我的学员用来做教程用的一个网站,ROBOTS文件是程序本来就带的,也没发现什么问题,更不用说对关键词有什么影响,切入整体,ROBOTS文件如何写!
用几个最常见的情况,直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站,例如禁止百度:
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站:
User-agent: *
Disallow: /
5. 加入sitemap.xml路径。
ROBOTS的潜力到底有多大?Jrasy有时间再跟大家讨论 |
温馨提示:
1、本内容转载于网络,版权归原作者所有!
2、本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
3、本内容若侵犯到你的版权利益,请联系我们,会尽快给予删除处理!
|