当前位置: 首页 » 资讯中心 » SEO问答 » 什么是robots.txt,robots.txt怎么写?

什么是robots.txt,robots.txt怎么写?

发表于:2010-05-05 18:40 来源:织梦SEO团队 点击:

不管是做网站还是做SEO的朋友,都应该听说过robots.txt吧,这里我们来详细了解一下什么是robots.txt和robots.txt的写法。

什么是robots.txt?

robots.txt是一个纯文本文件,是搜索引擎蜘蛛访问我们网站时要查看的第一个文件。robots.txt告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

如何写robots.txt ?

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

语法:最简单的 robots.txt 文件使用两条规则:

• User-Agent: 适用下列规则的漫游器

• Disallow: 要拦截的网页

 允许所有的robot访问

• User-agent: *
• Disallow:

或者也可以建一个空文件 "/robots.txt" file

禁止所有搜索引擎访问网站的任何部分

• User-agent: *
• Disallow: /

禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录)

• User-agent: *
• Disallow: /01/
• Disallow: /02/
• Disallow: /03/

禁止某个搜索引擎的访问(下例中的BadBot)

• User-agent: BadBot
• Disallow: /

只允许某个搜索引擎的访问(下例中的Crawler)

• User-agent: Crawler
• Disallow:

• User-agent: *
• Disallow: /