设为首页
收藏本站
网站地图
百度优化

正确设置robots.txt文件带来无限权重

时间:2011-03-21 16:07来源:网络 作者:羽毛球拍磅数越高意味着什么 点击:

羽毛球拍磅数越高意味着什么 www.gcgea.com 接触或了解过SEO的朋友都知道robots.txt文件,其实我们没有详细了解SEO的时候,认为这个文件就是是一个记事本,其实这个文件对于网站有着举足轻重的作用。这也是网站管理员与搜索引擎沟通的唯一通道。 dedecms.com

其实不管是企业网站优化还是行业网站优化,上面都会有些资料是保密而不对外公开的。怎么样做到不对外公开呢?唯一的保密的措施就是不让搜索引擎来搜录这些信息。这样就会不在网络上公开,那么要实现这个网站页面不收录,就体了robots.txt的作用啦!robots.txt是一个简单的记事本文件,这是网站管理员和搜录引擎对话的一个通道。

copyright dedecms

有很多网站都没有这个文件,特别是之前很多网站程序员手工写程序的那种网站,是没有robots.txt文件的,更不用谈正确书写啦!出现这种现象主要原因是,那些程序员根本就不懂SEO,所以他们也不必要去考虑SEO,所以就不会书写这个文件啦!不过现在很多做SEO的,都是用开源程序,所以robots.txt基本都是非常标准书写的。如果我们要用到robots.txt时,只需要对这个文件进行修改就好啦。

内容来自dedecms

关于robots.txt我们要注意以下几点 织梦好,好织梦

1、如果我们网站的内容为全部公开,则不需要要设置robots.txt或robots.txt为空就可以啦。
2、robots.txt这个文件名必需要是小写而且都要放在网站的根目录下http://www.shcai.org/robots.txt一般要通过这种URL形式能访问到,才说明我们放的位置是正确的。
3、robots.txt一般只写上两种函数:User-agent和 Disallow。有几个禁止,就得有几个Disallow函数,并分行描述。
4、至少要有一个Disallow函数,如果都允许收录,则写: Disallow: ,如果都不允许收录,则写:Disallow: /  (注:只是差一个斜杆)。

内容来自dedecms

写法说明
User-agent: *
Disallow:/ad/
具体描述为
以下转自维基百科
例子
让所有机器人访问所有文件,因为通配符"*"代表所有机器人:
User-agent: *
Disallow:
拦截所有的机器人:
User-agent: *
Disallow: /
禁止所有机器人访问特定目录:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
仅禁止坏爬虫访问特定目录(BadBot用真实的名字代替):
User-agent: BadBot
Disallow: /private/
非标准扩展协议
Sitemaps auto-discovery
The  Sitemap parameter is supported by major crawlers (including Google, Yahoo, MSN,Ask). Sitemaps specifies the location of the site's list of URLs. This parameter is independent from  User-agent parameter so it can be placed anywhere in the file.  An explanation of how to author SiteMap files can be found at sitemaps.org
Crawl-delay 指令
几大抓取工具支持
Crawl-delay 参数,设置为多少秒,以等待同服务器之间连续请求:User-agent: * 本文来自织梦
Crawl-delay: 10 Allow 指令
一些大的Crawlers支持一项Allow指令,可以抵消先前Disallow指令。替代
虽然robots.txt的是老的和更为广泛接受的方法,还有其他的(可以用来连同robots.txt一起使用),允许更大的控制权,如只禁止索引图象和禁用归档页的内容。
Robots META标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots META标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
<meta name="robots" content="noindex,nofollow" /> 本文来自织梦

 

本文来自织梦

------分隔线----------------------------