t 用户注册 w 用户登录 r 付款方式 d 关于我们 z 网上留言
请选择浏览版本:繁体中文
|
返回首页
 - 站长工具 - 网页特效 - 在线订单   手机:13938560755(贾经理) 点击咨询QQ[1596715967]
域名查询 .com  .cn   .com.cn 更多后缀>>
 当前位置:首页技术问答 > 正文
如何编写搜索引擎Robots协议?
 作者:郑州网站制作 发布日期:2011/3/4 【  
 点击:4602
搜索引擎Robots协议,是放置在网站根目录下robots.txt文本文件,在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。

  首先要创建一个robots.txt文本文件,放置网站的根目录下,下面就开始编辑设置Robots协议文件:

一、允许所有搜索引擎蜘蛛抓取所以目录文件,如果文件无内容,也表示允许所有的蜘蛛访问,设置代码如下:
User-agent: *
Disallow:
或者
User-agent: *
Allow: /

二、禁止某个搜索引擎蜘蛛抓取目录文件,设置代码如下:

User-agent: Msnbot
Disallow: /
例如想禁止MSN的蜘蛛抓取就设为,Msnbot代表MSN的蜘蛛,如果想禁止其他搜索引擎就更换蜘蛛名字即可,其他蜘蛛名字如下:
百度的蜘蛛:baiduspider
Google的蜘蛛: Googlebot
腾讯Soso:Sosospider
Yahoo的蜘蛛:Yahoo Slurp
Msn的蜘蛛:Msnbot
Altavista的蜘蛛:Scooter
Lycos的蜘蛛: Lycos_Spider_(T-Rex)

三、禁止某个目录被搜索引擎蜘蛛抓取,设置代码如下:

User-agent: *
Disallow: /目录名字1/
Disallow: /目录名字2Disallow: /目录名字3/
把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取,目录名字未写表示可以被搜索引擎抓取。

四、禁止某个目录被某个搜索引擎蜘蛛抓取,设置代码如下:

User-agent: 搜索引擎蜘蛛名字    说明(上面有说明蜘蛛的名字)
Disallow: /目录名字/             说明(这里设定禁止蜘蛛抓取的目录名称)
例如,想禁目Msn蜘蛛抓取admin文件夹,可以设代码如下:
User-agent: Msnbot
Disallow: /admin/

五、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取,设置代码如下:

User-agent: *
Disallow: /*.htm   说明(其中“.htm”,表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

六、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取,设置代码如下:

User-agent: *
Allow: .htm$  说明(其中“.htm”,表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

七、只充许某个搜索引擎蜘蛛抓取目录文件,设置代码如下:

User-agent: 搜索引擎蜘蛛名字    说明(上面有说明蜘蛛的名字)
Disallow:

郑州建站 郑州建网站 郑州网站设计 郑州网站制作
上一篇 上一篇:推荐一款兼容性好的自适应框架高度的脚本 2011/3/5
下一篇 下一篇:推荐40个优秀的国内外设计博客 2011/2/28
 相关内容
 网站建设
郑州企业网站建设
郑州行业网站建设
 最新内容
郑州飞吧网络主营:郑州建网站郑州网站设计郑州网站制作河南网页制作,河南郑州标准企业网站设计与制作。
服务热线:139-3856-0755 联系人:贾先生 13938560755 Email:service@feiba.cn
飞吧中国旗下网站 编号:豫ICP备11006658号
copyright © 2004-2018 飞吧网络 Inc, All Rights Reserved.


qq 16361997  qq 369218358