成都公司：成都市成华区建设南路160号1层9号
重庆公司：重庆市江北区红旗河沟华创商务大厦18楼
装修预算软件seo优化教程_禁止收录机制_robots文件（二）
禁止收录机制_robots文件（二）
Robots文件由记录组成，记录之间以空行分开。记录格式为：<域>：<可选空格><域值X可选空格>
最简单的robots文件：User-agent:* Disallow:／
上面这个robots文件禁止所有搜索引擎抓取任何内容。
User-agent:指定下面的规则适用于哪个蜘蛛。通配符*代表所有搜索引擎。只适用于百度蜘蛛则用：User-agent: Baiduspider
只适用于Google蜘蛛则用：User-Agent: Googlebot
Disallow:告诉蜘蛛不要抓取某些文件或目录。例如下面的代码将阻止所有蜘蛛抓取/cgi-bin/和Junp／两个目录下的内容及文件/aa/index．Html:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /aa/index.html
Disallow:禁止的目录或文件必须分开写，每个一行，不能写成：Disallow: /cgi-bin/ /tmp/ /aa/index.html
下面的指令相当于允许所有搜索引擎抓取任何内容：
User-agent: *
Disallow:
延伸阅读：
装修公司seo优化教程_预处理
装修公司seo优化教程_链接原理
装修公司seo优化教程_搜索缓存
联系QQ：2558628650 442699841
装修预算软件是一家专业从事装修行业培训管理咨询及软件服务机构。2010年装修预算软件正式上线。是国内第一家专业为装修企业提供以营销管理咨询,家装软件销售及高素质的室内装修设计师培训为核心，综合装修营销策划、家装营销管理，装修企业品牌文化建设为一体的服务公司。→点击进入室内装修预算软件
本站推荐
.jpg)
相关推荐
-
装修预算软件seo优化教程_URL静态化_URL不需要静态化吗（三）2025-10-29 14:39:02
-
装修预算软件seo优化教程_网址规范化_为什么出现不规范网址（一）2025-10-29 14:39:01
-
装修预算软件seo优化教程_URL静态化_怎样静态化URL（二）2025-10-29 14:39:00
-
装修预算软件seo优化教程_子域名和目录(下）2025-10-29 14:38:59
-
.jpg)
装修预算软件seo优化教程_URL静态化_为什么静态化（一）2025-10-29 14:38:58
-
装修预算软件seo优化教程_子域名和目录(上）2025-10-29 14:38:57
最新文章
-
装修预算软件seo优化教程_禁止收录机制_meta robots标签（六）2025-10-29 14:42:02
-
装修预算软件seo优化教程_链接结构
2025-10-29 14:42:01
-
装修预算软件seo优化教程_禁止收录机制_meta robots标签（五）
2025-10-29 14:42:00
-
装修预算软件seo优化教程_物理结构_树形理结构(下）
2025-10-29 14:41:59
-
装修预算软件seo优化教程_禁止收录机制_robots文件（四）
2025-10-29 14:41:58
-
装修预算软件seo优化教程_物理结构_扁平物理结构(上）
2025-10-29 14:41:57