装修预算软件seo优化教程_禁止收录机制_robots文件（四）

禁止收录机制_robots文件（四）

$通配符：匹配URL结尾的字符。例如，下面的代码将允许蜘蛛抓取以.htm为后缀的URL：
User-agent: ． ★
Allow: .htm$
下面的代码将禁止百度抓取所有jpg文件：
User-agent: Baiduspider
Disallow: .jpg$
。*通配符：告诉蜘蛛匹配任意一段字符。例如，下面一段代码将禁止蜘蛛抓取所有htm
     User-agent: *
Disallow: /*.htm
Sitemaps位置：告诉蜘蛛XML网站地图在哪里，格式为：
   Sitemap:<网站地图位置>
   主流搜索引擎遵守robots文件挣令，robots．Txt禁止抓取的文件搜索引擎将不访问，不抓取。但要注意的是，被robots文件禁止抓取的URL还是可能出现在搜索结果中。要有导入链接指向这个URL，搜索引擎就知道这个URL的存在，虽然不会抓取页面内容，但是可能以下面几种形式显示在搜索结果中：
   •只显示URL，没有标题、描述。Google常这样处理。
   •显示开放目录或雅虎等重要目录收录的标题和描述。
   导入链接的锚文字显示为标题和描述。百度常这样处理。
要想使URL完全不出现在搜索结果中，需要使用页面上的meta robots标签。

延伸阅读：
装修公司seo优化教程_预处理
装修公司seo优化教程_链接原理
装修公司seo优化教程_搜索缓存
联系QQ：2558628650 在线购买专业设计师全能培训教程      442699841 在线购买家装设计师快速签
单技巧

装修预算软件是一家专业从事装修行业培训管理咨询及软件服务机构。2010年装修预算软件正式上线。是国内第一家专业为装修企业提供以营销管理咨询,家装软件销售及高素质的室内装修设计师培训为核心，综合装修营销策划、家装营销管理，装修企业品牌文化建设为一体的服务公司。→点击进入室内装修预算软件

发布：2025-10-29 14:41 编辑：泛普软件 · xiaona [打印此页] [关闭]