装修预算软件seo优化教程_禁止收录机制_robots文件(四)
禁止收录机制_robots文件(四)
$通配符:匹配URL结尾的字符。例如,下面的代码将允许蜘蛛抓取以.htm为后缀的URL:
User-agent: . ★
Allow: .htm$
下面的代码将禁止百度抓取所有jpg文件:
User-agent: Baiduspider
Disallow: .jpg$
。*通配符:告诉蜘蛛匹配任意一段字符。例如,下面一段代码将禁止蜘蛛抓取所有htm
User-agent: *
Disallow: /*.htm
Sitemaps位置:告诉蜘蛛XML网站地图在哪里,格式为:
Sitemap:<网站地图位置>
主流搜索引擎遵守robots文件挣令,robots.Txt禁止抓取的文件搜索引擎将不访问,不抓取。但要注意的是,被robots文件禁止抓取的URL还是可能出现在搜索结果中。要有导入链接指向这个URL,搜索引擎就知道这个URL的存在,虽然不会抓取页面内容,但是可能以下面几种形式显示在搜索结果中:
•只显示URL,没有标题、描述。Google常这样处理。
•显示开放目录或雅虎等重要目录收录的标题和描述。
导入链接的锚文字显示为标题和描述。百度常这样处理。
要想使URL完全不出现在搜索结果中,需要使用页面上的meta robots标签。
延伸阅读:
装修公司seo优化教程_预处理
装修公司seo优化教程_链接原理
装修公司seo优化教程_搜索缓存
联系QQ:2558628650 442699841
装修预算软件是一家专业从事装修行业培训管理咨询及软件服务机构。2010年装修预算软件正式上线。是国内第一家专业为装修企业提供以营销管理咨询,家装软件销售及高素质的室内装修设计师培训为核心,综合装修营销策划、家装营销管理,装修企业品牌文化建设为一体的服务公司。→点击进入室内装修预算软件
- 1家居装修网络营销_网络广告三种不同的接受模式
- 2家装省钱全攻略九大省钱方法
- 3装修预算软件seo优化教程_指令处理及搜索触发(二)
- 4哪里能买到适合做套餐装修预算用的家装软件啊?
- 5装修预算软件seo优化教程_信息类关键词
- 6家居装修网络营销_噱头式营销
- 7实木地板的组装方法
- 8怎么选择南宁装修公司的装修方式?
- 9防火、防盗门安装施工工艺标准(ZJQ00-SG-001-2003)
- 10五大饰家技巧扩充低矮房
- 1129个厨房装修注意事项
- 12八招叫你打造时尚卫浴空间
- 13家居时尚个性配饰跟风格无关
- 14家居装修网络营销_推动未动,策划先行
- 15装修预算软件seo优化教程_Gooale PR_关于PR的几个误解(五)
- 16装修环保的6个小细
- 17如何做好卫生间防水补漏
- 18冬季装修的八大理由
- 19解析装修施工的几个验收阶段
- 20不要忽视老人房——张家口装修公司
- 21家庭装修材料的“环保菜单”
- 22住宅建筑室内色彩设计原则
- 23家具店铺装修内部陈列三大要点
- 24居家墙面的挂画技巧
- 25建筑、环境与传统住宅理念
- 26家居装修网络营销_许可邮件营销的强势推广力
- 27青岛装饰公司家庭软装修
- 28二手房装修几大问题解析 需要注意
- 29家居三大空间瓷砖颜色搭配技巧
- 30长春工队之家与业主对话
成都公司:成都市成华区建设南路160号1层9号
重庆公司:重庆市江北区红旗河沟华创商务大厦18楼