声明

九九共享源码超市

【robots.txt怎么写】Robots.txt怎么个写法详细解

  • 时间:2019-03-05 10:49 编辑:九九共享源码网 来源:九九共享源码网 阅读:163
  • 扫一扫,手机访问
摘要:1、什么是Robots,熟练掌握Robots的基础语法,写出你对本节课的理解   Robots是指网站与搜索引擎之间的协议,下列三小点是需要自己记住的:   1.Robots是存放在网站根目录   2.Robots.txt是放在网站根目录   

1、什么是Robots,熟练掌握Robots的基础语法,写出你对本节课的理解

 

  Robots是指网站与搜索引擎之间的协议,下列三小点是需要自己记住的:

 

  1.Robots是存放在网站根目录

 

  2.Robots.txt是放在网站根目录

 

  3.robots.txt文件名是不可修改的

 

  4.Robots也是百度蜘蛛第一先抓取的

 

  2、robots形式及定义:

 

  User-agent:Baiduspider(定义所有的百度蜘蛛)

 

  Disallow:/

 

  User-agent:定义所有的蜘蛛

 

  Baiduspider:百度蜘蛛

 

  Googlebot:谷歌机器人

 

  MSNBot:msn机器

 

  Baiduspider-image:百度图片

 

  Disallow:定义那些文件可以抓取,那些文件不可以抓取

 

  Allow:允许

 

  小结:网站优化必须要有robots,robots格式区分大小的,区分大小写格式为:Disallow首字母必须是大写的,在本地新建记事本编辑时需要注意的是:输入法中文要切换成英文,例如:

 

  同时需要注意的是:在编辑时Disallow:/要空一格如下图所示

 

  *:定义所有的蜘蛛通配符

 

  /:通配符拒绝百度蜘蛛访问访问网站根目录的文件,就是全部的意思

 

  Robots生效时间是多少,是由百度决定的,有可能是1个月或者2个月

 

  附注:放行也是需要生效时间的

 

  $:结束符

 

  附注:同时也需要注意的是,网站动态的路径也要用robots进行屏蔽,在这个前提需要做的是,要了解每个文件下的数据是用来做什么用的,代表什么意思,自己下面也知道如何运用robots进行操作。对robots还是不能理解的,可以点击我的博客:

 

  <divclass="blockcode"><blockquote><ahref="http://bbs.moonseo.cn">SEO研究中心之robots的制作和特殊符号含义</a>

 

  复制代码

 

  。

 

  备注:

 

  Disallow:/data(一个是文件夹、一个是目录)禁止以data开头的文件或文件夹/data.html/dataaaa.html/data/aaa.html根目录下的文件是不能访问的

 

  Disallow:/data/(拒绝目录的)禁止文件夹/data/aaa.html能访问/data.html/dataaaa.html

 

  2、为你在基础操作的网站加上robots

 

  User-agent:*(定义所有的蜘蛛)

 

  Disallow:/plus/ad_js.php(拒绝目录/plus/能访问ad_js.php)

 

  Disallow:/plus/advancedsearch.php

 

  Disallow:/plus/car.php

 

  Disallow:/plus/carbuyaction.php

 

  Disallow:/plus/shops_buyaction.php

 

  Disallow:/plus/erraddsave.php

 

  Disallow:/plus/posttocar.php

 

  Disallow:/plus/disdls.php

 

  Disallow:/plus/feedback_js.php

 

  Disallow:/plus/mytag_js.php

 

  Disallow:/plus/rss.php

 

  Disallow:/plus/search.php

 

  Disallow:/plus/recommend.php

 

  Disallow:/plus/stow.php

 

  Disallow:/plus/count.php

 

  Disallow:/include

 

  Disallow:/templets


  • 全部评论(0)
最新发布的资讯信息
【站长教程|】Bitpay api快速对接各币种充提,支持BTC,ETH,TRX,USDT(2021-05-31 13:05)
【行业资讯|】小程序是如何帮助济宁企业商家提升产品销量的?(2021-05-29 11:24)
【行业资讯|】我们来看什么是“直播带货”(2021-05-29 11:23)
【行业资讯|】社区团购平台与传统实体电商相比有哪些优势?(2021-05-29 11:18)
【行业资讯|】通和小店一款网络购物小程序(2021-05-28 13:56)
【行业资讯|】通和科技小程序能给汽车服务行业带来哪些帮助(2021-05-28 13:55)
【行业资讯|】小程序如何让水果店轻松摆脱销售难题(2021-05-28 13:54)
【行业资讯|】济宁商家(企业)为什么开发微信小程序?(2021-05-27 13:02)
【行业资讯|】点餐小程序为什么成为济宁餐饮业的标配(2021-05-27 13:01)
【行业资讯|】在济宁开发一个二手车要具备哪些功能(2021-05-27 11:58)
网站首页 | 关于我们 | 广告合作 | 联系我们 | 隐私条款 | 免责声明 | 网站地图 | 站长论坛
CopyRight 2016-2024 九九共享源码超市 |
九九共享源码超市是一家专注于网站源码交、站长资源、站长源码、php源、网站源码、免费源码下载等站长交易平台。 九九共享源码网是第三方网络服务平台,站内会员所分享的全部“资源/素材/源码/软件等”,仅供学习与参考,版权为原作者所有[一切关于该资源商业行为,与本站(九九共享源码网 www.shijinga.com)无关];若您发现您的权利被侵害,请您立刻联系我们发起知识产权投诉;
展开