robots.txt协议的写法

   robots.txt协议的写法

   txt是纯文本的意思，而robots是机器人的意思，robots.txt文件是给机器人看的，也就是给我们搜索引擎蜘蛛看的；robots.txt遵循的一个规范文本，它告诉搜索引擎（Google、百度、360、搜狗等）哪些网页可以抓取，那些网页不可以抓取。蜘蛛spider（Googlebot/Baiduspider）来抓取你的网站页面的时候，会首先访问你的网站/robots.txt路径看是否存在，如果没有则全站抓取，否则按照设置规则进行抓取和索引。

     在SEO优化中，robots.txt协议是蜘蛛抓取的规则，做优化这个协议是经常会被用到的，特别是大型的商城网站及平台型网站，那么robots.txt要怎么写呢？

   我们先来看下robots.txt协议要用到的规则语句：  

   （1)User-agent：指定对哪些爬虫生效（Google的spider是“Googlebot”，百度是“Baiduspider”）；

     (2)Disallow：指定要屏蔽的网址  

     Allow:指明允许spider访问和索引的目录；

   通配符：*匹配任意个字符；

   /要拦截的网页（例如Disallow/要屏蔽整个网站的意思）；

   $匹配url结束

   robots.txt协议写好了，我们在放下哪里呢？

   创建好robots.txt直接上传到网站根目录下面，放于其他目录均为无效；因为一个robots.txt只能控制相同协议，相同端口，相同站点的网页抓取策略。

    robots.txt协议是SEO优化必须要也会的语言。不了解可以留言，小编将会详细答复。