SEO优化知识：别让你的网站变成蜘蛛陷阱

       SEO优化知识：别让你的网站变成蜘蛛陷阱

   什么是蜘蛛程序陷阱？

   蜘蛛陷阱指的是由于网站结构的某种特征，使搜索引擎陷入无限循环，无法停止爬行，最典型的蜘蛛陷阱是某些页面上的万年历，搜索引擎可以一直单击下一个月陷入无限循环。

   蜘蛛程序陷阱是阻止蜘蛛程序爬些网页显示的技术方法，这些手段能很好地配合浏览器，但对蜘蛛程序就构成了阻碍，蜘蛛陷阱包括Javascript下拉菜单以及有些种类的重定向。

   经常遇到的蜘蛛程序陷阱有哪些？

   1、网站要求登陆

   有些企业站和个人站的设置一定要注册登陆后才能看到相关的文章内容，这种对蜘蛛不是很友好，蜘蛛不会注册、也不会登陆。

   2、动态的URL

   什么叫动态URL、什么叫静态URL，简单的说就是带有问号、等号及参数的网址就是动态URL，动态URL不利于搜索引擎蜘蛛的爬行和抓取。

   3、强制用Cookies

   部分站长为了让用户记住登陆信息，强迫用户使用Cookies如果为开启，则无法进行访问，访问页面显示的也不会正常，这种方式会让蜘蛛无法进行访问。

   4、网站的框架结构

   首先各位站长你知道什么叫框架结构的世界吗？如果你不知道恭喜你，这个蜘蛛陷阱你已经躲避了，也不要去了解，所以有关框架结构的设计给予做任何的介绍。

   5、页面各种跳转

   对搜素引擎来说只对301跳转相对来说比较友好，对其他形式的跳转都是比较敏感，例如：JavaScrit跳转、MetaRefresh跳转、Flash跳转、302跳转。有些网站的做法很让人无奈，当你打开网页后会自动转向其他页面，就算打开的页面和你要找的页面主体相关也算过得去。

   但是很大部分的网站转向让你无任何理由和目的这种转向不推荐大家使用，如果你非要做转向，只推荐用301永久跳转，可以将权重进行传递，除了此转向其他都不推荐，因为很多的占用其他转向欺骗用户和搜索引擎，也是heimao的一种手段，所以建议大家不要使用，以免网站被K。

   6、Flash的使用

   有的网站页面使用Flash视觉效果是很正常的，比如用Flash做的Logo、广告、图表等，这些对搜索引擎抓取和收录是没有问题的，很多网站的首页是一个大的Flash文件，这种就叫蜘蛛陷阱，在蜘蛛抓取时HTML代码中只是一个链接，并没有文字，虽然大的Flash效果看上去很好，外观看着也很漂亮，但可惜搜素引擎看不到，无法读取任何内容所以为了能体现网站优化的最好效果，不提倡这种Flash做首页图片。

   7、javascript链接

   那么站长应该如何避免蜘蛛陷阱？

   1、首先先检查链接

   检查链接这一环节能有助于帮助您在网页中找到正确的url，只有这些正确的url才能帮助蜘蛛正确索引站点，并能正确遵循它，并给蜘蛛相应的机会检查网页中的网页标题和内容，如果站点链接被打破，那么蜘蛛就不能正常爬行站点，检索其中的内容，这对搜索引擎优化而言是一大弊端。

   2、仔细检查您的robots.txt文件

   robots.txt文件是站长通过一定的技术手段，阻止蜘蛛爬行站点中的某些文件，它是一个文本文件，放在网站的根目录中，包含了两个执行参数，一个是允许蜘蛛抓取页面一个则是禁止蜘蛛访问，下面我们来看看一些每个页面之间的差距是什么?索引内页链接(一个理想的页面，可以让搜索引擎索引页面中的所有链接);索引内页但不索引内页中的链接;不索引内页找中的链接(和前面一个命令相似这两个有了部分限制);不索引内页页面也不索引内页链接(完全设置页面禁地，类似于禁止指令)。

   3、避免使用弹出窗口

   弹出窗口不仅惹恼很多人访问您的网站，它也隔离蜘蛛访问某些网页，当蜘蛛访问一个页面，有一个弹出窗口的链接，蜘蛛可能就无法识别标签的链接，但是如果一定要使用的话，你可以尝试在网站地图页面中加上弹出窗口的相关链接。

   4、消除使用“条件”访问页面

   某些网页启用Cookie，在访问页面之前会出现一个ID会话页面，很显然蜘蛛不嫩跟在键盘上输入，只有通过链接进入网页，如果在一个页面中出现了这样的“条件”页面，那么就好比跟蜘蛛说“禁止入内”的消息。蜘蛛只能根据程序的相关指示爬行站点，并不能像人类一样可以随机进行交互，随意他们访问站点是凭借站长对站点优化的相关知识进行的，如果站点中出现深圳网页设计上面的一些蜘蛛陷阱就会阻止他们访问您的站点。

丹若科技原创文章，转载请注明出处。