URL优化的效果跟站点在百度的权重关联性不大，但是对收录、蜘蛛爬行和传递权重有明显的提升，下面就为大家说说URL优化的几个重要点。

 

        1.URL一致性：URL 一致性是一个非常重要的指标，推荐大家一本书《走进搜索引擎》里面有介绍spider是一种机器程序，而非人脑，虽然也有学习的过程，但是国内网站千千万，每个网站有不同的url规范，你如果url命名规则杂乱无章spider又怎能高效的辨别你的内容规范？ 

 

        2.偏权重：通过我多年的分析发现，每个站点的流量是有集中点的。同一个网站 90%的流量都出自于某个目录，在这里面内容类型内容质量都是一样的。相信大家在自己作站过程中也有所体会，百度会偏向给权重到某个目录。考虑到这个问题，url一致性和目录规划就更重要了。

 

        3.爬行原理：蜘蛛爬行原理有深度优先和宽度优先这里分开说一下：

        (1)深度优先：深度优先适用于一些大站，蜘蛛很渴望得到他的内容，比如新浪网易他们的目录很长，也能收录。假如我们给蜘蛛一个线程只能爬取一个页面，爬行轨迹：首页-封面页-频道页-内容页，那么你网站的结构是：首页=> xxx/a=> xxx/a/b=> xxx/a/b/c/1.html=>。蜘蛛会沿着你的深度爬行进去，但是无论多大的站，你的深度也必须有限，否则蜘蛛不可能无穷尽的挖掘进去，爬累了自然就会离开，并且内容也没带回去。

        (2)宽度优先：这个是我非常推崇的，而且我所有新站都是这种效果。我自己建了5天的站蜘蛛爬行800次。效果说明在扁平化的今天，宽度优先是可以让蜘蛛非常高效的爬行和返回的。url结构 xxx/a/ xxx/b/ xxx/c/ 这类的叫宽度优化，爬行轨迹 ：首页-频道页A-频道页B-频道页C/首页-频道页A-内容页A1-内容页A2-内容页A*。

        综上所述，其实可以看出：宽度优先的效率明显高于深度优先。而且蜘蛛的任务类别也单一，非常容易识别。同一线程爬取的几乎是同一类型页面，页面样式，外观相同。蜘蛛不必花时间过于的去分析你的页面内结构，层次清晰。

 

        4.爬虫黑洞：这个问题不是什么新问题了，百度也有做专门的阐述，因为一些url处理不当产生的动态参数后缀，或是刻意圈住蜘蛛所做的无限循环，这种的效果明显是弊大于利。对URL 的规划上一定要想办法尽可能的处理掉无限动态参数后缀，并且也要合理的给蜘蛛出口，这才是真正有利于SEO 的做法，关于处理爬虫黑洞的办法这里我不做多讲解，《巧用robots避免蜘蛛黑洞》。