网站的URL链接有多重要？就像人体无数的血管一样，如果不通畅，就会带来各种各样的问题。 URL优化 的效果与站点在Baidu中的权重无关，但能显著提高站点的权重收录、蜘蛛爬行和传播。虽然我不经常发帖，但我经常注意到，大多数 SEO 问题都是关于收录有多差，权重有多低。我看了很多网站，很多基础工作完全处于混乱状态。只是想想另一种思维方式，站长变成蜘蛛爬你的站，相信大多数站长自己都跑不动了。在这里，给出几个重要的URL优化点。
网站URL地址的一致性
URL一致性是一个非常重要的指标。建议一本书《走进搜索引擎》介绍蜘蛛是一个机器程序，而不是人脑。虽然有一个学习的过程，但是国内有成千上万的网站。每个网站都有不同的URL规范。如果URL命名规则混乱，spider如何有效地识别您的内容规范？下面是一个更好的例子：“下载它”。读者可以去下载栏的网站。他的主要结构是：主页=列表页=内容页。
偏重可能是我自己创造的一个开始词，神不喷。通过我多年的分析，我发现每个站点的流量都是集中的。这可以从爱站的工具中看出。这里我以我的一个客户和朋友的网站为例。同一个网站90%的流量来自某个目录，其中的内容类型和内容质量是相同的。相信你在自己站的过程中有一定的经验，百度会给某个目录赋予权重。考虑到这个问题，URL一致性和目录规划就显得尤为重要。
蜘蛛爬行的原理收录深度优先和宽度优先
宽度优先：这是我最喜欢的，我所有的新网站都有这个效果。我自己建了五天站，蜘蛛爬了800次。效果表明，在今天的平地上，宽度优先可以使蜘蛛爬行和返回的效率非常高。URL结构XXX/A/XXX/B/XXX/C/这种叫做宽度优化，爬行轨迹：首页-频道页A-频道页B-频道页C/主页-频道页A-内容页A1-内容页a2-内容页A*
总而言之。事实上，我们可以看到宽度优先的效率明显高于深度优先的效率。而且蜘蛛的任务类别也比较单一，很容易识别。同一个线程可以爬行几乎相同类型的页面，具有相同的页面样式和外观。蜘蛛不必花费太多时间来分析页面的结构，层次结构很清晰，爬行动物黑洞的问题并不新鲜。
