目前常用的链接有 锚文本 链接、超链接、纯文本链接和图像链接。如何被爬虫抓取是一个程序，自动提取网页，如 百度蜘蛛 。要使你的网站包含更多的页面，你必须首先让爬虫抓取网页。如果你的网站页面定期更新，爬虫会更频繁地访问该页面，而高质量的内容是爬虫喜欢抓取的，尤其是原始内容。蜘蛛很快就会爬上网站，网站和页面权重，这一定是比较重要的。
做 SEO优化 ，想让自己更多的页面被收录，尽量吸引蜘蛛来抢。如果你不能抓取所有的页面，蜘蛛要做的就是抓取尽可能多的重要页面。哪些页面是人为的重要？
有几个合理的因素
1、 网站页面及权重
质量高、资质老的网站被认为权重高，而这个网站上爬行页面的深度也会比较高，所以会收录更多的页面。
2、 页面更新
蜘蛛每次爬行时都会存储页面数据。第二次蜘蛛页面更新是没有必要的，如果没有必要掌握首次页面更新。如果页面内容更新频繁，蜘蛛会更频繁地访问页面，而页面上的新连接自然会被蜘蛛更快地跟踪以抓取新页面。
3、 导入链接
无论是外部链接，还是同一网站的内部链接，都要被蜘蛛抓取，必须有导入链接进入页面，否则蜘蛛就没有机会知道页面的存在。高质量的导入链接通常会增加页面上 导出链接 的爬行深度。
4、 单击“与主页的距离”
一般来说，大部分主页的权重是很高的。因此，与主页的点击距离越近，页面的权重就越高，蜘蛛爬行的几率也就越大。
5、 URL结构
页面权重是包含在迭代计算中才知道的，那么前面说的高页面权重有利于抓取，搜索引擎蜘蛛在抓取之前如何知道页面权重呢？所以蜘蛛预测，除了链接、与主页的距离、历史数据等因素外，短网址、浅网址也可能直观地认为站点的权重相对较高。
6、 吸引蜘蛛的方法：
这些链接会导致蜘蛛访问网页。只要不遵循这些链接，它们就会导致蜘蛛访问和转移权重。锚文本链接是引导蜘蛛的好方式，这有利于关键字排名，比如关键字锚文本中的 友情链接 。
