网站SEO优化：关于搜索引擎蜘蛛抓取页面的规则

这次小编来给大家分享一下“SEO优化：关于搜索引擎蜘蛛抓取页面的规则” 。

1）搜索引擎蜘蛛或者搜索引擎机器人抓取网页的规则： 对于蜘蛛或者机器人来说网页权重越高、信用度越高抓取越频繁，例如网站的首页和内页。蜘蛛先抓取网站的首页，因为首页权重更高，并且大部分的链接都是指向首页。然后通过首页抓取网站的内页，并不是所有内页蜘蛛或者机器人都会去抓取；

2）一般情况下，搜索引擎认为对于一般的中小型站点，“三” 层足够承受所有的内容了。因此，搜索引擎蜘蛛或者机器人经常抓取的内容是前三层，而超过三层的内容蜘蛛或者机器人会认为那些内容并不重要了哦，所以不经常爬取了；

3）咱们SEOer该如何查看搜索引擎蜘蛛或者机器人的抓取？

咱们通过iis日志可以看蜘蛛或者机器人爬取了哪些内容，iis日志有百度蜘蛛、360蜘蛛、搜狗蜘蛛、雅虎机器人、谷歌机器人等等。从iis日志里卖弄分析得出蜘蛛或者机器人的类型、抓取时间、抓取的页面、抓取内容的大小以及返回的页面代码，显示 二零零 200 则代表抓取顺利成功。