这次小编来给大家分享一下“SEO优化:关于搜索引擎蜘蛛抓取页面的规则” 。

1)搜索引擎蜘蛛或者搜索引擎机器人抓取网页的规则: 对于蜘蛛或者机器人来说网页权重越高、信用度越高抓取越频繁,例如网站的首页和内页。蜘蛛先抓取网站的首页,因为首页权重更高,并且大部分的链接都是指向首页。然后通过首页抓取网站的内页,并不是所有内页蜘蛛或者机器人都会去抓取;
2)一般情况下,搜索引擎认为对于一般的中小型站点,“三” 层足够承受所有的内容了。因此,搜索引擎蜘蛛或者机器人经常抓取的内容是前三层,而超过三层的内容蜘蛛或者机器人会认为那些内容并不重要了哦,所以不经常爬取了;
3)咱们SEOer该如何查看搜索引擎蜘蛛或者机器人的抓取?
咱们通过iis日志可以看蜘蛛或者机器人爬取了哪些内容,iis日志有百度蜘蛛、360蜘蛛、搜狗蜘蛛、雅虎机器人、谷歌机器人等等。从iis日志里卖弄分析得出蜘蛛或者机器人的类型、抓取时间、抓取的页面、抓取内容的大小以及返回的页面代码,显示 二零零 200 则代表抓取顺利成功。
原创文章,作者:SONIC SEO,如若转载,请注明出处:https://www.seo388.com/spiderrules/