一、蜘蛛抓取情况

　　1、都有哪些蜘蛛来访问

　　看一下主流的蜘蛛(google、baidu、360)是否有访问网站，如果长时间都没有的话，可以查看下Robots.txt文件是否设置了禁止蜘蛛抓取网站。

　　2、抓取了哪些目录

　　统计蜘蛛对网站目录的抓取情况，网站各层级目录是否抓取正常，一些需要重点推广的目录是否有抓取，如果没有抓取的话则需要对网站内链进行调整或者增加外链，提升栏目权重，引导蜘蛛抓取。另外，蜘蛛可能会抓取一些无意义的目录，比如我们不希望搜索引擎了解的信息，这时候就可以把这些目录屏蔽掉。

　　3、抓取了哪些页面

　　统计蜘蛛对网站页面(这里指的是内容页)的抓取情况，通过一段时间的观察你会发现某些类型的页面抓取频率较高，而有些的较低。你可以对这些页面进行对比，然后判断蜘蛛的喜好，以增加符合蜘蛛胃口的内容。此外，还可以通过分析页面抓取情况，了解到网站的一些问题，比如重复页面问题、url规范化问题等等。

　　4、蜘蛛访问次数、停留时间、抓取量

　　蜘蛛频繁访问网站，说明喜欢网站，经常来看看网站内容是否有更新，对网站来说是一件好事。如果十天半个月才来一次，那网站内容可能得更新勤快点了，另外还要多增加一些外链，引导蜘蛛访问网站。停留时间长短可以反映蜘蛛对网站的喜欢程度，需要注意的一点是，如果停留时间长，但是抓取量低的就有问题了，可能是蜘蛛对网站内容抓取困难，或者网站内容质量偏低导致的。这三个指标要综合起来看，才会得到比较有价值的信息。

　　二、HTTP状态码

　　主要关注的有404、500、302之类的。404页面就不用说了，**定期整理死链接，并提交到站长平台。如果经常出现500，可能是服务器的问题，比如内容太多，服务器无法满足需求，超负荷运转了，就会出现超时、无法访问的情况。302是暂时重定向，这个要具体看下是什么问题，搜索引擎比较喜欢301，如果可以的话就做成301的。

　　文章来源：网络教学基地

　　原文地址:http://www.studynb1.com/seojj/242.html