详细罗列出各个搜索引擎蜘蛛日志及服务器常见状态码含义

06-03 20:30 好宝宝网站收录 9

其实我们做 SEO 网站优化 的一般来说都是一个全知全能的职位,因为做优化做排名影响的因素太多了,就比如我们今天要讲的课题,日志的分析如果不会分析看不懂蜘蛛的爬行轨迹,那么在优化的过程中出现问题,就很有可能思路是错的而不自知。

IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况,可以更近距离的分析和接触蜘蛛。爬取次数,爬取时间点,爬取高峰期,爬取反应出来的HTTP状态码,为我们带来清晰的分析便利。

一、各大搜索引擎的蜘蛛名称:  

百度(Baidu)爬虫名称(Baiduspider)

谷歌(Google)爬虫名称(Googlebot)

雅虎(Yahoo)爬虫名称(YahooSlurp)

有道(Yodao)蜘蛛名称(YodaoBot)

搜狗(sogou)蜘蛛名称(sogouspider)

MSN的蜘蛛名称:msnbot

二、IIS分析:  

案例日志:61.135.168.22--[11/Jan/2009:04:02:45+0800]"GET/thread-7303-1-1. Html HTTP/1.1"2008450"-""Baiduspider(+http:-www-baidu-com/search/spider.htm)"

分析:

1、61.135.168.22是访问了是服务器IP为这个的网站.

2、11/Jan/2009:04:02:45表示蜘蛛爬行时间

3、GET/thread-7303-1-1.htmlHTTP,表示蜘蛛抓取了这个页面。

4、200状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。

5、8450表示此次抓取了8450个字节

6、Baiduspider(+http:-www-baidu-com/search/spider.htm)表示 百度蜘蛛 的名称

三、基本状态码:  

200:请求已经完成,蜘蛛访问页面正常

301:已经移动,永久重定向

302:临时重定向

304:蜘蛛爬取后发现,页面没有修改

305:使用代理

400:请求错误

404:找不到页面

四、IIS详细状态码含义:  

100-表示已收到请求的一部分,正在继续发送余下部分。

101-切换协议。

2XX-成功服务器成功地接受了客户端请求。(只要是2XX的状态,都表示成功)

200-确定。客户端请求已成功。

201-已创建。

202-已接受。

203-非有名性信息。

204-无内容。

205-重置内容。

206-部分内容。

300-针对收到请求,服务器可执行多种操作。

301-永久移动转移,请求的内容已永久移动其他新位置。

302-临时移动转移,请求的内容已临时移动新的位置

304-未修改。自从上次请求后,请求的内容未修改过。

307-临时重定向。服务器目前从不同位置响应请求,但请求者应继续使用原有位置来进行以后的请求。

400-错误的请求。

401-访问被拒绝。IIS定义了许多不同的401错误,它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示,但不在IIS日志中显示:

401.1-登录失败。

401.2-服务器配置导致登录失败。

401.3-由于ACL对资源的限制而未获得授权。

401.4-筛选器授权失败。

401.5-ISAPI/CGI应用程序授权失败。

401.7-访问被 web服务器 上的URL授权策略拒绝。这个错误代码为IIS6.0所专用。

403-禁止访问:IIS定义了许多不同的403错误,它们指明更为具体的错误原因:

403.1-执行访问被禁止。

403.2-读访问被禁止。

403.3-写访问被禁止。

403.4-要求SSL.

403.5-要求SSL128.

403.6- IP地址 被拒绝。

403.7-要求客户端证书。

403.8-站点访问被拒绝。

403.9-用户数过多。

403.10-配置无效。

403.11-密码更改。

403.12-拒绝访问映射表。

403.13-客户端证书被吊销。

403.14-拒绝目录列表。

403.15-超出客户端访问许可。

403.16-客户端证书不受信任或无效。

403.17-客户端证书已过期或尚未生效。

403.18-在当前的应用程序池中不能执行所请求的URL.这个错误代码为IIS6.0所专用。

403.19-不能为这个应用程序池中的客户端执行CGI.这个错误代码为IIS6.0所专用。

403.20-Passport登录失败。这个错误代码为IIS6.0所专用。

404-未找到请求的内容。

404.0-未找到文件或目录。

404.1-无法在所请求的端口上访问Web站点。

404.2-Web服务扩展锁定策略阻止本请求。

404.3-MIME映射策略阻止本请求。

405-用来访问本页面的HTTP谓词不被允许(方法不被允许)

406-客户端浏览器不接受所请求页面的MIME类型。

407-要求进行代理身份验证。

412-前提条件失败。

413-请求实体太大。

414-请求URI太长。

415-不支持的媒体类型。

416-所请求的范围无法满足。

417-执行失败。

423-锁定的错误。

500-服务器内部错误。

500.12-应用程序正忙于在Web服务器上重新启动。

500.13-Web服务器太忙。

500.15-不允许直接请求Global.asa.

500.16-UNC授权凭据不正确。这个错误代码为IIS6.0所专用。

500.18-URL授权存储不能打开。这个错误代码为IIS6.0所专用。

500.100-内部ASP错误。

501-服务器无法完成请求的功能。

502-服务器用作网关或代理服务器时收到了无效响应。

502.1-CGI应用程序超时。

502.2-CGI应用程序出错。

503-服务不可用。这个错误代码为IIS6.0所专用。

504-网关超时。

505-HTTP版本不受支持。

免责声明

任何关于疾病的建议都不能替代执业医师的面对面诊断,请谨慎参阅。本站不承担由此引起的法律责任。

本站上所有内容均出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

热门网站
  • 百度网盘
    百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固,支持教育网加速,支持手机端。注册使用百度网盘即可享受免费存储空间。
  • 中国新闻网
    中国新闻网,是知名的中文新闻门户网站,也是全球互联网中文新闻资讯最重要的原创内容供应商之一。依托中新社遍布全球的采编网络,每天24小时面向广大网民和网络媒体,快速、准确地提供文字、图片、视频等多样化的资讯服务。在新闻报道方面,中新网动态新闻及时准确,解释性报道角度独特,稿件被国内外网络媒体大量转载。
  • 网易体育
    体育,体育频道,包含体育新闻,NBA,CBA,英超,意甲,西甲,冠军杯,体育比分,足彩,福彩,体育秀色,网球,F1,棋牌,乒羽,体育论坛,中超,中国足球,综合体育等专业体育门户网站
  • 魅影直播
    魅影直播诞生于2018年,由一群怀抱热忱的直播技术工程师与资深内容创作者共同创立。团队凭借对技术创新的执着与对内容品质的深刻理解,立志打破传统直播模式,打造一个真正以用户需求为核心、强调互动与社区归属感的优质平台。历经多年深耕与发展,魅影直播已成功跻身国内优秀的泛娱乐直播平台行列。我们不仅拥有超过十万级的庞大注册用户群体,更汇聚了逾万名才华横溢的优质主播,覆盖音乐、舞蹈、聊天、生活分享等多个领域。魅影直播的使命是构建一个真正开放、包容且充满创新活力的直播生态系统。我们致力于打破界限,让每一个独特的个体都能在此安全、自如地表达,发现并深耕自己的兴趣,分享真实而多彩的生活瞬间,并最终将热爱转化为个人价值与成长。魅影直播的愿景是成为全球互动娱乐领域的引领者。为此,我们将持续推动前沿技术应用,深耕魅影直播APP免费版下载安装,超越传统的观看模式,重塑实时互动与情感连接的深度,为全球用户带来前所未有的、沉浸式的下一代直播体验。
  • 中国财经网
    以“中国财经”、“中国财经APP”、中国财经双微等为核心业务平台,实现多屏互动,重点关注宏观经济、金融、证券、上市公司、房产、科技等领域,为用户提供时效、专业、全面的财经信息及综合类服务。
  • 简书
    简书是一个优质的创作社区,在这里,你可以任性地创作,一篇短文、一张照片、一首诗、一幅画……我们相信,每个人都是生活中的艺术家,有着无穷的创造力。
  • 301解放军总医院
    中国人民解放军总医院(301医院)创建于1953年,是集医疗、保健、教学、科研于一体的大型现代化综合性医院,直属于中国人民解放军联勤保障部队。医院是中央重要保健基地,承担军委、总部等多个体系单位、官兵的医疗保健和各军区、军兵种转诊、后送的疑难病诊治任务。医院同时又是解放军医学院,以研究生教育为主,是全军唯一一所医院办学单位。
手机号码吉凶查询网