百度SEO:轻松两步,正确识别百度蜘蛛(User-Agent)

04-16 19:00 好宝宝网站收录 2

经常听到开发者问, 百度蜘蛛 是什么?最近百度蜘蛛来的太频繁服务器抓爆了!最近百度蜘蛛都不来了怎么办?还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但 IP地址 范围动态变化不固定,我们无法对外公布。

那么如何才能识别正确的百度蜘蛛呢?今日干货带你轻松两步正确识别百度蜘蛛:

一、查看UA信息

如果UA信息不对,可以直接判断为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景,这三个渠道UA分别如下:

移动UA:

Mozilla/5.0 (Linux;u;And ROI d 4.2.2;zh-cn;) AppleWebKit/534.46 (K Html ,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)


Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

小程序UA:

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

二、双向 DNS解析 认证

第一步:DNS反查IP

开发者通过对日志中访问服务器的IP地址运行反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1).在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。

2).在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。

3).在macos平台下,您可以使用dig命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。

第二步:对 域名 运行正向DNS查找

对第一步中通过命令检索到的域名运行正向DNS查找,验证该域名与您日志中访问服务器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址不一致即为冒充。

示例1:

>host 111.206.198.69

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.

>host baiduspider-111-206-198-69.crawl.baidu.com

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

免责声明

任何关于疾病的建议都不能替代执业医师的面对面诊断,请谨慎参阅。本站不承担由此引起的法律责任。

本站上所有内容均出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

您可能需要
热门网站
  • 百度网盘
    百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固,支持教育网加速,支持手机端。注册使用百度网盘即可享受免费存储空间。
  • 网易体育
    体育,体育频道,包含体育新闻,NBA,CBA,英超,意甲,西甲,冠军杯,体育比分,足彩,福彩,体育秀色,网球,F1,棋牌,乒羽,体育论坛,中超,中国足球,综合体育等专业体育门户网站
  • 中国财经网
    以“中国财经”、“中国财经APP”、中国财经双微等为核心业务平台,实现多屏互动,重点关注宏观经济、金融、证券、上市公司、房产、科技等领域,为用户提供时效、专业、全面的财经信息及综合类服务。
  • 飞猪
    飞猪是阿里巴巴旗下的综合性旅游出行服务平台。飞猪整合数千家机票代理商、航空公司、旅行社、旅行代理商资源,直签酒店,客栈卖家等为广大旅游者提供特价机票,酒店预订,客栈查询,国内外度假信息,门票购买,签证代理,旅游卡券,租车,邮轮等旅游产品的信息搜索,购买及售后服务。全程采用支付宝担保交易,安全、可靠、有保证。
  • 武汉大学
    武汉大学(Wuhan University),简称武大(WHU),位于湖北省武汉市,是教育部直属的综合性全国重点大学, 中央直管高校,国家首批“双一流”、“985工程”、“211工程”重点建设高校。入选“101计划”、英才计划、国家建设高水平大学公派研究生项目,为医学“双一流”建设联盟、欧亚-太平洋大学联盟、中英高等教育人文联盟成员,长江中游城市群“双一流”高校联盟理事长单位。 武汉大学溯源于1893年清末湖广总督张之洞奏请清政府创办的自强学堂,历经传承演变,1928年定名为国立武汉大学,是近代中国第一批国立大学。 1960年被确定为全国重点综合性大学,1995年被确定为国家“211工程”重点建设高校。2000年武汉大学与武汉水利电力大学、武汉测绘科技大学、湖北医科大学合并组建新的武汉大学,2001年进入国家“985工程”重点建设高校行列,2017年入选国家“双一流”建设高校。
  • 简书
    简书是一个优质的创作社区,在这里,你可以任性地创作,一篇短文、一张照片、一首诗、一幅画……我们相信,每个人都是生活中的艺术家,有着无穷的创造力。
  • 301解放军总医院
    中国人民解放军总医院(301医院)创建于1953年,是集医疗、保健、教学、科研于一体的大型现代化综合性医院,直属于中国人民解放军联勤保障部队。医院是中央重要保健基地,承担军委、总部等多个体系单位、官兵的医疗保健和各军区、军兵种转诊、后送的疑难病诊治任务。医院同时又是解放军医学院,以研究生教育为主,是全军唯一一所医院办学单位。
手机号码吉凶查询网