当前位置:海盈网站工作室 >> 新闻中心 >> 建站知识

如何判断IP是不是百度蜘蛛

点击数:31462014-03-24 17:32:55 来源: 海盈网络

网站站长经常会有这样的烦恼:查看服务器日志时,经常发现很多IP频繁抓取网站,但又不确定是否是百度的蜘蛛。


下面,网站工作室根据百度官方的解释做一下普及。


首先,百度蜘蛛的User-Agent很容易辨认,只有带BaiduSpider字样的UA才是百度蜘蛛,否则必然不是。

其次,User-Agent包含BaiduSpider不一定就是百度蜘蛛,可能伪造情况。如何识别伪造,方法如下。

1. 在Windows平台下,通过"cmd"命令提示符运行“nslookup IP地址” 查看主机名的方式查看:

如:

c:\users\Jason\nslookup 123.125.66.120
服务器:  public1.114dns.com
Address:  114.114.114.114

名称:    baiduspider-123-125-66-120.crawl.baidu.com
Address:  123.125.66.120

可以看出主机名(hostname)以baidu.com结尾。


2. 在Linux平台下,通过“host IP地址”命令查看主机名。

$ host 123.125.66.120 
120.66.125.123.in-addr.arpa domain name pointer 
baiduspider-123-125-66-120.crawl.baidu.com.
查到的主机名同样以baidu.com结尾。

百度蜘蛛的IP通过上面反查IP地址的方式可以判断,如果结尾不是baidu.combaidu.jp,那么可以判定为假冒百度蜘蛛。


更多百度蜘蛛相关的知识请查看:http://zhanzhang.baidu.com/wiki/161


【责任编辑:(Top) 返回页面顶端