如何判断IP是不是百度蜘蛛

点击数：40732014-03-24 17:32:55　来源: 海盈网络

网站站长经常会有这样的烦恼：查看服务器日志时，经常发现很多IP频繁抓取网站，但又不确定是否是百度的蜘蛛。

下面，网站工作室根据百度官方的解释做一下普及。

首先，百度蜘蛛的User-Agent很容易辨认，只有带BaiduSpider字样的UA才是百度蜘蛛，否则必然不是。

其次，User-Agent包含BaiduSpider也不一定就是百度蜘蛛，可能有伪造的情况。如何识别伪造，方法如下。

1. 在Windows平台下，通过"cmd"命令提示符运行“nslookup IP地址” 查看主机名的方式查看：

如：

c:\users\Jason\nslookup 123.125.66.120
服务器:  public1.114dns.com
Address:  114.114.114.114

名称:    baiduspider-123-125-66-120.crawl.baidu.com
Address:  123.125.66.120

可以看出主机名（hostname）以baidu.com结尾。

2. 在Linux平台下，通过“host IP地址”命令查看主机名。

$ host 123.125.66.120 
120.66.125.123.in-addr.arpa domain name pointer 
baiduspider-123-125-66-120.crawl.baidu.com.

查到的主机名同样以baidu.com结尾。

百度蜘蛛的IP通过上面反查IP地址的方式可以判断，如果结尾不是baidu.com或baidu.jp，那么可以判定为假冒百度蜘蛛。

更多百度蜘蛛相关的知识请查看：http://zhanzhang.baidu.com/wiki/161