如何判断IP是不是百度蜘蛛
点击数:63572014-03-24 17:32:55 来源: 海盈网络
网站站长经常会有这样的烦恼:查看服务器日志时,经常发现很多IP频繁抓取网站,但又不确定是否是百度的蜘蛛。
下面,网站工作室根据百度官方的解释做一下普及。
首先,百度蜘蛛的User-Agent很容易辨认,只有带BaiduSpider字样的UA才是百度蜘蛛,否则必然不是。
其次,User-Agent包含BaiduSpider也不一定就是百度蜘蛛,可能有伪造的情况。如何识别伪造,方法如下。
1. 在Windows平台下,通过"cmd"命令提示符运行“nslookup IP地址” 查看主机名的方式查看:
如:
c:\users\Jason\nslookup 123.125.66.120 服务器: public1.114dns.com Address: 114.114.114.114 名称: baiduspider-123-125-66-120.crawl.baidu.com Address: 123.125.66.120
可以看出主机名(hostname)以baidu.com结尾。
2. 在Linux平台下,通过“host IP地址”命令查看主机名。
$ host 123.125.66.120 120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.查到的主机名同样以baidu.com结尾。
百度蜘蛛的IP通过上面反查IP地址的方式可以判断,如果结尾不是baidu.com或baidu.jp,那么可以判定为假冒百度蜘蛛。
更多百度蜘蛛相关的知识请查看:http://zhanzhang.baidu.com/wiki/161
【责任编辑:】(Top) 返回页面顶端