如何判断百度蜘蛛的真假 有大用

目前中文互联网上有少量spider冒充Baiduspider抓取网页，

如何判断Baiduspider的真假，说明一下：

中文互联网上，Baiduspider ip的hostname以 *.baidu.com的格式命名，非 *.baidu.com即为冒充，建议您使用DNS反查方式来确定抓取来源的ip是否属于百度。

例如，在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。

$ host 123.125.66.120    (有些查得出来 有些查不出来)

120.66.125.123.in-addr.arpa domain name pointer

baiduspider-123-125-66-120.crawl.baidu.com.

在windows平台下，可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。

点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”

C:\Documents and Settings\wangtao>nslookup 123.125.66.120    (有些查得出来 有些查不出来)

Name:     baiduspider-123-125-66-120.crawl.baidu.com

Address:   123.125.66.120

详请参考：

http://www.baidu.com/search/spider_chinese.html

--------------------- 

作者：andyjiang 

来源：CSDN 

原文：https://blog.csdn.net/andyjiang2008/article/details/45150107 

版权声明：本文为博主原创文章，转载请附上博文链接！

来自  https://blog.csdn.net/andyjiang2008/article/details/45150107