各大搜索引擎蜘蛛IP段分析如何判断百度蜘

搜索引擎蜘蛛会定期来抓取网站内容，以便收录网页，站长们是非常欢迎蜘蛛来爬的，但是却有人经常伪造蜘蛛IP进行恶意采集内容，还有很多DDOS攻击也会伪造成蜘蛛的UserAgent来攻击，我查看过一位站长朋友被DDOS攻击的日志，里面大概20%的国外IP伪造成Googlebot来访问，这样会对我们的网站造成影响。我们必须要揪出这些假蜘蛛，拒绝他们访问网页，这时候我们只能通过IP来识别了，因为User-agent是可以伪造的，只有IP才能准确判断。

下面是新云最近收集的各大搜索引擎蜘蛛ip数据，数据没办法保证完全准确，因为搜索引擎官方是不公开IP段的，且IP都会变，我对比过多个数据和自己核验，下面的数据还是挺可靠的，有遗漏的下面还会有解决方案。（以下数据为年7月15日收集，如有其它新的还请自己添加）

百度蜘蛛IP段：

61..0.0/16

..0.0/16

..0.0/16

.76.0.0/20

...0/19

..0.0/16

36...0/17

..0.0/14

..0.0/16

.97.0.0/18

Google中国蜘蛛IP段：

..32.0/19

..60.0/24

74..0.0/16

72.14..0/18

64...0/19

66..64.0/19

66..0.0/20

64.68.64.0/19

66..90.0/24

66..91.0/24

66..92.0/24

搜狗蜘蛛IP段：

...0/22

..0.0/14

..0.0/16

61..0.0/16

..64.0/18

..0.0/16

36...0/19

..0.0/16

...0/17

49.7.0.0/18

.30.96.0/19

.38.0.0/16

.13.0.0/16

58..0.0/16

.36.96.0/19

49.7.64.0/18

必应蜘蛛IP段：

.25..0/24

..16.0/20

.56.0.0/16

.30.16.0/20

65.52.0.0/14

13.64.0.0/11

.55.0.0/16

.46.0.0/16

40.64.0.0/10

52..0.0/11

40.76.0.0/14

40.80.0.0/12

52..0.0/11

搜索蜘蛛IP段：(这是官方提供的，非常准确)

..0.0/16

...0/17

42..0.0/12

头条搜索蜘蛛IP段：

...0/24

...0/24

...0/24

...0/24

...0/24

...0/24

..0.0/14

60.8.0.0/15

..0.0/12

...0/18

神马搜索蜘蛛IP段：

42...0/17

42...0/17

.11..0/20

以上IP段可能未来还会新增，而且新增的IP段我们也无法获取到，这时候我们就需要另外一种方案来核实了，那就是DNS反查，我们可以通过反查来访的蜘蛛IP，查到对应的域名地址即可核实。

通过DNS反查IP用的是一种代码指令，不同的操作平台使用的指令也是不同的，比如：linux、windows、MacOS这三个操作平台，使用的指令为host、nslookup、dig，查询的格式为：hostip(ip=ip地址)、nslookupip(ip=ip地址)、digip(ip=ip地址)。例如：host..XXX.XXX或nslookup..XXX.XXX或dighost..XXX.XXX，如果是用PHP可以使用gethostbyaddr(\”IP\”)来获取，不同的蜘蛛IP对应的域名是不一样的，我们只要核实是哪家的蜘蛛就OK了。

下面我把各大搜索引擎蜘蛛的域名分享下：

百度蜘蛛IP对应的域名(例子)：

baiduspider9491694979-32-.crawl.baidu.