UserAgent 是软件或设备在发送请求时随发送内容一起发送的一组用来标识设备或软件的信息。搜索引擎在发送请求时也会包含 UserAgent，每个搜索引擎的 UserAgent 都不一样，通过提取服务器日志中相应的 UserAgent，可以统计和分析搜索引擎蜘蛛的访问情况。

之前简单写了一下 常见的浏览器的 UserAgent ，这里继续来写搜索引擎的 UserAgent。

我这里的 UserAgent 是通过搜索引擎说明和 Nginx 日志中的访问记录得到的。

Google

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

移动版：

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

IP：

66.249.66.*

Googlebot 的 IP 有很多，基本上以 66.249.66 开头的很多都是 Googlebot 的 IP。

百度

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

移动版：

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

IP：

220.181.108.121
220.181.108.181
220.181.108.122  
220.181.108.91  
116.179.32.172  
39.100.113.66

Baiduspider 的 IP 有很多，上面只包含一小部分，IP 段也很多。

Bing

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

移动版：

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 Edg/W.X.Y.Z (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

因为在最近两天的 Nginx 日志中没有找到 bingbot 移动版的 UA，所以上面的移动板 UA 来源于 Bing 官方的说明。

IP：

40.77.167.83  
40.77.167.182  
40.77.167.148  
40.77.167.205  
157.55.39.190  
157.55.39.244

bingbot 的 IP 也很多，上面只包含一小部分。

搜狗

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

移动版目前暂时还没有找到，后续会补充。

IP：

220.249.46.22  
36.110.147.95  
111.202.101.151  
49.7.21.82  
58.250.125.143

上面只是统计了一部分 IP。

神马

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

或者：

YisouSpider

IP：

106.11.158.62  
42.120.161.29  
42.156.139.63  
42.156.137.60  
106.11.153.57  
42.156.137.34  
42.120.160.13  
106.11.152.41

上面只包含一部分 IP。

头条

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181;Bytespider;https://zhanzhang.toutiao.com/

移动版：

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)

IP：

110.249.201.188  
110.249.201.190  
110.249.202.26  
110.249.202.68  
60.8.123.102

上面只包含一部分 IP。

360

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider

或者：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36; 360Spider

移动版：

Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile

IP：

42.236.10.70  
42.236.10.90  
42.236.99.206

上面只包含一部分 IP。

以上就是国内常用的搜索引擎的 UserAgent。

相关文章：