国内常用的搜索引擎的蜘蛛 UserAgent

UserAgent 是软件或设备在发送请求时随发送内容一起发送的一组用来标识设备或软件的信息。搜索引擎在发送请求时也会包含 UserAgent,每个搜索引擎的 UserAgent 都不一样,通过提取服务器日志中相应的 UserAgent,可以统计和分析搜...