搜索引擎爬虫蜘蛛的USERAGENT大全
发布时间：2010-08-29 14:39:33 作者：佚名 
我要评论
我要评论搜索引擎爬虫蜘蛛的USERAGENT收集，方便制作采集的朋友。
百度爬虫
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫（分别是雅虎中国和美国总部的爬虫）
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪爱问爬虫
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬虫
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫（分别是雅虎中国和美国总部的爬虫）
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪爱问爬虫
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬虫
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
相关文章
进行https证书申请安装和tomcat https证书安装的方法
对于https证书，想必大家已经非常熟悉了，这是一种可以保护网站安全的证书，以https开头的网站都是具有这一证书的网站。今天给大家介绍怎样进行https证书申请安装和tomcat2019-10-31
库店创始人郑剑豪,原寺库商城总经理,2010年聚划算创始团队成员,5年时间帮助寺库成功上市。库店,是美国纳斯达克上市企业寺库旗下高品质社交电商平台,获京东与LVMH集团旗下基2018-11-01- 相信不少的程序员都有过类似的困惑：如果我没有大型的项目经历，也不能靠技术征服面试官，那我要怎么才能给面试官留下一个好印象呢？感兴趣的朋友跟随小编一起通过本文学习2018-10-19
“得用户者得天下”——互联网创客马拉松互联网思维分享会顺利举办
2018年8月，由中国移动互联网公司主办的“创客马拉松∙创新思维系列沙龙”的“得用户者得天下”分享活动在广州TIT创意园氪空间成功举行。分享会上，中移互联网公2018-08-30腾讯云最新校园拼团活动,1核2G ,10元/月,送给有需要的朋友
腾讯云新一期的拼团活动又开始了。新老用户奖励幅度都加大了，1核2G云服务器+50G对象存储， 10元/月，上车买1年送半年2018-07-25
中国移动2018年举办的 “万物互联”创客马拉松大赛涵盖6大主题赛事：互联网、物联网、数字家庭、5G联创、行业应用及数字内容，汇聚社会创新资源，助力生态打造2018-07-12
移动认证闪耀2018年中国互联网大会，登录1800余款APP不再需要密码了
7月10日-12日由中国互联网协会主办的2018(第十七届)中国互联网大会在北京国家会议中心隆重召开。重点给大家介绍移动认证闪耀2018年中国互联网大会，登录1800余款APP不再需2018-07-12- 极速码验证码接收平台软件是一款手机验证码获取工具，该软件功能强大，可以为用户提供手机验证码自动接收和验证等服务，从而轻松解决用户在注册多个帐号要绑定手机号码的难2018-07-09
0元/12个月免费云虚拟主机？小鸟云这次玩大的！ 这次活动虽然没有明说活动截止日期，但领取的人多了官方可能也会限制领取人数哦，赶紧动起来领取就没错了2018-05-08
做“专业上深耕，心态上开放，决策上独立”的技术管理者 ——暨CTO训练
51CTO主办的CTO训练营第五季在北京东直门NAGA上院举办了开营典礼，来自北京、上海、深圳、香港、杭州、广州、成都等多地的近60位技术管理者齐聚北京，共同参与本季历时7个2018-04-27
最新评论