搜索引擎爬虫蜘蛛的USERAGENT大全
发布时间：2010-08-29 14:39:33 作者：佚名 
我要评论
我要评论搜索引擎爬虫蜘蛛的USERAGENT收集，方便制作采集的朋友。
百度爬虫
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫（分别是雅虎中国和美国总部的爬虫）
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪爱问爬虫
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬虫
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫（分别是雅虎中国和美国总部的爬虫）
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪爱问爬虫
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬虫
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
相关文章
宝塔面板屏蔽 Censys的配置方法(防止源站 IP 泄露)
Censys 搜索引擎很强大,Censys 每天都会扫描 IPv4 地址空间，以搜索所有联网设备并收集相关的信息，并返回一份有关资源（如设备、网站和证书）配置和部署信息的总体报告2025-03-01
近来站长们应该基本都遇到过 DDOS 攻击，特别是 CC，如果放任不管，会导致服务器资源紧张，导致用户无法正常访问,有时间就算接入了高防服务器，源站 IP 还是被打，网站打不2025-03-01
当我们谈论绕过CDN查找真实IP的时候，不得不提到SSL证书，它确实是我们寻找真实IP的一大利器，至于为什么SSL证书会导致源站IP泄露？很多人或许没有深入了解这个问题,目前好2025-03-01
默认CloudFlare都是让大家通过dns接入，但大家因为已经习惯了dnspod等解析方式，那么cname就比较方便大家使用了，下面为大家分享一下cname的接入方法,需要的朋友可以参考下2025-02-20- 是否需要高防服务器呢，最近很多网站遭受ddos与cc攻击，双11之际旅途云特为大家提供了性价比更高的高防服务器套餐需要的朋友可以咨询2023-11-12
- 在本篇文章里小编给大家整理的是关于华为云优惠券领取的方法和入口，有此需要的朋友们可以领取下，希望对你有帮助。2020-03-12
- 在本篇文章里小编给大家整理了关于华为云优惠券使用方法和详细步骤，有兴趣的朋友们可以学习下。2020-03-12
我们给大家带来如何用优惠的方法购买华为云主机的方法以及给大家分享华为云的优惠券和代金券，希望能够帮助到大家。2020-02-26
进行https证书申请安装和tomcat https证书安装的方法
对于https证书，想必大家已经非常熟悉了，这是一种可以保护网站安全的证书，以https开头的网站都是具有这一证书的网站。今天给大家介绍怎样进行https证书申请安装和tomcat2019-10-31
库店创始人郑剑豪,原寺库商城总经理,2010年聚划算创始团队成员,5年时间帮助寺库成功上市。库店,是美国纳斯达克上市企业寺库旗下高品质社交电商平台,获京东与LVMH集团旗下基2018-11-01
最新评论