简单了解Google的主力数据存储系统Bigtable
BigTable是Google设计的分布式数据存储系统,用来处理海量的数据的一种非关系型的数据库。
BigTable是非关系型数据库,是一个稀疏的、分布式的、持久化存储的多维度排序Map。Bigtable的设计目的是快速且可靠地处理PB级别的数据,并且能够部署到上千台机器上。
Bigtable已经实现了以下的几个目标:适用性广泛、可扩展、高性能和高可用性。
Bigtable已经在超过60个Google的产品和项目上得到了应用,包括 Google Analytics、GoogleFinance、Orkut、Personalized Search、Writely和GoogleEarth。这些产品对Bigtable提出了迥异的需求,有的需要高吞吐量的批处理,有的则需要及时响应数据给最终用户。它们使用的Bigtable集群的配置也有很大的差异,有的集群只有几台服务器,而有的则需要上千台服务器、存储几百TB的数据。
在很多方面,Bigtable和数据库很类似:它使用了很多数据库的实现策略。并行数据库和内存数据库已经具备可扩展性和高性能,但是Bigtable提供了一个和这些系统完全不同的接口。
Bigtable不支持完整的关系数据模型;与之相反,Bigtable为客户提供了简单的数据模型,利用这个模型,客户可以动态控制数据的分布和格式(alex注:也就是对BigTable而言,数据是没有格式的,用数据库领域的术语说,就是数据没有Schema,用户自己去定义Schema),用户也可以自己推测(alex注:reasonabout)底层存储数据的位置相关性(alex注:位置相关性可以这样理解,比如树状结构,具有相同前缀的数据的存放位置接近。在读取的时候,可以把这些数据一次读取出来)。数据的下标是行和列的名字,名字可以是任意的字符串。
Bigtable将存储的数据都视为字符串,但是Bigtable本身不去解析这些字符串,客户程序通常会在把各种结构化或者半结构化的数据串行化到这些字符串里。通过仔细选择数据的模式,客户可以控制数据的位置相关性。最后,可以通过BigTable的模式参数来控制数据是存放在内存中还是硬盘上。
特点:
1、适合大规模海量数据,PB级数据;
2、分布式、并发数据处理,效率极高;
3、易于扩展,支持动态伸缩;
4、适用于廉价设备;
5、适合于读操作,不适合写操作。
6、不适用于传统关系型数据库;
应用:
BigTable为谷歌旗下的搜索、地图、财经、打印、以及社交网站Orkut、视频共享网站YouTube和博客网站Blogger等业务提供技术支持。
Cloud Bigtable
此外,Google也为用户提供Bigtable云数据库——他们的自有数据库,在其搜索、Gmail、地图或YouTube等服务中使用已超过十年时间。Bigtable不像Google的其它产品一样开源,因此这一新的云服务只能通过开源接口Apache HBase 1.0.1 API访问。
谷歌承诺,Cloud Bigtable的延迟时间将限制在几毫秒(个位数),每美元性能是HBase、Cassandra等类似数据库的两倍。由于Cloud Bigtable支持HBase的应用程序接口,所以它能够与分布式系统基础架构Hadoop生态系统中的现有应用相整合,但也支持谷歌的云数据分析工具Cloud Dataflow。
Bigtable云的特性如下:
1.可扩展至成百上千个PB
2.高可用性
3.可复制
4.数据以加密形式传输和存储
5.全托管
6.与Hadoop生态系统集成
适用于金融、物联网、时序和市场等领域的数据
Google称Bigtable凭借“个位数毫秒级延迟以及两倍于其它非托管NoSQL产品的性价比”提供“无与伦比的性能”。数据如下图所示,该图由Google发布,目前还没有被某个独立衡量基准验证核实过。
相关文章
- 站点出于隐私的考虑不希望百度保留快照,网上也在不停地讨论如何禁止百度保留快照的方法,那么,到底该如何禁止百度保留快照呢?本文将提供noarchive代码禁止百度保留快照2015-12-30
- 网站的运营,发展到今天,网站通用部分的功能,很多已经有了非常成熟的产品插件可以使用,比起独立开发的耗时、维护,以及还有产品不成熟的风险,这些网站的功能插件确实非2015-12-21
移动建站再现大招 只需要在网站加入一行代码就能把PC网站搬到手机上
只需要在网站加入一行代码,在几个小时之内就能拥有一个精美的手机网站?!这是搜狐快站最新推出的快适配即可实现的神奇功能。下面我们来看看它是如何使用的2014-10-24- 在CSS建站中,无论其代码长度还是文件大小都会影响到网页的正确展示盒速度。那么如何来进行CSS的优化和验证呢?如果你的css水平不能够达到自检的程度,那么今天就和笔者一2014-10-11
- 众所周知,HTML代码一直是搜索引擎抓取的重点。搜索引擎会将HTML中的某些元素标签作为影响网页排名的重要依据2014-04-15
- 随着360搜索引擎的出现,在短短一年内360占有的份额达到了10%以上,百度为了在众多搜索引擎中占有不败之位,在不断的改革中。那么针对seo未来发展之路该走向何方2014-03-16
cnzz统计代码引起的Bad Request - Request Too Long的原因分析
用Chrome打开某些博客文章时,会出现Bad Request - Request Too Long. HTTP Error 400. The size of the request headers is too long.的错误页面2014-01-24- 我们在谷歌所做事情中另外一个让我感到异常有效、有用的制度是严格的编码规范2013-09-28
- 百度在搜索结果中偏爱自己的产品是无用质疑的,所以,越来越多的站长决定给网站页面加上百度分享代码2013-09-24
- RGB:RGB色彩模式是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道2013-08-23


最新评论