C++算法之海量数据处理方法的总结分析

 更新时间:2013年05月29日 09:51:36   作者:  
本篇文章是对海量数据处理方法进行了详细的总结与分析,需要的朋友参考下
海量数据处理中常用到的技术
1. Bloom Filtering
基本的Bloom Filtering支持快速的插入和查找操作,是一种hash表技术。基本的数据结构非常简单,容量为m的位数组,k个hash函数,将输入的n个元素存储在位数组里面。
每次插入一个新的元素,先计算该元素的k个hash指,将位数组对应hash值位置为1. 查找某个元素时,同样的先计算k个hash值,然后查询看是否对应位数组中得k位是否都是1,是则断定元素存在。
基本的Bloom Filtering算法可以用于允许误差的快速判重操作。集合的交集、并集的计算。
Bloom Filtering有个改进的版本counting bloom filtering可以支持数据的删除操作,countering bloom filtering和基本的bloom filtering相比,位数组中每一位的取值扩展成多位,基本的bloom filtering用1bit表示一位。插入一个元素时,所有的k位都加1,删除时都减1,查找时如果k个值都大于0则判定为存在。CBF中有个很重要的参数,即每一位的位数为多少。可以通过理论证明,位数一般取4就足够了,可以支持同一个数据插入16次。
bitmap可以看做bloom filtering的特例
2. Hash表技术
d-left hash hash表负载均衡技术。将hash表分成d段,设计d个hash函数,更具负载选择一个合适的段存放数据。查找时要计算d个hash值,分别在d段中找。
常用于统计次数。
3. 堆技术
堆有两个典型的应用:
多路归并排序
求TopK
多路归并排序时,降序排序时用最大堆,升序排序用最小堆。
TopK时,求TopK最大时,用最小堆,求TopK最小时用最大堆。求topK最大时,利用最小堆堆维护K个值,当新扫描的值大于堆顶元素时,堆顶元素删除,插入新的值。这样扫描完一遍数据,既可以求得topK最大。
4. 双层桶(多层桶)设计
hash表技术是一种direct addr 技术,但是当数据范围分布过广、且数据量非常大的时候,采用hash表直接direct addr技术就不行了,这是可以使用多层hash技术。将原始数据范围分成小段,每一段内存可以装载,段内可以使用direct addr table技术。可以用多层分级快速定位到小段。

相关文章

  • C语言实现哈夫曼树

    C语言实现哈夫曼树

    这篇文章主要为大家详细介绍了C语言实现哈夫曼树,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-04-04
  • c语言常见图片格式判断实例

    c语言常见图片格式判断实例

    这篇文章介绍了c语言常见图片格式判断实例,有需要的朋友可以参考一下
    2013-09-09
  • CISBitmap派生的VC++位图透明类实例

    CISBitmap派生的VC++位图透明类实例

    这篇文章主要介绍了CISBitmap派生的VC++位图透明类,比较实用的功能,需要的朋友可以参考下
    2014-08-08
  • 从零开始的Socket编程学习

    从零开始的Socket编程学习

    我们每天打开浏览器浏览网页时,浏览器的进程怎么与web服务器通信的?QQ进程怎么与服务器或你好友所在的QQ进程通信?这些都得靠socket?那什么是socket?socket的类型有哪些?还有socket的基本函数,下面小编带大家了解下
    2019-05-05
  • C语言柔性数组实例详解

    C语言柔性数组实例详解

    这篇文章主要介绍了C语言柔性数组,通过实例分析了不完整类型、结构体及柔性数组等概念,需要的朋友可以参考下
    2014-09-09
  • 浅谈c++中的stl中的map用法详解

    浅谈c++中的stl中的map用法详解

    下面小编就为大家带来一篇浅谈c++中的stl中的map用法详解。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-10-10
  • windows上安装CLion教程及简单使用详解

    windows上安装CLion教程及简单使用详解

    这篇文章主要介绍了windows上安装CLion教程及简单使用,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-08-08
  • OpenCV使用鼠标响应裁剪图像

    OpenCV使用鼠标响应裁剪图像

    这篇文章主要为大家详细介绍了OpenCV实现鼠标响应裁剪图像,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-01-01
  • 树形结构的3中搜索方式示例分享

    树形结构的3中搜索方式示例分享

    树的3中常见搜索方式,包括二叉树方式(每一层只有0和1)、满m叉树(每一层都有0 到m - 1)、子集树,也称为全排列树,需要的朋友可以参考下
    2014-02-02
  • C语言中send()函数和sendto()函数的使用方法

    C语言中send()函数和sendto()函数的使用方法

    这篇文章主要介绍了C语言中send()函数和sendto()函数的使用方法,是C语言入门学习中的基础知识,需要的朋友可以参考下
    2015-09-09

最新评论