大数据小内存排序问题如何巧妙解决
更新时间：2025年01月27日 09:30:46 作者：思wu邪
文章介绍了大数据小内存排序的三种方法：数据库排序、分治法和位图法,数据库排序简单但速度慢,对设备要求高；分治法高效但实现复杂；位图法可读性差,但存储空间受限
大数据小内存排序问题，很经典，很常见，类似的还有比如 “如何对上百万考试的成绩进行排序” 等等。
三种方法：
- 数据库排序（对数据库设备要求较高）
- 分治法（常见思路）
- 位图法（Bitmap）
方法概要
数据库排序（对数据库设备要求较高）
操作：将数据全部导入数据库，建立索引，数据库对数据进行排序，提取出数据。
特点：操作简单， 运算速度较慢，对数据库设备要求较高。分治法（常见思路）
操作：操作与归并排序的思想类似，都是分治。
将数据进行分块，然后对每个数据块进行内部的排序（假如是对int形数据升序）。
和归并排序类似，每个数据块取第一个数据（当前块的最小数据），然后比较取出的数据，取其最小加入结果集。
重复2操作，直到取完所有数据，此时排序完毕。
特点：
位图法（Bitmap）
操作：基本思想就是利用一位（bit）代表一个数字，例如第 3 位上为 1，则说明 3 这个数字出现过，若为0，则说明 3 这个数字没有出现过。很简单~
java.util 封装了
BitSet这样一个类，是位图法的典型实现。特点：
可读性差（不是一般的差 🤔）
位图存储的元素个数虽然比一般做法多，但是存储的元素大小受限于存储空间的大小。要想定义存储空间大小就需要实现知道存储的元素到底有多少
对于有符号类型的数据，需要用 2 位来表示，比如 第 0 位和第 1 位表示 0 这个数据，第 2 位和第 3 位表示 1 这个数据......，这会让位图能存储的元素个数，元素值大小上限减半
只知道元素是否出现，无法知道出现的具体次数
到此这篇关于大数据小内存排序问题如何巧妙解决的文章就介绍到这了,更多相关大数据小内存排序问题内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了MySQL中一些优化straight_join技巧,作者通过用户的实际案例分析,需要的朋友可以参考下2015-05-05
mysql取随机数据慢,怎么办?下面小编与大家一起来看看mysql取随机数据慢优化的过程。2013-11-11
这篇文章主要介绍了MySQL中的数据类型和schema优化的相关资料，帮助大家更好的理解和学习MySQL的知识，感兴趣的朋友可以了解下2020-10-10
今天小编就为大家分享一篇关于MySQL执行状态的查看与分析，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-03-03
什么是MySQL慢查询呢？其实就是查询的SQL语句耗费较长的时间。具体耗费多久算慢查询呢？这其实因人而异，有些公司慢查询的阈值是100ms，有些的阈值可能是500ms。本文将通过示例和大家聊聊慢查询的危害和常用场景，感兴趣的可以了解一下2022-10-10
双机热备从广义上讲，就是对于重要的服务，使用两台服务器，互相备份，共同执行同一服务。这篇文章主要介绍了mysql双机热备实现方案,需要的朋友可以参考下2019-10-10
本文通过实例代码给大家介绍了mysql中blob数据处理方式，非常不错，具有一定的参考借鉴价值，需要的朋友参考下吧2018-06-06
在本文中小编给大家整理的是关于mysql 字符串拼接+设置null值的实例内容以及具体方法，需要的朋友们可以学习下。2019-09-09
这篇文章主要介绍了MySQL的字符集操作命令总结，包括各种查看数据库、数据表等查询命令,需要的朋友可以参考下2014-04-04
这篇文章主要为大家详细介绍了MySQL的InnoDB存储引擎的数据页结构，，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-03-03
最新评论