Java编程实现用hash方法切割文件
更新时间：2017年12月04日 09:08:49 作者：yan456jie
这篇文章主要介绍了Java编程实现用hash方法切割文件，简单介绍了hash的概念，然后分享了使用方法示例，具有一定借鉴价值，需要的朋友可以了解下。
Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。
如果有大型数据文件（如每行为url或者ip或者单词等的），以G为单位的，处理的时候需先切分。普通切分方法直接根据数据条数切分，得到的每个文件大小相近。
但是有时需要将相同数据放到相同文件中。可以使用hash切分法。
public class Test {
static int HASHLEN = 1000;
public static void main(String[] args) {
// TODO Auto-generated method stub
String words [] = {"yes" ,"an" ,"go"};
for(String word:words){
int temp = hash(word.toCharArray());
System.out.println(temp);
}
}
public static int hash(char[] word) {
int index = 0;
int i=0;
while(i<word.length) {
index += index * 31 + word[i];
i++;
}
return index % HASHLEN;
}
}
总结
以上就是本文关于Java编程实现用hash方法切割文件的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。
相关文章
这篇文章主要为大家介绍了Spring的Aware接口实现及执行顺序详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-12-12
下面小编就为大家分享一篇在Eclipse中使用版本管理工具SVN的图文教程，具有很好的参考价值，一起跟随小编过来看看吧2017-11-11
这篇文章主要介绍了Java HashMap原理及实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了JVM Client和Server端有什么区别,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-11-11
FTP 是File Transfer Protocol（文件传输协议）的英文简称，而中文简称为“文传协议”。接下来通过本文给大家实例讲解Java实现FTP文件的上传和下载功能，需要的的朋友一起看看吧2016-11-11
Interrupt 的其作用是"中断"线程, 但实际上线程仍会继续运行, 这是一个非常容易混淆的概念. Interrupt 的真正作用是给线程对象设置一个中断标记, 并不会影响线程的正常运行,需要的朋友可以参考下2021-05-05
这篇文章主要介绍了Java集合中的Iterator迭代器接口详解,Iterator,被称为迭代器接口,本身并不提供存储对象的能力,主要用于遍历Collection中的元素,需要的朋友可以参考下2023-11-11
JAVA内存模型和Happens-Before规则知识点讲解
在本篇文章里小编给大家整理的是一篇关于JAVA内存模型和Happens-Before规则知识点内容，有需要的朋友们跟着学习下。2020-11-11
Netty分布式FastThreadLocal的set方法实现逻辑剖析
这篇文章主要为大家介绍了Netty分布式FastThreadLocal的set方法实现逻辑剖析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-03-03
MyBatisPlus的autoResultMap生成策略实现
本文主要介绍了MyBatisPlus的autoResultMap生成策略实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-02-02
最新评论