Java判断字节流是否是 UTF8编码方法示例
更新时间：2023年07月21日 10:54:41 作者：岑吾
这篇文章主要我大家介绍了Java判断字节流是否是 UTF8编码方法示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
Java 判断字节流是否是 UTF8 编码
遇到本来设计时使用 GBK 编码处理的地方，在实际使用过程导入了 UTF8 编码，造成了显示文本为乱码的现象，在了解 UTF8，GBK 编码和 Unicode 标准之后，编写了 Java 判断字节流是否是 UTF8 编码的程序，如果是 UTF8 编码，则转换成 GBK 编码。
编码的基础知识
Unicode 是一种标准，GBK 和 UTF8 是具体是编码格式。Java 的字符都是以 Unicode 进行存储的，占两或四个字节（看版本，且 Unicode 编码中对应关系是存在 0x00 的编码的）。Java 中的 getBytes() 方法是和平台（编码）相关的，在中文系统中返回的可能是 GBK 或 GBK2312，在英文系统中返回的可能是 ISO-8859-1。
- Unicode 标准：是计算机科学领域里的一项业界标准，包括字符集、编码方案等，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。
- GBK 编码：汉字内码扩展规范，国标，汉字占两个字节。
- UTF8 编码：针对 Unicode 的可变长度字符编码，用 1 到 6 个字节编码 Unicode 字符，汉字一般占 3 个字节。
UTF8 编码格式
如果 Unicode 字符由 2 个字节表示，则编码成 UTF8 很可能需要 3 个字节。而如果 Unicode 字符由 4 个字节表示，则编码成 UTF8 可能需要 6个字节。用 4 个或 6 个字节去编码一个 Unicode 字符可能太多了，但很少会遇到那样的 Unicode 字符。
UTF8 编码规则：如果只有一个字节则其最高二进制位为 0，如果是多字节，其第一个字节从最高位开始，连续的二进制位值为 1，1 的个数决定了其编码的字节数，其余各字节均以 10 开头。
// Unicode6.1定义范围：0~10 FFFF // 20 0000 ~ 3FF FFFF 和 400 0000 ~ 7FFF FFFF 属于 UCS-4，UTF8 现在已经弃用了这部分内容 --------------------------------------------------------------------------------- n | Unicode (十六进制) | UTF - 8 (二进制) --+-----------------------+------------------------------------------------------ 1 | 0000 0000 - 0000 007F | 0xxxxxxx 2 | 0000 0080 - 0000 07FF | 110xxxxx 10xxxxxx 3 | 0000 0800 - 0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx 4 | 0001 0000 - 0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx --------------------------------------------------------------------------------- // 以下部分弃用 5 | 0020 0000 - 03FF FFFF | 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 6 | 0400 0000 - 7FFF FFFF | 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx ---------------------------------------------------------------------------------
Java 如何判断单个字符编码是否是 UTF8
假设当前需要判定一个 byte[] 数组内的编码是否是 UTF8 编码，这个 byte[] 是 String 通过 getBytes() 方法获取的，判断单个字符的编码步骤如下：
- 从 byte[] 数组中获取一个 byte 并将它转换成无符号类型的 int 变量 value
- 判断 value 是否是 ASCII 字符（小于 0x80）
- 判断 value 是否是无效字符（大于 0x80，小于 0xC0，参照 UTF8 编码规则）
- 确认该字符编码的是几字节 UTF8
- 确认该字符编码的除第一个字节外的字节是否满足 10xxxxxx 格式
PS：
Java getBytes() 获取的是带符号的十六进制，实际处理时需要使用无符号十六进制。
GBK 和 UTF8 中 ASCII 字符的值是一样的。
具体程序
将十六进制流中的所有编码按照单个判定的方式便利一遍，如果有不符合 UTF8 编码规则的字符出现，则该十六进制流就不是 UTF8 编码格式的字串。
public static int byteToUnsignedInt(byte data) {
return data & 0xff;
}
public boolean isUTF8(byte[] pBuffer) {
boolean IsUTF8 = true;
boolean IsASCII = true;
int size = pBuffer.length;
int i = 0;
while (i < size) {
int value = byteToUnsignedInt(pBuffer[i]);
if (value < 0x80) {
// (10000000): 值小于 0x80 的为 ASCII 字符
if (i >= size - 1) {
if (IsASCII) {
// 假设纯 ASCII 字符不是 UTF 格式
IsUTF8 = false;
}
break;
}
i++;
} else if (value < 0xC0) {
// (11000000): 值介于 0x80 与 0xC0 之间的为无效 UTF-8 字符
IsASCII = false;
IsUTF8 = false;
break;
} else if (value < 0xE0) {
// (11100000): 此范围内为 2 字节 UTF-8 字符
IsASCII = false;
if (i >= size - 1) {
break;
}
int value1 = byteToUnsignedInt(pBuffer[i + 1]);
if ((value1 & (0xC0)) != 0x80) {
IsUTF8 = false;
break;
}
i += 2;
} else if (value < 0xF0) {
IsASCII = false;
// (11110000): 此范围内为 3 字节 UTF-8 字符
if (i >= size - 2) {
break;
}
int value1 = byteToUnsignedInt(pBuffer[i + 1]);
int value2 = byteToUnsignedInt(pBuffer[i + 2]);
if ((value1 & (0xC0)) != 0x80 || (value2 & (0xC0)) != 0x80) {
IsUTF8 = false;
break;
}
i += 3;
} else if (value < 0xF8) {
IsASCII = false;
// (11111000): 此范围内为 4 字节 UTF-8 字符
if (i >= size - 3) {
break;
}
int value1 = byteToUnsignedInt(pBuffer[i + 1]);
int value2 = byteToUnsignedInt(pBuffer[i + 2]);
int value3 = byteToUnsignedInt(pBuffer[i + 3]);
if ((value1 & (0xC0)) != 0x80
|| (value2 & (0xC0)) != 0x80
|| (value3 & (0xC0)) != 0x80) {
IsUTF8 = false;
break;
}
i += 3;
} else {
IsUTF8 = false;
IsASCII = false;
break;
}
}
return IsUTF8;
}UTF8 编码转 GBK 编码
// Unicode
String unicodeString = "张三";
// 获取 UTF8 编码
byte[] nameUTF8 = unicodeString.getBytes("utf-8");
// UTF8 编码转 str
String str = new String(name, "utf-8");
// 获取 GBK 编码
byte[] nameGBK = str.getBytes("gbk");以上就是Java判断字节流是否是 UTF8编码方法示例的详细内容，更多关于Java字节流UTF8编码判断的资料请关注脚本之家其它相关文章！
相关文章
java中 spring 定时任务 实现代码，需要的朋友可以参考一下2013-03-03
这篇文章主要介绍了圆通物流轨迹推送服务接口Java文档,主要用来接收圆通推送的订单状态，本文给大家分享详细流程，感兴趣的朋友跟随小编一起看看吧2022-02-02
springboot下mybatis-plus开启打印sql日志的配置指南
这篇文章主要给大家介绍了关于springboot下mybatis-plus开启打印sql日志的配置指南的相关资料,还介绍了关闭打印的方法,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2023-03-03
这篇文章主要为大家介绍了关于j2Cache线上异常排查的问题解决记录分析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2022-02-02
这篇文章主要为大家详细介绍了java计算图两点之间的所有路径，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-01-01
这篇文章主要介绍了Java 10 局部变量类型推断浅析,Java 10 引进一种新的闪闪发光的特性叫做局部变量类型推断。文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，,需要的朋友可以参考下2019-06-06
这篇文章主要介绍了Java springmvc的处理异步，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2021-10-10
这篇文章主要介绍了Java判断时间段内文件是否更新的方法,通过实例形式讲述了定时器、类加载器及线程等方法实现判断文件更新的功能,具有一定的参考借鉴价值,需要的朋友可以参考下2014-12-12
这篇文章主要介绍了一次 Java 服务性能优化实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
这篇文章主要介绍了Java编程异常简单代码示例，还是比较不错的，这里分享个大家，需要的朋友可以参考下。2017-11-11
最新评论