C++11 Unicode编码转换

 更新时间:2020年08月27日 09:56:23   作者:Dabelv  
这篇文章主要介绍了C++11 Unicode编码转换的相关资料,帮助大家更好的理解和学习c++11,感兴趣的朋友可以了解下

1.char16_t与char32_t

在C++98中,为了支持Unicode字符,使用wchar_t类型来表示“宽字符”,但并没有严格规定位宽,而是让wchar_t的宽度由编译器实现,因此不同的编译器有着不同的实现方式,GNU C++规定wchar_t为32位,Visual C++规定为16位。由于wchar_t宽度没有一个统规定,导致使用wchar_t的代码在不同平台间移植时,可能出现问题。这一状况在C++11中得到了一定的改善,从此Unicode字符的存储有了统一类型:

(1)char16_t:用于存储UTF-16编码的Unicode字符。
(2)char32_t:用于存储UTF-32编码的Unicode字符。

至于UTF-8编码的Unicode数据,C++11还是使用了8bits宽度的char类型数组来表示,而char16_t和char32_t的宽度由其名称可以看出,char16_t为16bits,char32_t为32bits。

2.定义字符串的5种方式

除了使用新类型char16_t与char32_t来表示Unicode字符,此外,C++11还新增了三种前缀来定义不同编码的字符串,新增前缀如下:

(1)u8表示为UTF-8编码;
(2)u表示为UTF-16编码;
(3)U表示为UTF-32编码。

C++98中有两种定义字符串的方式,一是直接使用双引号定义多字节字符串,二是通过前缀“L”表示wchar_t字符串(宽字符串)。至此,C++中共有5种定义字符串的方式。

3.影响字符串正确处理的因素

在使用不同方式定义不同编码的字符串时,我们需要注意影响字符串处理和显示的几个因素有编辑器、编译器和输出环境。

代码编辑器采用何种编码方式决定了字符串最初的编码,比如编辑器如果采用GBK,那么代码文件中的所有字符都是以GBK编码存储。当编译器处理字符串时,可以通过前缀来判断字符串的编码类型,如果目标编码与原编码不同,则编译器会进行转换,比如C++11中的前缀u8表示目标编码为UTF-8的字符,如果代码文件采用的是GBK,编译器按照UTF-8去解析字符串常量,则可能会出现错误。

//代码文件为GBK编码
#include <iomanip>
#include <iostream> 
using namespace std;

int main()
{
  const char* sTest = u8"你好";
  for(int i=0;sTest[i]!=0;++i)
  {
    cout<<setiosflags(ios::uppercase)<<hex<<(uint32_t)(uint8_t)sTest[i]<<" ";
  }
  return 0;
}
//编译选项:g++ -std=c++0x -finput-charset=utf-8 test.cpp

程序输出结果:C4 E3 BA C3。这个码值是GBK的码值,因为“你”的GBK码值是0xC4E3,“好”的GBK码值是0xBAC3。可见,编译器未成功地将GBK编码的“你好”转换为UTF-8的码值“你”(E4 BD A0)“好”(E5 A5 BD),原因是使用编译选项-finput-charset=utf-8指定代码文件编码为UTF-8,而实际上代码文件编码为GBK,导致编译器出现错误的认知。如果使用-finput-charset=gbk,那么编译器在编译时会将GBK编码的“你好”转换为UTF-8编码,正确输出E4 BD A0 E5 A5 BD。

代码编辑器和编译器这两个环节在处理字符串如果没有问题,那么最后就是显示环节。字符串的正确显示依赖于输出环境。C++输出流对象cout能够保证的是将数据以二进制输出到输出设备,但输出设备(比如Linux shell或者Windows console)是否能够支持特定的编码类型的输出,则取决于输出环境。比如Linux虚拟终端XShell,配置终端编码类型为GBK,则无法显示输出的UTF-8编码字符串。

一个字符串从定义到处理再到输出,涉及到编辑器、编译器和输出环境三个因素,正确的处理和显示需要三个因素的共同保障,每一个环节都不能出错。一个字符串的处理流程与因素如下图所示:

当然如果想避开编辑器编码对字符串的影响,可以使用Unicode码值来定义字符串常量,参看如下代码:

//代码文件为GBK编码
#include <iomanip>
#include <iostream> 
using namespace std;

int main()
{
  const char* sTest = u8"\u4F60\u597D";  //你好的Uunicode码值分别是:0x4F60和0x597D
  for(int i=0;sTest[i]!=0;++i)
  {
    cout<<setiosflags(ios::uppercase)<<hex<<(uint32_t)(uint8_t)sTest[i]<<" ";
  }
  return 0;
}
//编译选项:g++ -std=c++0x -finput-charset=utf-8 test.cpp

程序输出结果:E4 BD A0 E5 A5 BD。可见,即使编译器对代码文件的编码理解有误,仍然可以正确地以UTF-8编码输出“你好”的码值。原因是ASCII字符使用GBK与UTF-8编码码值是相同的,所以直接书写Unicode码值来表示字符串是一种比较保险的做法,缺点就是难以阅读。

4.Unicode的库支持

C++11在标准库中增加了一些Unicode编码转换的函数,开发人员可以使用库中的一些新增编码转换函数来完成各种Unicode编码间的转换,函数原型如下:

//多字节字符转换为UTF-16编码
size_t mbrtoc16 ( char16_t * pc16, const char * pmb, size_t max, mbstate_t * ps);

//UTF-16字符转换为多字节字符
size_t c16rtomb ( char * pmb, char16_t c16, mbstate_t * ps );

//多字节字符转换为UTF-32编码
size_t mbrtoc32 ( char32_t * pc32, const char * pmb, size_t max, mbstate_t * ps);

//UTF-32字符转换为多字节字符
size_t c32rtomb ( char * pmb, char32_t c32, mbstate_t * ps );

函数名称中mb表示multi-byte(多字节),rto表示convert to(转换为),c16表示char16_t,了解这些,可以根据函数名称直观的理解它们的作用。下面给一下UTF-16字符串转换为多字节字符串(以GBK为例)的例子:

#include <uchar.h>
#include <string.h>
#include <locale>
#include <iomanip>
#include <iostream> 
using namespace std;

int main()
{
  const char16_t* utf16 = u"\u4F60\u597D\u554A";
  size_t utf16Len=char_traits<char16_t>::length(utf16);

  char* gbk =new char[utf16Len*2+1];
  memset(gbk,0, utf16Len * 2 + 1);
  char* pGbk = gbk;

  setlocale(LC_ALL, "zh_CN.gbk");
  mbstate_t mbs;            //转换状态
  size_t length = 0;
  while (*utf16)
  {
    pGbk += length;
    length = c16rtomb(pGbk, *utf16, &mbs);
    if (length == 0 || pGbk - gbk>sizeof(gbk))
    {
      cout << "failed" << endl;
      break;           //转换失败
    }
    ++utf16;
  }
  for (int i = 0; gbk[i] != 0; ++i)
  {
    cout << setiosflags(ios::uppercase) << hex << (uint32_t)(uint8_t)gbk[i] << " ";
  }
  return 0;
}
//编译选项:g++ -std=c++0x test.cpp

程序输出结果:C4 E3 BA C3 B0 A1。可见,使用c16rtomb()完成了将“你好啊”从UTF-16编码到多字节编码(GBK)的转换。上面的转换,我们用到了locale机制。locale表示的是一个地域的特征,包括字符编码、数字时间表示形式、货币符号等。locale串使用“zh_CN.gbk”表示目的多字节字符串使用GBK编码。

上面通过Unicode字符的转换来完成字符串的转换,实际上C++提供了一个类模板codecvt用于完成Unicode字符串与多字节字符串之间的转换,主要分为4种:

codecvt<char,char,mbstate_t>   //performs no conversion
codecvt<wchar_t,char,mbstate_t> //converts between native wide and narrow character sets
codecvt<char16_t,char,mbstate_t> //converts between UTF16 and UTF8 encodings, since C++11
codecvt<char32_t,char,mbstate_t> //converts between UTF32 and UTF8 encodings,since C++11

上面的codecvt实际上是locale的一个facet,facet可以简单地理解为locale的一些接口。通过codecvt,可以完成当前locale下多字节编码字符串与Unicode字符间的转换,也包括Unicode字符编码间的转换。这里的多字节字符串不仅可以试UTF-8,也可以是GBK或者其它编码,实际依赖于locale所采用的编码方式。每种codecvt负责不同类型编码的转换,但是目前编译器的支持情况并没有那么完整,一种locale并不一定支持所有的codecvt,程序员可以通过has_facet函数模板来查询指定locale下的支持情况。参考代码如下:

#include <locale>
#include <iostream> 
using namespace std;

int main()
{
  //定义一个locale并查询该locale是否支持一些facet
  locale lc("zh_CN.gbk");
  bool can_cvt = has_facet<codecvt<char, char, mbstate_t>>(lc);
  if (!can_cvt)
    cout<<"do not support char-char facet"<<endl;
  can_cvt = has_facet<codecvt<wchar_t, char, mbstate_t>>(lc);
  if (!can_cvt)
    cout << "do not support wchar_t-char facet" << endl;
  can_cvt = has_facet<codecvt<char16_t, char, mbstate_t>>(lc);
  if (!can_cvt)
    cout << "do not support char16_t-char facet" << endl;
  can_cvt = has_facet<codecvt<char32_t, char, mbstate_t>>(lc);
  if (!can_cvt)
    cout << "do not support char32_t-char facet" << endl;
}
//编译选项:g++ -std=c++11 test.cpp
//g++版本:gcc version 4.8.5 20150623 (Red Hat 4.8.5-4) (GCC)

程序输出结果:

do not support char16_t-char facet
do not support char32_t-char facet

由此可见,从char到char16_t与char32_t转换的两种facet还没有被实验机使用的编译器支持。

假如实验机支持从char与char16_t的转换,可参考如下代码:

#include <uchar.h>
#include <string.h>
#include <locale>
#include <iomanip>
#include <iostream> 
using namespace std;

int main()
{
  typedef std::codecvt<char16_t,char,std::mbstate_t> facet_type;
  std::locale mylocale("zh_CN.gbk");

  try
  {
    const facet_type& myfacet = std::use_facet<facet_type>(mylocale);

    const char16_t* utf16 = u"\u4F60\u597D\u554A";   //你好啊
    size_t utf16Len = char_traits<char16_t>::length(utf16);
    cout<< utf16Len <<endl;
    char* gbk = new char[utf16Len*2+1];
    memset(gbk, 0, utf16Len * 2 + 1);
    std::mbstate_t mystate;               //转换状态
    const char16_t* pwc;                //from_next
    char* pc;                      //to_next

    facet_type::result myresult = myfacet.out(mystate,utf16,utf16+utf16Len+1,pwc, gbk, gbk + utf16Len * 2+1, pc);

    if (myresult == facet_type::ok)
    {
      std::cout << "Translation successful:" << endl;
    }
    for (int i = 0; gbk[i] != 0; ++i)
    {
      cout << setiosflags(ios::uppercase) << hex << (uint32_t)(uint8_t)gbk[i] << " ";
    }
    delete[] gbk;
  }
  catch(...)
  {
    cout<<"do not support char16_t-char facet"<<endl;
    return -1;
  }
  return 0;
}

由于实验环境并不支持char与char16_t相互转换的facet,所以程序输出结果为:do not support char16_t-char facet。

5.u16string与u32string

C++11新增了UTF-16和UTF-32编码的字符类型char16_t和char32_t,当然少不了对应的字符串类型,分别是u16string与与u32string,二者的存在类似与string与wstring。四者的定义如下:

typedef basic_string<char> string;
typedef basic_string<wchar_t> wstring;
typedef basic_string<char16_t> u16string;
typedef basic_string<char32_t> u32string;

我们对string与wstring应该比较熟悉,对于u16string与u32string在用法上是差不多了,有相同的成员接口与类型,只需要记住其存储的字符编码类型不同即可。下面看一下u16string使用的简单示例。

#include <iomanip>
#include <iostream> 
using namespace std;

int main()
{
  u16string u16str = u"\u4F60\u597D\u554A";  //你好啊
  cout << u16str.length() << endl;      //字符数  
  for (int i = 0; i<u16str.length(); ++i)
  {
    cout << setiosflags(ios::uppercase) << hex << (uint16_t)u16str[i] << " ";
  }
}

程序输出:

3
4F60 597D 554A。

以上就是C++11 Unicode编码转换的详细内容,更多关于C++11 Unicode编码转换的资料请关注脚本之家其它相关文章!

相关文章

  • C++操作SQLite简明教程

    C++操作SQLite简明教程

    这篇文章主要介绍了C++操作SQLite简明教程,包含创建表、插入数据、查询数据等常用操作,需要的朋友可以参考下
    2014-06-06
  • OpenCV外接USB摄像头的方法

    OpenCV外接USB摄像头的方法

    这篇文章主要为大家详细介绍了OpenCV外接USB摄像头的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-07-07
  • C++基于栈实现铁轨问题

    C++基于栈实现铁轨问题

    这篇文章主要介绍了C++基于栈实现铁轨问题,实例分析了C++使用栈实现铁轨问题的思路与解决方法,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-04-04
  • C++常用函数之XML JSON格式转换问题

    C++常用函数之XML JSON格式转换问题

    XML在Json出现前应用很广泛,灵活性好,应用语言也没有限制,发展了这么长时间后xml标准已经很臃肿。这篇文章主要介绍了C++常用函数之XML JSON格式转换问题,需要的朋友可以参考下
    2020-02-02
  • C++遍历文件夹下文件的方法

    C++遍历文件夹下文件的方法

    这篇文章主要介绍了C++遍历文件夹下文件的方法,实例分析了C++针对文件夹遍历的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-07-07
  • cocos2d-x学习笔记之CCLayer、CCLayerColor、CCLayerGradient、CCLayerMultiplex场景层介绍

    cocos2d-x学习笔记之CCLayer、CCLayerColor、CCLayerGradient、C

    这篇文章主要介绍了cocos2d-x学习笔记之CCLayer、CCLayerColor、CCLayerGradient、CCLayerMultiplex场景层介绍,需要的朋友可以参考下
    2014-09-09
  • 关于C++为什么不加入垃圾回收机制解析

    关于C++为什么不加入垃圾回收机制解析

    C++为什么不加入垃圾回收机制呢?现在肯定还有很多人不太了解,不过没关系,下面小编就为大家详细的介绍下究竟C++为什么不加入垃圾回收机制。一起跟随小编过来看看吧
    2017-01-01
  • 通过stringstream实现常用的类型转换实例代码

    通过stringstream实现常用的类型转换实例代码

    在本篇文章里小编给大家分享了关于通过stringstream实现常用的类型转换实例代码内容,需要的朋友们可以参考下。
    2020-04-04
  • 使用C++制作简单的web服务器

    使用C++制作简单的web服务器

    本文给大家分享的是使用C++简单实现web服务器的代码,虽然非常的简陋,功能也很少,主要是为了更好的理解WEB服务器的工作原理,推荐给大家,也希望对大家能够有所帮助。
    2015-03-03
  • vscode+leetcode环境配置方法

    vscode+leetcode环境配置方法

    这篇文章主要介绍了vscode+leetcode环境配置,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-03-03

最新评论