我无法理解std::string和std::wstring之间的区别。我知道wstring支持Unicode字符等宽字符。我有以下问题:

什么时候应该使用std::wstring而不是std::string?std::string可以保存整个ASCII字符集,包括特殊字符吗?所有流行的C++编译器都支持std::wstring吗?什么是“宽字符”?


当前回答

一个好问题!我认为数据编码(有时还涉及字符集)是一种内存表达机制,用于将数据保存到文件或通过网络传输数据,因此我将这个问题回答为:

1.何时应该使用std::wstring而不是std::string?

如果编程平台或API函数是单字节的,并且我们想要处理或解析一些Unicode数据,例如从Windows的.REG文件或网络2字节流中读取的数据,那么我们应该声明std::wstring变量以方便处理它们。例如:wstring ws=L“中国a“(6个八位字节内存:0x4E2D 0x56FD 0x0061),我们可以使用ws[0]获取字符'中' 和ws[1]获取字符'国' 和ws[2]获取字符“a”等。

2.std::string是否可以保存整个ASCII字符集,包括特殊字符?

对但请注意:美国ASCII,意味着每个0x00~0xFF八位字节代表一个字符,包括可打印文本,如“123abc&*_&”,您所说的特殊文本,大多打印为“”避免混淆编辑器或终端。还有一些国家扩展了自己的“ASCII”字符集,例如中文,使用2个八位字节来表示一个字符。

3.所有流行的C++编译器都支持std::wstring吗?

也许,或者大部分。我使用过:VC++6和GCC 3.3,是

4.什么是“宽字符”?

宽字符主要表示使用2个八位字节或4个八位字符来容纳所有国家的字符。2个八位字节UCS2是一个代表性示例,此外,例如英语“a”,其内存为0x0061的2个八位数(而ASCII“a”的内存为1个八位位0x61)

其他回答

如果应用程序不满足256个不同的字符,则可以选择使用宽字符(超过8位)或可变长度编码(C++术语中的多字节编码),如UTF-8。宽字符通常比可变长度编码需要更多的空间,但处理速度更快。处理大量文本的多语言应用程序通常在处理文本时使用宽字符,但在将文本存储到磁盘时将其转换为UTF-8。

字符串和wstring之间的唯一区别是它们存储的字符的数据类型。字符串存储的字符大小保证至少为8位,因此您可以使用字符串来处理例如ASCII、ISO-8859-15或UTF-8文本。该标准没有说明字符集或编码。

实际上,每个编译器都使用一个字符集,其前128个字符与ASCII对应。使用UTF-8编码的编译器也是如此。在UTF-8或其他可变长度编码中使用字符串时,需要注意的重要一点是,索引和长度是以字节而不是字符来度量的。

wstring的数据类型是wchar_t,其大小在标准中没有定义,除了它必须至少与一个字符一样大,通常是16位或32位。wstring可用于处理实现定义的宽字符编码中的文本。因为标准中没有定义编码,所以在字符串和wstring之间进行转换并不简单。也不能假设wstring具有固定长度编码。

如果您不需要多语言支持,那么可以只使用常规字符串。另一方面,如果您正在编写图形应用程序,则API通常只支持宽字符。然后,您可能希望在处理文本时使用相同的宽字符。请记住,UTF-16是一种可变长度编码,这意味着您不能假定length()返回字符数。如果API使用固定长度编码,例如UCS-2,则处理变得容易。在宽字符和UTF-8之间进行转换很难以可移植的方式进行,但话说回来,您的用户界面API可能支持这种转换。

当您希望在字符串中存储宽字符时。宽取决于实现。如果我没记错的话,Visual C++默认为16位,而GCC默认值取决于目标。这里有32位长。请注意wchar_t(宽字符类型)与unicode无关。它只是保证它可以存储实现所支持的最大字符集的所有成员,并且至少可以存储char。也可以使用utf-8编码将unicode字符串精细地存储到std::string中。但它无法理解unicode代码点的含义。因此str.size()不会给出字符串中逻辑字符的数量,而只给出该字符串/wstring中存储的char或wchar_t元素的数量。出于这个原因,gtk/glib C++包装人员开发了一个可以处理utf-8的glib::ustring类。如果wchar_t是32位长,那么可以使用utf-32作为unicode编码,并且可以使用固定(utf-32是固定长度)编码来存储和处理unicode字符串。这意味着wstring的s.size()函数将返回正确数量的wchar_t元素和逻辑字符。是的,char总是至少8位长,这意味着它可以存储所有ASCII值。是的,所有主要的编译器都支持它。

所以,现在在座的每一位读者都应该清楚地了解事实和情况。如果没有,那么你必须阅读帕塞巴尔非常全面的回答[顺便说一句:谢谢!]。

我的务实结论非常简单:所有C++(和STL)“字符编码”的东西基本上都是残缺不全的。不管是否归咎于微软,这都无济于事。

经过深入调查后,我的解决方案是:

接受,你必须自己负责编码和转换的事情(你会发现很多事情都很琐碎)对任何UTF-8编码字符串使用std::string(仅为typedef std::字符串UTF8String)接受这样一个UTF8String对象只是一个愚蠢但廉价的容器。永远不要直接访问和/或操作其中的字符(不要搜索、替换等)。你可以,但你真的不想浪费时间为多字节字符串编写文本操作算法!即使其他人已经做了如此愚蠢的事情,也不要这样做!顺其自然!(好吧,在某些情况下,这是合理的……只需使用ICU图书馆即可)。对UCS-2编码字符串使用std::wstring(typedef std::wstring UCS2String)-这是一种妥协,也是对WIN32 API引入的混乱的让步)。UCS-2对我们大多数人来说已经足够了(稍后将详细介绍…)。每当需要逐字符访问(读取、操作等)时,请使用UCS2String实例。任何基于字符的处理都应该在非多字节表示中完成。它简单、快速、容易。添加两个实用函数以在UTF-8和UCS-2之间来回转换:UCS2字符串转换为UCS2(const UTF8String&str);UTF8字符串转换为UTF8(常量UCS2String&str);

转换很简单,谷歌应该在这里提供帮助。。。

就是这样。在内存非常宝贵的地方以及所有UTF-8 I/O都使用UTF8String。在必须解析和/或操作字符串的地方使用UCS2String。您可以随时在这两种表示之间进行转换。

替代方案和改进

从&到单字节字符编码(例如ISO-8859-1)的转换可以借助于普通转换表来实现,例如const wchar_ttt_iso88951[256]={0,1,2,…};以及用于转换到UCS2和从UCS2转换的适当代码。如果UCS-2不够,则切换到UCS-4(typedef std::basic_string<uint32_t>UCS2String)

ICU或其他unicode库?

先进的东西。

我建议避免在Windows或其他地方使用std::wstring,除非接口需要,或者在Windows API调用和相应编码转换附近的任何地方使用。

我的观点总结在http://utf8everywhere.org我是其中的一位合著者。

除非您的应用程序是以API调用为中心的,例如主要是UI应用程序,否则建议将Unicode字符串存储为std::string并以UTF-8编码,在API调用附近执行转换。本文概述的好处超过了转换的明显烦恼,尤其是在复杂的应用程序中。对于多平台和图书馆开发来说,这是双重的。

现在,回答您的问题:

一些薄弱的原因。它的存在是出于历史原因,人们认为宽字符是支持Unicode的正确方式。它现在被用于接口更喜欢UTF-16字符串的API。我只在这些API调用的直接附近使用它们。这与std::string无关。它可以保存你放入的任何编码。唯一的问题是你如何对待它的内容。我的建议是UTF-8,因此它将能够正确保存所有Unicode字符。这是Linux上的常见做法,但我认为Windows程序也应该这样做。不宽字符是一个令人困惑的名称。在Unicode的早期,人们相信一个字符可以用两个字节编码,因此得名。今天,它代表“字符的任何两个字节长的部分”。UTF-16被视为此类字节对的序列(也称为宽字符)。UTF-16中的字符采用一对或两对。

要存储“宽”(Unicode)字符时。是:其中255个(不包括0个)。对这是一篇介绍性文章:http://www.joelonsoftware.com/articles/Unicode.html