我对编码有点困惑。据我所知,旧的ASCII字符每个字符占用一个字节。一个Unicode字符需要多少字节?

我假设一个Unicode字符可以包含任何语言的所有可能字符——我说的对吗?那么每个字符需要多少字节呢?

UTF-7、UTF-6、UTF-16等是什么意思?它们是Unicode的不同版本吗?

我读了维基百科上关于统一码的文章,但对我来说太难了。我期待看到一个简单的答案。


当前回答

奇怪的是,没有人指出如何计算一个Unicode字符占用多少字节。下面是UTF-8编码字符串的规则:

Binary    Hex          Comments
0xxxxxxx  0x00..0x7F   Only byte of a 1-byte character encoding
10xxxxxx  0x80..0xBF   Continuation byte: one of 1-3 bytes following the first
110xxxxx  0xC0..0xDF   First byte of a 2-byte character encoding
1110xxxx  0xE0..0xEF   First byte of a 3-byte character encoding
11110xxx  0xF0..0xF7   First byte of a 4-byte character encoding

所以简单的答案是:它需要1到4个字节,这取决于第一个将表明它将占用多少字节。

其他回答

对于UTF-16,如果字符以0xD800或更大开头,则需要四个字节(两个代码单元);这样的字符称为“代理对”。更具体地说,代理对的形式是:

[0xD800 - 0xDBFF]  [0xDC00 - 0xDFF]

在[…]表示给定范围的双字节代码单元。任何<= 0xD7FF的值都是一个代码单元(两个字节)。任何>= 0xE000都是无效的(BOM标记除外)。

参见http://unicodebook.readthedocs.io/unicode_encodings.html,第7.5节。

你不会看到一个简单的答案,因为根本就没有答案。

首先,Unicode并没有包含“每一种语言的每一个字符”,尽管它确实尝试了。

Unicode本身是一种映射,它定义码点,码点是一个数字,通常与一个字符相关联。我说通常是因为有像组合字符这样的概念。你可能对口音或变音很熟悉。它们可以与其他字符一起使用,例如a或u来创建一个新的逻辑字符。因此,一个字符可以由一个或多个码位组成。

To be useful in computing systems we need to choose a representation for this information. Those are the various unicode encodings, such as utf-8, utf-16le, utf-32 etc. They are distinguished largely by the size of of their codeunits. UTF-32 is the simplest encoding, it has a codeunit that is 32bits, which means an individual codepoint fits comfortably into a codeunit. The other encodings will have situations where a codepoint will need multiple codeunits, or that particular codepoint can't be represented in the encoding at all (this is a problem for instance with UCS-2).

由于组合字符的灵活性,即使在给定的编码中,每个字符的字节数也可以根据字符和规范化形式而变化。这是一种用于处理具有多个表示的字符的协议(您可以说“带重音的'a'”是2个代码点,其中一个是组合字符或“带重音的'a'”是一个代码点)。

简单地说,Unicode是一种为世界上所有字符分配一个数字(称为码位)的标准(它仍在进行中)。

现在你需要用字节表示这些代码点,这叫做字符编码。UTF-8, UTF-16, UTF-6是表示这些字符的方法。

UTF-8是多字节字符编码。字符可以有1到6个字节(其中一些现在可能不需要)。

UTF-32每个字符有4个字节一个字符。

UTF-16为每个字符使用16位,它只表示称为BMP的Unicode字符的一部分(对于所有实际目的来说已经足够了)。Java在其字符串中使用这种编码。

看看这个Unicode代码转换器。例如,在“0x…”字段,然后单击Convert。十六进制数E2 80 89(3字节)出现在“UTF-8 code units”字段中。

好吧,我刚刚也打开了维基百科的页面,在介绍部分我看到“Unicode可以通过不同的字符编码实现。最常用的编码是UTF-8(它对任何ASCII字符使用一个字节,这些字符在UTF-8和ASCII编码中具有相同的编码值,对其他字符使用最多四个字节),现在已经过时的UCS-2(它对每个字符使用两个字节,但不能对当前Unicode标准中的每个字符进行编码)。

正如这段引用所演示的,您的问题是假定Unicode是一种编码字符的单一方法。实际上有多种形式的Unicode,在引用中,其中一种甚至每个字符有一个字节,就像你习惯的那样。

所以你想要的简单答案是它是变化的。