我已经检查了Gumbo的答案中的链接，我想在这里粘贴那些东西的一部分，以存在于Stack Overflow上。

＂...有些人错误地认为Unicode只是一个16位的代码，每个字符占用16位，因此有65,536个可能的字符。实际上，这是不对的。这是关于Unicode最常见的误解，所以如果你这样想，不要难过。

事实上，Unicode有一种不同的思考字符的方式，你必须理解Unicode思考事物的方式，否则就没有意义了。

到目前为止，我们假设一个字母映射到一些你可以存储在磁盘或内存中的位:

A -> 0100 0001

在Unicode中，字母映射到一个被称为码位的东西，这仍然只是一个理论概念。该代码点如何在内存或磁盘上表示则完全是另一回事……”

＂...Unicode联盟给每个字母表中的每个柏拉图式的字母都分配了一个神奇的数字，写起来是这样的:U+0639。这个神奇的数字被称为码位。U+表示“Unicode”，数字是十六进制的。U+0639是阿拉伯字母Ain。英文字母A就是U+0041....”

＂...假设我们有一个字符串

你好

在Unicode中，对应以下五个编码点:

U+0048 U+0065 U+ 006c U+ 006c U+ 006f。

只是一堆代码点。数字,真的。我们还没有说过如何将其存储在内存中或在电子邮件中表示它……”

＂...这就是编码的作用。

Unicode编码最早的想法，导致了关于两个字节的神话，嘿，让我们把这些数字分别存储在两个字节中。所以Hello变成了

00 48 00 65 00 6c 00 6c 00 6f

对吧?别这么快!难道不可能是:

48 00 65 00 6c 00 6c 00 6f 00 ?……”

让我用一个例子来说明这个话题:

A Chinese character:      汉
its Unicode value:        U+6C49
convert 6C49 to binary:   01101100 01001001

目前还没有什么神奇的，很简单。现在，假设我们决定将这个字符存储在硬盘驱动器上。为此，我们需要以二进制格式存储字符。我们可以简单地将其存储为'01101100 01001001'。完成了!

但是等一下，'01101100 01001001'是一个字符还是两个字符?你知道这是一个字符，因为我告诉过你，但当计算机读取它时，它不知道。所以我们需要某种编码来告诉计算机把它当做一个。

这就是UTF-8规则的用武之地:https://www.fileformat.info/info/unicode/utf8.htm

Binary format of bytes in sequence

1st Byte    2nd Byte    3rd Byte    4th Byte    Number of Free Bits   Maximum Expressible Unicode Value
0xxxxxxx                                                7             007F hex (127)
110xxxxx    10xxxxxx                                (5+6)=11          07FF hex (2047)
1110xxxx    10xxxxxx    10xxxxxx                  (4+6+6)=16          FFFF hex (65535)
11110xxx    10xxxxxx    10xxxxxx    10xxxxxx    (3+6+6+6)=21          10FFFF hex (1,114,111)

根据上面的表格，如果我们想要使用UTF-8格式存储这个字符，我们需要给我们的字符加上一些'headers'前缀。我们的中文字符有16位长(你自己计算二进制值)，所以我们将在第三行使用该格式，因为它提供了足够的空间:

Header  Place holder    Fill in our Binary   Result         
1110    xxxx            0110                 11100110
10      xxxxxx          110001               10110001
10      xxxxxx          001001               10001001

将结果写在一行中:

11100110 10110001 10001001

这是UTF-8二进制值的汉字!你自己看看:https://www.fileformat.info/info/unicode/char/6c49/index.htm

总结

A Chinese character:      汉
its Unicode value:        U+6C49
convert 6C49 to binary:   01101100 01001001
encode 6C49 as UTF-8:     11100110 10110001 10001001

附注:如果你想用Python学习本主题，请点击这里。

UTF-8是一种使用8位序列编码Unicode字符的方法。

Unicode是一种用于表示来自多种语言的各种字符的标准。

Unicode只是一个标准，它定义了一个字符集(UCS)和编码(UTF)来编码这个字符集。但一般来说，Unicode指的是字符集，而不是标准。

在5分钟内阅读每个软件开发人员绝对必须知道的关于Unicode和字符集(没有借口!)和Unicode的绝对最小值。

1. Unicode

有很多世界各地的字符,如“$,& h,, t, ?,张,1 = +……”。

然后出现了一个致力于这些角色的组织，

他们制定了统一码标准。

标准如下:

创建一个表单，其中每个位置都称为“代码点”或“代码位置”。 整个位置从U+0000到U+10FFFF; 到目前为止，有些位置被字符填充，有些位置被保存或为空。 例如，位置“U+0024”被字符“$”填充。

PS:当然，还有另一个叫做ISO的组织维护着另一个标准——“iso10646”，几乎是一样的。

2. utf - 8

如上所述，U+0024只是一个位置，所以我们不能将“U+0024”在电脑中保存为字符“$”。

必须有一种编码方法。

然后是编码方法，如UTF-8,UTF-16,UTF-32,UCS-2....

在UTF-8下，代码点“U+0024”被编码为00100100。

00100100是我们在计算机中为“$”保存的值。

你通常从谷歌开始，然后想尝试不同的东西。 但是如何打印和转换所有这些字符集呢?

这里我列出了一些有用的一行程序。

Powershell:

# Print character with the Unicode point (U+<hexcode>) using this: 
[char]0x2550

# With Python installed, you can print the unicode character from U+xxxx with:
python -c 'print(u"\u2585")'

如果你有更多的Powershell trix或快捷方式，请评论。

在Bash中，你会喜欢libiconv和util-linux包中的iconv、hexdump和xxd(可能在其他*nix发行版中命名不同)。

# To print the 3-byte hex code for a Unicode character:
printf "\\\x%s" $(printf '═'|xxd -p -c1 -u)
#\xE2\x95\x90

# To print the Unicode character represented by hex string:
printf '\xE2\x96\x85'
#▅

# To convert from UTF-16LE to Unicode
echo -en "════"| iconv -f UTF-16LE -t UNICODEFFFE

# To convert a string into hex: 
echo -en '═�'| xxd -g 1
#00000000: e2 95 90 ef bf bd

# To convert a string into binary:
echo -en '═�\n'| xxd -b
#00000000: 11100010 10010101 10010000 11101111 10111111 10111101  ......
#00000006: 00001010

# To convert a binary string into hex:
printf  '%x\n' "$((2#111000111000000110000010))"
#e38182