先说一下，为什么写这篇文章？ 最近在写一个Http协议栈当涉及CRLF控制字符写入时，发现自己对CRLF与\r\n的联系不太了解，因而决议详细学习一下；查阅资料的同时，又遇到UTF-8与ASCII编码的疑问。

一、ASCII 编码

ASCII (American Standard Code for Information Interchange 美国信息交流规范代码) 由128个字符构成，是根据拉丁字母的一套电脑编码体系，首要用于显现现代英语，其对应的国际规范为 ISO/IEC 646。

一文读懂字符编码ASCII、Unicode与UTF-8

ASCII 由电报码开展而来，第一版规范发布于1963年，终究一次更新则是在1986年，至今停止共128个字符：

  • 其间33个字符为不行显现的控制字符，首要用于控制设备或调整文本格式；
  • 在33个字符之外是95个可显现字符： 包括26个英文大小写字母、10个阿拉伯数字以及包括空格在内的33个标点与特别符号。

1.1 EASCII

EASCII(Extended ASCII)是ASCII码的扩展版别，其将ASCII码由7位扩大为8位，由128个字符扩展为256个字符，因而EASCII可以部分支撑西欧言语。

1.2 转义字符

ASCII码表中的转义字符是一种约定写法，是以反斜杠\最初的特别字符序列，作用是告诉计算机怎么显现与输入控制字符。

一文读懂字符编码ASCII、Unicode与UTF-8

转义字符的由来可以追溯到电传打字机和电传打字设备的运用。 在这些设备中，许多字符都是由多个部分组成的，需求屡次按键才能输入。例如，换行符通常需求按下回车键和换行键，而退格符需求按下撤退键。为了简化这个过程，拟定了一些简化输入这些字符的规矩，这些规矩终究成为了ASCII转义字符的规范。

转义字符并非ASCII控制字符的某种编码方法，而是一种约定俗成的写法。当向计算机输入转义字符时（如\r\n），其将主动将搬运字符替换为CRLF控制字符。 以下运用Java言语编写了一个测验程序，当计算机遇到\r\n时，计算机主动将其替换为了CRLF控制字符，每个控制字符占一个字节：

一文读懂字符编码ASCII、Unicode与UTF-8

二、Unicode 编码

Unicode (The Unicode Standard) 译作万国码、一致字元码、一致字符编码，是信息技术领域的业界规范，其整理、编码了世界上大部分的文字体系，使得电脑能以一致字符集来处理和显现文字，不光减轻在不同编码体系间切换和转换的困扰，更提供了一种跨渠道的乱码问题解决方案。

Unicode由非营利组织Unicode联盟（Unicode Consortium）保护，该组织致力让Unicode规范替代既有的字符编码方案，由于既有方案编码空间有限，不适用于多语环境。Unicode伴随着通用字符集ISO/IEC 10646的规范而开展，同时也以书本的形式对外发表。Unicode至今仍在不断增修，每个新版别都参加更多新的字符，目前最新的版别为2022年9月公布的15.0.0，已经收录超越14万个字符。

Unicode 编码是一个二进制字符集，其字符占用2~3个字节。目前分为17个组进行编列，每个组称为一个平面，每个平面具有65536个编码点，且当前只运用了少量平面。 因而，Unicode有足够的编码空间，可以将世界上一切的符号都归入其间，每一个符号都给予一个绝无仅有的编码，是当之无愧的万国码。

一文读懂字符编码ASCII、Unicode与UTF-8

三、UTF-8 编码

UTF-8的英文全称是（8-bit Unicode Transformation Format），其为 Unicode 的完成方法之一，也是目前互联网上运用最广的一种 Unicode 编码的完成方法。

为什么UTF-8成为互联网运用最广泛的一种编码方法？

前边说过Unicode 编码是一个二进制字符集，其只规矩了字符的二进制代码，却没有规矩这些二进制代码应该怎么存储。

比方：

  • 大写英文字母A，其对应的ASCII二进制编码为8位 ( 01000001 )，也就是说表明ASCII字符需1个字节 ；
  • 汉字夏的 Unicode 十六进制标识为590F，二进制表明有16位（0101100100001111），也就是说采用Unicode表明这个字符至少需求2个字节；
  • 而关于Unicode编码第14~16平面的字符，可能需求3个字节表明。

因而，在计算机中怎么进行Unicode编码的存储，呈现了以下两个问题：

  • 若一切的字符均按3个字节进行表明：由于计算机存储空间有限，将形成不小的空间糟蹋；
  • 若按1~3字节对一切字符进行表明：计算机该怎么区分ASCII 与 Unicode（计算机怎么知道是一个字节表明一个字符，仍是三个字节表明一个字符）？

在这种情况下UTF-8应运而生，UTF-8 最大的特点是一种可变长的编码方法，其运用1~4个字节表明一个符号，根据不同的符号而变化字节长度。

UTF-8 的编码规矩很简单，只有二条：

  • 关于单字节的符号，字节的第一位设为0，后面7位为这个符号的 Unicode 码。 因而，关于英语字母UTF-8 编码和 ASCII 码是相同的。
  • 关于n字节的符号（n > 1）： 第一个字节的前n位都设为1，第n + 1位设为0； 后面字节的前两位一概设为10； 剩余的没有提及的二进制位，悉数为这个符号的 Unicode 码。

下表总结了编码规矩，字母x表明可用编码的位：

Unicode符号规模        |   UTF-8编码方法
(十六进制)             |  （二进制）
----------------------+----------------------------------
0000 0000 ~ 0000 007F | 0xxxxxxx
0000 0080 ~ 0000 07FF | 110xxxxx 10xxxxxx
0000 0800 ~ 0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000 ~ 0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

UTF-8编码为什么最多占用4个字节？

前边咱们了解到 Unicode 编码的17个平面，最多运用3个字节可悉数表明。但为什么 UTF-8 编码最多却是要运用4个字节呢？

这是由 UTF-8 编码的编码规矩决议的，关于编码点 U+10000 到 U+10FFFF 规模内的字符，UTF-8 编码运用了 4 个字节来表明。

Unicode符号规模        |   UTF-8编码方法
(十六进制)             |  （二进制）
----------------------+----------------------------------
0001 0000 ~ 0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

其间：

  • 前面的字节以“11110”开端，用于标识运用了 4 个字节来表明一个字符。
  • 后面的 3 个字节的前两个字节以“10”开端，用于标识这是一个多字节字符的后续字节。

运用四个字节的优点还在于，可以为未来的 Unicode 字符预留更多的编码空间。这是由于，Unicode 是一个持续开展的规范，每年都有新的字符被添加到其间。如果一切的字符都只运用三个字节表明，那么当 Unicode 规范新增更多字符时，就会呈现编码空间缺乏的问题。因而，运用四个字节来表明这些字符可以保证未来的字符也可以被正确编码。

参阅

wikipedia ASCII: zh.wikipedia.org/zh-hans/ASC…

wikipedia Unicode: zh.wikipedia.org/zh-cn/Unico…

wikipedia Unicode字符平面映射: zh.wikipedia.org/zh-hans/Uni…

wikipedia UTF-8: zh.wikipedia.org/wiki/UTF-8

ISO/IEC 646 ASCII: www.kostis.net/charsets/is…

ISO/IEC 10646 Unicode: www.kostis.net/charsets/is…

ascii-code: www.ascii-code.com/

Unicode 编码表: www.chi2ko.com/tool/CJK.ht…

ASCII Unicode 和 UTF-8: blog.csdn.net/qq_38310578…

= THE END =

文章首发于大众号”CODING技术小馆“，如果文章对您有帮助，欢迎重视我的大众号。