本篇小小探索了下 unicode 第一片面的字符。
一、什么是unicode？
Unicode，全称为Unicode标准（The Unicode Standard），其官方机构Unicode联盟所用的中文名称为统一码，又译作万国码、统一字符码、统一字符编码，是信息技术领域的业界标准，其整理、编码了世界上大部分的文字系统，使得电脑能以通用划一的字符集来处理和显示文字，不但减轻在不同编码系统间切换和转换的困扰，更提供了一种跨平台的乱码问题解决方案。Unicode由非营利机构Unicode联盟（Unicode Consortium）负责维护，该机构致力让Unicode标准取代既有的字符编码方案，因为既有方案编码空间有限，亦不适用于多语环境。
------取自维基百科
拆解一下关键信息：
- Unicode：是一种标准，包括字符集定义、字符编码和解码方式。字符集支持且不断扩充，有多种编码解码方式。
- 乱码解决方案：通过全局定义全球各个国家的通用字符，统一编码和解码，避免跨平台跨国家互联网传输的乱码问题。乱码的本质是字符集不一致或编解码方式的不一致，导致信息错乱。
二、为什么了解第一平面？
目前的统一码字符分为17组编排，每组称为平面（Plane），以 0 到 16 编号。每平面有65536（216）点代码，但目前只用了少数平面。
第 0 平面（或者说基本多文种平面）中的码点，都可以用一个 UTF-16 单位来编码，或者以 UTF-8 来编码的话，会使用一、二或三个字节。而第 1 到 16 平面（或称辅助平面）中的码点，UTF-16 会以代理对的方式来使用，而 UTF-8 则会编码成 4 个字节。
------取自维基百科
第一个平面称为基本多语言平面（Basic Multilingual Plane，简称BMP），这个平面涵盖了当今世界上最常用的字符。
如果业务持久化的编码是utf-8而不是utf8mb4的话，相当于字符的传输过程中字符集更小了，需要限制字符字节数，不然数据乱码问题会很严重。
三、第一平面的现状？
这里取最常用的第一平面，我们了解一下这一平面的现状。utf8是比较通用的变字节编码方式，这里我们分析下utf8编码下的字符编码。分析阶段只贴核心代码，全部代码末尾贴出，大家可自行尝试。
Go
//核心实现：
for i := 0; i < 65536; i++ {
size := fmt.Sprintf("%d", utf8.RuneLen(rune(i)))
line := fmt.Sprintf("%d %c %s %x\n", i, i, size, i)
if size == "1" {
_, _ = file.Write([]byte(line))//size_1.txt
} else if size == "2" {
_, _ = file2.Write([]byte(line))//size_2.txt
} else if size == "3" {
_, _ = file3.Write([]byte(line))//size_3.txt
} else {
_, _ = file4.Write([]byte(line))//size_4.txt
}
}1 运行结果
wc -l size_1.txt
128 size_1.txtwc -l size_2.txt
1920 size_2.txtwc -l size_3.txt
61440 size_3.txtwc -l size_4.txt
2048 size_4.txt
2 结论
第一平面65536个码点，其中有效字符128+1920+61440=63488个。
|-------------|-------|-----------|
| 字节数 | 码点数 | 备注 |
| 1字节 | 128 | |
| 2字节 | 1920 | |
| 3字节 | 61440 | |
| 非合法utf-8序列值 | 2048 | 变字节编码规则限制 |
3 为什么会存在非合法utf-8序列值？
UTF-8需要兼容ASCII，所以也需要有前缀码来控制，前缀规则如下：
- 如果首字节以 0 开头，则是单字节编码（即单个单字节码元）；
- 如果首字节以 110 开头，则是双字节编码（即由两个单字节码元所组成的双码元序列）；
- 如果首字节以 1110 开头，则是三字节编码（即由三个单字节码元所组成的三码元序列），以此类推。
4 详细结果列表概览
四、详细代码
Go
package main
import (
"fmt"
"unicode/utf8"
"os"
"log"
)
func main() {
file1name := "size_1.txt"
file2name := "size_2.txt"
file3name := "size_3.txt"
file4name := "size_4.txt"
file, err := os.OpenFile(file1name, os.O_APPEND|os.O_WRONLY, 0644)
if err != nil {// 如果文件不存在，创建文件
if os.IsNotExist(err) {
file, err = os.Create(file1name)
if err != nil {
log.Fatal(err)
}
defer file.Close()
} else {
log.Fatal(err)
}
}
defer file.Close()
file2, err := os.OpenFile(file2name, os.O_APPEND|os.O_WRONLY, 0644)
if err != nil {// 如果文件不存在，创建文件
if os.IsNotExist(err) {
file2, err = os.Create(file2name)
if err != nil {
log.Fatal(err)
}
defer file2.Close()
} else {
log.Fatal(err)
}
}
defer file2.Close()
file3, err := os.OpenFile(file3name, os.O_APPEND|os.O_WRONLY, 0644)
if err != nil {// 如果文件不存在，创建文件
if os.IsNotExist(err) {
file3, err = os.Create(file3name)
if err != nil {
log.Fatal(err)
}
defer file3.Close()
} else {
log.Fatal(err)
}
}
defer file3.Close()
file4, err := os.OpenFile(file4name, os.O_APPEND|os.O_WRONLY, 0644)
if err != nil {// 如果文件不存在，创建文件
if os.IsNotExist(err) {
file4, err = os.Create(file4name)
if err != nil {
log.Fatal(err)
}
defer file4.Close()
} else {
log.Fatal(err)
}
}
defer file4.Close()
for i := 0; i < 65536; i++ {
size := fmt.Sprintf("%d", utf8.RuneLen(rune(i)))
line := fmt.Sprintf("%d %c %s %x\n", i, i, size, i)
if size == "1" {
_, _ = file.Write([]byte(line))
} else if size == "2" {
_, _ = file2.Write([]byte(line))
} else if size == "3" {
_, _ = file3.Write([]byte(line))
} else {
_, _ = file4.Write([]byte(line))
}
}
}