一文读懂UTF-8的编码规则

之前写过一篇文章"一文彻底搞懂计算机中文编码"里面只是介绍了GB2312编码知识,关于utf8没有涉及到,经过查询资料发现utf8是对unicode的一种可变长度字符编码,所以再记录一下。

现在国家对于信息技术中文编码字符集制定的标准是《GB 18030-2022 信息技术 中文编码字符集》

首先需要明确GB 18030是字符集,定义计算机系统中需要显示哪些中文,UTF-8是一种编码方式,定义计算机系统中怎样去显示。

我们以中文"爸"为例,看GB 18030中怎么定义的,如下图:

B0:第一字节

D:第二字节高位

6:第二字节低位

爸:字形

7238(16进制):GB/T 13000代码位置

GB13000 全称:国家标准GB13000:2010《信息技术 通用多八位编码字符集(UCS)第一部分:体系结构与基本多文种平面》,此标准等同采用国际标准ISO/IEC 10646-2003,IDT《信息技术 通用多八位编码字符集(UCS)第一部分:体系结构与基本多文种平面》。Unicode 标准在基本平面上与GB 13000保持一致。采纳UTF-16方案作为未来实现01到0F共15个辅助平面的方式。其它方面与GB 13000基本一致。

为了便于多个文种的同时处理,国际标准化组织下属编码字符集工作组研制了新的编码字符集标准,ISO/IEC 10646。该标准第一次颁布是在1993年,当时只颁布了其第一部分,即ISO/IEC 10646.1: 1993,中国相应的国家标准是GB 13000.1-93《信息技术 通用多八位编码字符集(UCS) 第一部分:体系结构与基本多文种平面》。制定这个标准的目的是对世界上的所有文字统一编码,以实现世界上所有文字在计算机上的统一处理。

UTF-8编码规则如下:

Utf8分成单字节、双字节、三字节、四字节模式,具体如下:

0xxxxxxx(7bit)

110xxxxx 10xxxxxx(11bit)

1110xxxx 10xxxxxx 10xxxxxx(16bit)中文

11110xxx 10xxxxxx 10xxxxxx 10xxxxxx(21bit)

中文是使用三字节模式,所以中文"爸"转换如下:

7238二进制:0111 0010 0011 1000

按照三字节模式编码:1110 0111 10 00 1000 10 11 1000

转换十六进制后:E 7 8 8 B 8

程序验证:

java 复制代码
public class GBKTest {
    public static void main(String[] args) throws UnsupportedEncodingException {
        String nh = "爸";

        byte[] bs = nh.getBytes("utf-8");
        for (int i=0;i<bs.length;i++) {
            int n = bs[i];
            if (n < 0)
                n += 256;
            int d1 = n / 16;
            int d2 = n % 16;
            System.out.println(hexDigits[d1] + " " + hexDigits[d2]);
        }

    }

    private static final String hexDigits[] = { "0", "1", "2", "3", "4", "5",
            "6", "7", "8", "9", "a", "b", "c", "d", "e", "f" };
}
相关推荐
带刺的坐椅9 分钟前
(对标 Spring IA 和 LangChain4j)Solon AI & MCP v3.7.0, v3.6.4, v3.5.8 发布(支持 LTS)
java·spring·ai·solon·mcp·langchain4j
7澄111 分钟前
深入解析 LeetCode 1572:矩阵对角线元素的和 —— 从问题本质到高效实现
java·算法·leetcode·矩阵·intellij-idea
诗9趁年华15 分钟前
缓存三大问题深度解析:穿透、击穿与雪崩
java·spring·缓存
阳光明媚sunny15 分钟前
分糖果算法题
java·算法
whltaoin15 分钟前
【JAVA全栈项目】弧图图-智能图床SpringBoot+MySQL API接口结合Redis+Caffeine多级缓存实践解析
java·redis·spring·缓存·caffeine·多级缓存
一 乐29 分钟前
医疗管理|医院医疗管理系统|基于springboot+vue医疗管理系统设计与实现(源码+数据库+文档)
java·数据库·vue.js·spring boot·后端·医疗管理系统
华仔啊1 小时前
SpringBoot 2.x 和 3.x 的核心区别,这些变化你必须知道
java·spring boot·后端
laocooon5238578861 小时前
大数的阶乘 C语言
java·数据结构·算法
不见长安在1 小时前
分布式ID
java·分布式·分布式id
熊小猿1 小时前
Redis 缓存怎么更新?—— 四种模型与一次“迟到的删除”
java·后端·spring