常见字符集

数据在计算机中如何存储?

计算机中任意的数据都是以二进制进行存储的,一个二进制位也就是一个bit,但是1个bit能存储的信息太少了,所以就把8个bit分为一组,这样的一组称为一个字节,是计算机中最小的存储单元了。

ASCII

欧洲那边的字符很少,所以将用到的128个字符挨个进行编号,从0一直编到了127,这些编号又称为码点,为这些字符编好了码点之后,字符以及对应的码点称为字符集,也叫编码集。

什么是字符集?

总结来说就是给字符编个数字。

那么上面这一套字符集就称之为ASCII字符集。

编码:把要存储的数据变成真正能在内存中存储的数据。

那么ASCII字符集是如何将这些字符存入到计算机的底层中呢?或者说如何对字符进行编码?

常见的操作是对码点进行编码,编码规则就是直接将码点转换为二进制,由于是0~127,只有7个bit,是不够1个字节的,所以在高位的第8个bit上补个0。

所以ASCII字符集用1个字节存储字符。

GB2312

其中GB是国家标准的简称。

GBK

全称GuoBiaoKuozhan国标扩展。

简体中文版Windows默认使用的是GBK字符集。

注意:GBK是兼容了ASCII字符集的,比如字符a的码点还是97。

英文编码规则:用一个字节进行存储,不足8位时前面补0。

汉字编码规则:一个汉字使用2个字节进行存储。两个字节分为高位和低位,高位字节中的第一位一定是1,这是为了与英文区分开。

Unicode

万国码,因为每个国家都提出了自己国家的字符集,不兼容,所以由一个组织对全部国家的字符进行编码。

Unicode字符集有好几种编码规则,比如UTF-8、UTF-16、UTF-32等等。

UTF-8是一种字符集吗?

Unicode是字符集,而UTF-8是Unicode字符集的一种编码规则。

最早提出的UTF-32就是无论英文还是中文都是用4个字节表示一个字符,对于英文来说好像有点浪费啊,于是又提出了UTF-8编码规则。UTF-8使用1-4个字节编码。

英文1个字节,二进制第一位是0,转成十进制之后是整数。

中文3个字节,第一个字节以1110开头,转成十进制之后是负数,第二个和第三个都是以10开头。

解码的时候怎么知道什么时候读取一个字节,什么时候读取3个字节呢?

是根据上面的编码来看的,比如是中文时,读取到为1110,就知道要读取3个字节的数据。

乱码有两个原因:

①编码和解码的规则不一样。

②字节流一次读取一个字节,未读完整个汉字。

为什么使用IO流进行数据拷贝不会乱码?

因为直接读取字节到txt文本中,然后txt也能解码。

为了解决第二种,提出了字符流,即字节流+字符集。

而第一种需将编码和解码的规则设置为一样的。比如JavaWeb中使用GET方式请求数据时中文会乱码,是因为编码使用的是UTF-8,而解码则是Tomcat写死的ISO-189这个,需手动调整为UTF-8,具体则是先获取到字符流,再对字符流使用UTF-8进行解码。

相关推荐
四谎真好看26 分钟前
Java 黑马程序员学习笔记(进阶篇18)
java·笔记·学习·学习笔记
桦说编程32 分钟前
深入解析CompletableFuture源码实现(2)———双源输入
java·后端·源码
java_t_t32 分钟前
ZIP工具类
java·zip
lang201509281 小时前
Spring Boot优雅关闭全解析
java·spring boot·后端
pengzhuofan2 小时前
第10章 Maven
java·maven
百锦再2 小时前
Vue Scoped样式混淆问题详解与解决方案
java·前端·javascript·数据库·vue.js·学习·.net
刘一说2 小时前
Spring Boot 启动慢?启动过程深度解析与优化策略
java·spring boot·后端
壹佰大多3 小时前
【spring如何扫描一个路径下被注解修饰的类】
java·后端·spring
百锦再3 小时前
对前后端分离与前后端不分离(通常指服务端渲染)的架构进行全方位的对比分析
java·开发语言·python·架构·eclipse·php·maven
DokiDoki之父3 小时前
Spring—注解开发
java·后端·spring