[node] Node.js 缓冲区Buffer

三知之灵2023-12-23 16:57

[node] Node.js 缓冲区Buffer

  • 什么是Buffer
  • Buffer 与字符编码
  • Buffer 的方法概览
  • Buffer 的实例
    • Buffer 的创建
    • 写入缓冲区
    • 从 Buffer 区读取数据
    • 将 Buffer 转换为 JSON 对象
    • Buffer 的合并
    • Buffer 的比较
    • Buffer 的覆盖
    • Buffer 的截取--slice
    • Buffer 的长度
    • writeUIntLE
    • writeUIntBE

什么是Buffer

JavaScript 语言自身只有字符串数据类型，没有二进制数据类型。

但在处理像TCP流或文件流时，必须使用到二进制数据。因此在 Node.js中，定义了一个 Buffer 类，该类用来创建一个专门存放二进制数据的缓存区。

在 Node.js 中，Buffer 类是随 Node 内核一起发布的核心库。Buffer 库为 Node.js 带来了一种存储原始数据的方法，可以让 Node.js 处理二进制数据，每当需要在 Node.js 中处理I/O操作中移动的数据时，就有可能使用 Buffer 库。原始数据存储在 Buffer 类的实例中。一个 Buffer 类似于一个整数数组，但它对应于 V8 堆内存之外的一块原始内存。

在v6.0之前创建Buffer对象直接使用new Buffer()构造函数来创建对象实例，但是Buffer对内存的权限操作相比很大，可以直接捕获一些敏感信息，所以在v6.0以后，官方文档里面建议使用 Buffer.from() 接口去创建Buffer对象。

Buffer 与字符编码

Buffer 实例一般用于表示编码字符的序列，比如 UTF-8 、 UCS2 、 Base64 、或十六进制编码的数据。 通过使用显式的字符编码，就可以在 Buffer 实例与普通的 JavaScript 字符串之间进行相互转换。

ts 复制代码 
const buf = Buffer.from("test", "ascii");
console.log(buf.toString("hex"));// 输出 74657374
console.log(buf.toString("base64"));// 输出 dGVzdA==

Node.js 目前支持的字符编码包括：

  • ascii - 仅支持 7 位 ASCII 数据。如果设置去掉高位的话，这种编码是非常快的。
  • utf8 - 多字节编码的 Unicode 字符。许多网页和其他文档格式都使用 UTF-8 。
  • utf16le - 2 或 4 个字节，小字节编码的 Unicode 字符。支持代理对（U+10000 至 U+10FFFF）。
  • ucs2 - utf16le 的别名。
  • base64 - Base64 编码。
  • latin1 - 一种把 Buffer 编码成字节编码的字符串的方式。
  • binary - latin1 的别名。
  • hex - 将每个字节编码为两个十六进制字符。

Buffer 的方法概览

写在前面，下面所有方法中：

  • 以LE结尾的API，指定使用endian (Little-Endian)字节序格式读取或写入
  • 以BE结尾的API，指定使用endian (Bid-Endian)字节序格式读取或写入
方法 描述
new Buffer(size) Buffer.alloc(size)或 Buffer.allocUnsafe(size) 分配新的 size 大小单位为8位字节的 buffer。 注意, size 必须小于 kMaxLength，否则，将会抛出异常 RangeError
new Buffer(buffer) Buffer.from(buffer) 拷贝参数 buffer 的数据到 Buffer 实例
new Buffer(str[, encoding]) Buffer.from(str[, encoding]) 分配新的 buffer.str 字符串, encoding 编码方式默认为 'utf8'
buf.length 返回 buf 的 bytes 数。注意这未必是 buf 里面内容的大小。length 是 buffer 对象所分配的内存数，若指定size 它不会随着buf 对象内容的改变而改变，若未指定则会发生变化
buf.toString([encoding[, start[, end]]]) 根据 encoding (默认 utf8)返回解码过的 string 类型。根据 start (默认 0) ,end (默认 buffer.length)作为取值范围
buf.toJSON() 将 Buffer 实例转换为 JSON 对象。
buf[index] 获取或设置指定的字节。返回值代表一个字节，所以返回值的合法范围是十六进制0x00到0xFF 或者十进制0至 255。
buf.equals(otherBuffer) 比较两个缓冲区是否相等，相等返回 true，否则返回 false
buf.compare(otherBuffer) 比较两个 Buffer 对象，返回数字，表示 buf 在 otherBuffer 之前，之后或相同
buf.copy(targetBuffer[, targetStart[, sourceStart[, sourceEnd]]]) 将buf指定区间的内容覆盖targetBuffer指定索引开始的相同长度内容，源和目标可以相同。buf开始位置sourceStart(默认0)和结束位置sourceEnd (默认buf的长度)的区间内容，覆盖targetBuffer从targetStart开始的相同长度的内容
buf.slice([start[, end]]) 截取 Buffer 对象，从 start(默认是 0 ) 到 end (默认是 buffer.length ) 的区间。 负的索引是从 buffer 尾部开始计算的
buf.fill(value[, offset][, end]) 使用指定的 value 来填充这个 buffer。如果没有指定 offset (默认是 0) 并且 end (默认是 buffer.length) ，将会填充整个buffer。
buf.write(str[, offset[, length]][, encoding]) 根据offset 偏移量(默认值是 0)和 encoding 编码方式(默认值是 utf8)，将 str 数据写入buffer。 length 是将要写入的字符串的 bytes 大小。 返回 number 类型，表示写入了多少 8 位字节流。如果 buffer 没有足够的空间来放整个 str ，它将只会只写入部分字符串。 length 默认是 buffer.length - offset。 这个方法不会出现写入部分字符。
buf.writeUIntLE(value, offset, byteLength[, noAssert]) 将 value 写入到 buffer 里， 它由 offset 和 byteLength 决定，最高支持 48 位无符号整数。noAssert(默认 false) 为 true ，不再验证 value 和 offset 的有效性
buf.writeUIntBE(value, offset, byteLength[, noAssert]) 用法同上。注意：无符号整数
buf.writeIntLE(value, offset, byteLength[, noAssert]) 用法同上。注意：有符号整数
buf.writeIntBE(value, offset, byteLength[, noAssert]) 用法同上。注意：有符号整数
buf.readUIntLE(offset, byteLength[, noAssert]) 根据指定的偏移量，支持读取 48 位以下的无符号数字，指定Endian格式。noAssert (默认 false)为 true 时， 不验证offset是否超过 buffer 的长度
buf.readUIntBE(offset, byteLength[, noAssert]) 用法同上。注意：无符号整数
buf.readIntLE(offset, byteLength[, noAssert]) 用法同上。注意：有符号整数
buf.readIntBE(offset, byteLength[, noAssert]) 用法同上。注意：有符号整数
buf.readUInt8(offset[, noAssert]) 用法同上。注意：支持读取无符号 8 位整数
buf.readUInt16LE(offset[, noAssert]) 用法同上。注意：读取一个无符号 16 位整数
buf.readUInt16BE(offset[, noAssert]) 用法同上。注意：读取一个无符号 16 位整数
buf.readUInt32LE(offset[, noAssert]) 用法同上。注意：读取一个无符号 32 位整数。
buf.readUInt32BE(offset[, noAssert]) 用法同上。注意：读取一个无符号 32 位整数。
buf.readInt8(offset[, noAssert]) 用法同上。注意：读取一个有符号 8 位整数
buf.readInt16LE(offset[, noAssert]) 用法同上。注意：读取一个 有符号 16 位整数
buf.readInt16BE(offset[, noAssert]) 用法同上。注意：读取一个 有符号 16 位整数
buf.readInt32LE(offset[, noAssert]) 用法同上。注意：读取一个有符号 32 位整数。
buf.readInt32BE(offset[, noAssert]) 用法同上。注意：读取一个有符号 32 位整数。
buf.readFloatLE(offset[, noAssert]) 用法同上。注意：读取一个 32 位双浮点数。
buf.readFloatBE(offset[, noAssert]) 用法同上。注意：读取一个 32 位双浮点数。
buf.readDoubleLE(offset[, noAssert]) 用法同上。注意：读取一个 64 位双精度数。
buf.readDoubleBE(offset[, noAssert]) 用法同上。注意：读取一个 64 位双精度数。
buf.writeUInt8(value, offset[, noAssert]) 根据 offset 偏移量和 endian格式将 value 写入 buffer。注意：value 必须是一个合法的无符号 8 位整数。 若noAssert 为 true (默认 false)将不会验证 value 和 offset , 这意味着 value 可能过大，或者 offset 可能会超出buffer的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握，否则尽量不要使用
buf.writeUInt16LE(value, offset[, noAssert]) 用法同上。注意：value 必须是一个合法的无符号 16 位整数
buf.writeUInt16BE(value, offset[, noAssert]) 用法同上。注意：value 必须是一个合法的无符号 16 位整数。
buf.writeUInt32LE(value, offset[, noAssert]) 用法同上。注意：value 必须是一个合法的无符号 32 位整数。
buf.writeUInt32BE(value, offset[, noAssert]) 用法同上。注意：value 必须是一个合法的有符号 32 位整数。
buf.writeInt8(value, offset[, noAssert]) 用法同上。注意：value 必须是一个合法的 signed 8 位整数。
buf.writeInt16LE(value, offset[, noAssert]) 用法同上。注意：value 必须是一个合法的 signed 16 位整数。
buf.writeInt16BE(value, offset[, noAssert]) 用法同上。注意：value 必须是一个合法的 signed 16 位整数。
buf.writeInt32LE(value, offset[, noAssert]) 用法同上。注意：value 必须是一个合法的 signed 32 位整数。
buf.writeInt32BE(value, offset[, noAssert]) 用法同上。注意：value 必须是一个合法的 signed 32 位整数。
buf.writeFloatLE(value, offset[, noAssert]) 用法同上。注意：当 value 不是一个 32 位浮点数类型的值时，结果将是不确定的。
buf.writeFloatBE(value, offset[, noAssert]) 用法同上。注意：当 value 不是一个 32 位浮点数类型的值时，结果将是不确定的
buf.writeDoubleLE(value, offset[, noAssert]) 用法同上。注意：value 必须是一个有效的 64 位double 类型的值
buf.writeDoubleBE(value, offset[, noAssert]) 用法同上。注意：value 必须是一个有效的 64 位double 类型的值

Buffer 的实例

Buffer 的创建

  • Buffer.alloc(size[, fill[, encoding]])： 返回一个size大小的 Buffer 实例，如果没有设置 fill，则默认填满 0
  • Buffer.allocUnsafe(size)： 返回一个指定大小的 Buffer 实例，但是它不会被初始化，所以它可能包含敏感的数据
  • Buffer.allocUnsafeSlow(size)
  • Buffer.from(array)： 返回一个被 array 的值初始化的新的 Buffer 实例（传入的 array 的元素只能是数字，不然就会自动被 0 覆盖）
  • Buffer.from(arrayBuffer[, byteOffset[, length]])： 返回一个新建的与给定的 ArrayBuffer 共享同一内存的 Buffer。
  • Buffer.from(buffer)： 复制传入的 Buffer 实例的数据，并返回一个新的 Buffer 实例
  • Buffer.from(string[, encoding])： 返回一个被 string 的值初始化的新的 Buffer 实例
ts 复制代码 
// 创建一个长度为 10、且用 0 填充的 Buffer。
const buf1 = Buffer.alloc(10);

// 创建一个长度为 10、且用 0x1 填充的 Buffer。 
const buf2 = Buffer.alloc(10, 1);

// 创建一个长度为 10、且未初始化的 Buffer。
// 这个方法比调用 Buffer.alloc() 更快，
// 但返回的 Buffer 实例可能包含旧数据， 因此需要 fill() 或 write() 重写。
const buf3 = Buffer.allocUnsafe(10);

// 创建一个包含 [0x1, 0x2, 0x3] 的 Buffer。
const buf4 = Buffer.from([1, 2, 3]);

// 创建一个包含 UTF-8 字节 [0x74, 0xc3, 0xa9, 0x73, 0x74] 的 Buffer。
const buf5 = Buffer.from('test');

// 创建一个包含 Latin-1 字节 [0x74, 0xe9, 0x73, 0x74] 的 Buffer。
const buf6 = Buffer.from('test', 'latin1');

写入缓冲区

ts 复制代码 
buf.write(string[, offset[, length]][, encoding])

根据 encoding 的字符编码写入 string 到 buf 中的 offset 位置。 length 参数是写入的字节数。 如果 buf 没有足够的空间写入整个字符串，则只会写入 string 的一部分。 只部分解码的字符不会被写入.该方法返回实际写入的大小。如果 buffer 空间不足， 则只会写入部分字符串。

  • string:写入缓冲区的字符串
  • offset:偏移量，缓冲区开始写入的索引值，默认为 0
  • length：写入的字节数，默认 buffer.length
  • encoding：编码方式，默认utf8

返回实际写入的大小!!!如果 buffer 空间不足， 则只会写入部分字符串

ts 复制代码 
const buf = Buffer.alloc(256);
const len = buf.write("TestDemo1");
console.log(len); // 输出 9
console.log(buf.length); // 输出 256

请注意，上述实例write函数的返回值len是实际的大小，而buf.length则是缓冲区的大小

从 Buffer 区读取数据

ts 复制代码 
buf.toString([encoding[, start[, end]]])

解码缓冲区数据并使用指定的编码返回字符串

  • encoding：编码方式，默认utf8
  • start:指定开始读取的索引位置，默认为 0
  • end: 结束位置，默认为缓冲区的末尾
ts 复制代码 
const buf = Buffer.alloc(256);
const len = buf.write("TestDemo1");
console.log(len); // 输出 9
console.log(buf.length); // 输出 256
const buf1 = Buffer.alloc(3);
buf1.write("TestDemo1");
console.log(buf1.toString()); // 输出 Tes

将 Buffer 转换为 JSON 对象

ts 复制代码 
buf.toJSON()

将 Node Buffer 转换为 JSON 对象,返回 JSON 对象。

ts 复制代码 
const buf = Buffer.alloc(3);
const len = buf.write("3");;
console.log(buf.toJSON()); // 输出 { type: 'Buffer', data: [ 51, 0, 0 ] }

Buffer 的合并

ts 复制代码 
Buffer.concat(list[, totalLength])

Node 缓冲区合并,返回一个多个成员合并的新 Buffer 对象。

  • list : 用于合并的 Buffer 对象数组列表
  • totalLength : 指定合并后Buffer对象的总长度
ts 复制代码 
var buffer1 = Buffer.from("demo1");
var buffer2 = Buffer.from("test2");
var buffer3 = Buffer.concat([buffer1, buffer2]);
var buffer4 = Buffer.concat([buffer1, buffer2],4);
console.log(buffer3.toString()); //demo1test2
console.log(buffer4.toString()); //demo

Buffer 的比较

ts 复制代码 
buf.compare(otherBuffer);

Node Buffer 比较,返回一个数字，表示 buf 若与 otherBuffer 第一个字符相匹配返回-1；若是完全匹配返回0；其它从中间开始匹配，或者匹配不上返回1

这个方法是按位比较的

  • otherBuffer: 与 buf 对象比较的另外一个 Buffer 对象
ts 复制代码 
var buffer2 = Buffer.from("ABCD");

var buffer1 = Buffer.from("AB");
var result = buffer1.compare(buffer2);
console.log(result); // 输出 -1

var buffer1 = Buffer.from("B");
var result = buffer1.compare(buffer2);
console.log(result); // 输出 1

var buffer1 = Buffer.from("E");
var result = buffer1.compare(buffer2);
console.log(result); // 输出 1

var buffer1 = Buffer.from("AE");
var result = buffer1.compare(buffer2);
console.log(result); // 输出 1

var buffer1 = Buffer.from("ABCD");
var result = buffer1.compare(buffer2);
console.log(result); // 输出 0

Buffer 的覆盖

ts 复制代码 
buf.copy(targetBuffer[, targetStart[, sourceStart[, sourceEnd]]])

截取缓冲区 buf指定长度的内容复制到targetBuffer的指定位置,没有返回值

  • targetBuffer:要被覆盖的 Buffer 对象
  • targetStart:覆盖 Buffer 对象指定开始覆盖的索引位置，默认为 0
  • sourceStart: 用于覆盖的Buffer对象的指定开始位置，默认为 0
  • sourceEnd: 用于覆盖的Buffer对象的指定结束位置，默认: buffer.length
ts 复制代码 
var buf1 = Buffer.from("abcdefghijkl");
var buf2 = Buffer.from("RUNOOB");

//将 buf2 插入到 buf1 指定位置上
buf2.copy(buf1, 2, 0, 2);

console.log(buf1.toString());//abRUefghijkl
console.log(buf2.toString());//RUNOOB

Buffer 的截取--slice

ts 复制代码 
buf.slice([start[, end]])

返回指定区间内的缓冲区，它和旧缓冲区指向同一块内存，从索引 start 到 end 的位置区间.被截取缓冲区不变

  • start:数字, 可选, 默认 0
  • end: 数字, 可选, 默认 buffer.length
ts 复制代码 
var buffer1 = Buffer.from("Test");
// 剪切缓冲区
var buffer2 = buffer1.slice(0, 2);
var buffer3 = Buffer.from("M");
buffer3.copy(buffer1);
console.log(buffer2.toString());//Me
console.log(buffer1.toString());//Mest

Buffer 的长度

ts 复制代码 
const buf = Buffer.from("Test");
console.log(buf.length); // 输出 4
const buf1 = Buffer.from("TestDemo1");
console.log(buf1.length); // 输出 9

writeUIntLE

ts 复制代码 
const buf = Buffer.allocUnsafe(6);
buf.writeUIntLE(0x1234567890ab, 0, 6);
// 输出: <Buffer ab 90 78 56 34 12>
console.log(buf);

writeUIntBE

ts 复制代码 
const buf = Buffer.allocUnsafe(6);
buf.writeUIntBE(0x1234567890ab, 0, 6);
// 输出: <Buffer 12 34 56 78 90 ab>
console.log(buf);
相关推荐
蜜獾云4 小时前
npm淘宝镜像
前端·npm·node.js
dz88i84 小时前
修改npm镜像源
前端·npm·node.js
CodeChampion9 小时前
61.基于SpringBoot + Vue实现的前后端分离-在线动漫信息平台(项目+论文)
java·vue.js·spring boot·后端·node.js·maven·idea
小王码农记10 小时前
解决npm publish发布包后拉取时一直提示 Couldn‘t find any versions for “包名“ that matches “版本号“
前端·npm·node.js
求知若饥15 小时前
NestJS 项目实战-权限管理系统开发（六）
后端·node.js·nestjs
理想不理想v1 天前
webpack最基础的配置
前端·webpack·node.js
南城巷陌1 天前
JWT认证机制在Node.js中的详细阐述
node.js·jwt认证机制·前端安全认证
理想不理想v1 天前
node.js的简单示例
node.js
yrldjsbk1 天前
使用Node.js搭配express框架快速构建后端业务接口模块Demo
node.js·express
热门推荐
01Cube-Studio：开源大模型全链路一站式中台02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO05校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站06Docker 夺命连环 15 问07构建高效的广告投放系统：应用架构的设计与实现08基于大语言模型（LLM）的合成数据生成、策展和评估的综述09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10【一文读懂】NTN（非地面网络）技术介绍