踩坑记录【一】 - String与bytes 的转换

概述

C++写习惯了,其实不太能关注到 String 和 bytes 的区别在C++里,std::string 的底层实现是二进制序列,也可以用来哦存储 bytes 的。

但是并不是所有平台都是一样的,很多平台的String 底层实现涉及编码,直接复制字节会导致编码错误。

问题场景

在 atkts 平台上,需要吧一个bytes 转为 string

javascript 复制代码
String func(Uint8Array<int> input) {
  // 处理转换
}

这种问题其实在cpp 上很好处理

c 复制代码
void binaryToString(char* binaryData, std::size_t length) {
    std::string str(binaryData, length);
    // 现在 str 包含了二进制数据
}

同样的思路,在 arkts 上撸了一波

ini 复制代码
function uint8ArrayToString(uint8Array) {
    let result = '';
    for (let i = 0; i < uint8Array.length; i++) {
        result += String.fromCharCode(uint8Array[i]);
    }
    return result;
}

然后就发现炸了,arkts 转出来的结果和原始数据怎么完全对不上捏

原因分析

原因其实很好分析,对 cpp 来说,下面的语句是不会发生编码转换的

c 复制代码
std::string str(binaryData, length);

但是对 arkts 来说,下面的语句会用 unicode 编码,将每个字节视为UTF-16代码单元,纯二进制数据可能是在 uttf-16 表之外的,即 utf-16 含盖的数据范围其实是比二进制更小的,转换失败就乱码了

arduino 复制代码
String.fromCharCode(uint8Array[i])

这个时候会有聪明鬼说我换个 api ,比如用TextDecoder,当转后会发现,其实还是乱码,因为 arkts 底层 String 和 std::string 完全不同。arkts 的 String 默认一定是一个编码好的字符串,找不到任何方法把一个未编码的二进制存进入。

javascript 复制代码
function uint8ArrayToString(uint8Array: Uint8Array): string {
    const decoder = new TextDecoder('utf-8');
    return decoder.decode(uint8Array);
}

解决方案

这个时候又会有聪明跳出来,说我硬要把二进制放到 String 里怎么搞。业务上确实可能有这样的需求,比如用 proto 跨语言平台传递数据,协议就是一个 String 类型,没有 bytes 类型,那一定得转成 String 了。

这个是时候,可以用 base64,吧纯二进制转为 base64String,就能往下传了。

总结一下

String 和 bytes 是两个东西,String 能 cover 的数据范围更小

C++和ArkTS处理字符串的方式存在本质差异:

  1. C++的 std::string:
    • 根本上是一个字节容器,不涉及字符编码转换。
    • 可以直接存储任意字节数据,不会进行任何解释或转换。
  1. ArkTS的 String:
    • 使用UTF-16编码存储字符。
    • 每个字符占用16位,但对于ASCII字符(0-127),可以使用一个代码单元表示。
    • 对非ASCII字符(如汉字、表情符号等),则需要使用两个代码单元(即4字节)。
      因此,当你直接使用String.fromCharCode逐字节转换时,会遇到以下问题:
  • 无法正确表示多字节字符。
  • 部分字节可能被解释为无效字符,导致乱码或不可见字符。
相关推荐
afumu1 天前
让本机 Agent 指挥浏览器里的多个网页 AI:一套 127.0.0.1 控制协议的设计取舍
chrome·typescript
濮水大叔2 天前
Cabloy/Vona 为什么不需要 NestJS 的 Dynamic Module
typescript·node.js·nestjs
浪遏2 天前
recruitment-cli:让 AI 接手求职招聘,从架构到一次发送超时
架构·typescript·node.js
律宏阔3 天前
微信小程序 + Taro 从 ESLint 迁移到 Oxlint 让项目代码检查速度提升近 12 倍
前端·typescript·eslint
瓦瓦gogo3 天前
从一个 TypeScript 函数开始理解 MCP 协议
linux·ubuntu·typescript
ZhengEnCi4 天前
Hono 4 多库多模型服务的企业级 Monorepo 目录结构:npm workspaces 与 Turborepo 该怎么分层
typescript
浪遏5 天前
从命令到工作流:juejin-cli 如何让写作自动化更可靠
typescript
浪遏5 天前
07|网页上看着正常,导出的 PDF 为什么还会变样
typescript
浪遏5 天前
03|自动保存真正难的部分,是保存期间又发生了修改
typescript
浪遏5 天前
04|同一篇资料,怎样同时交给编辑器、搜索和 AI
typescript