日常开发分享 - golang字符串切片,字符字节问题踩坑

字符串和切片,都是golang常用的两种内置数据类型。最近在日常工作中,遇到了一个字符串切片导致的问题,记录一下排查问题的过程,避免后续在这种场景上踩坑

背景

在项目中,我们使用mysql来存储数据信息,其中label表记录了标签相关的信息。表结构如下:

sql 复制代码
CREATE TABLE `label` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(190) COLLATE utf8mb4_unicode_ci DEFAULT 'label name',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uniq_n` (`name`)
) ENGINE=InnoDB AUTO_INCREMENT=7050965 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='label'

其中name字段为varchar类型,190代表字符长度,并且是唯一索引

为什么name字段设置最大字符长度为190?

name是varchar类型,并且是唯一索引。mysql规定varchar类型为索引时,最大长度为767字节

name字段的编码格式为utf8mb4_unicode_ci,一个字符最多用4个字节来表示,767 / 4 = 191.75,所以只需限制最大字符长度小于191.75即可,项目里取190作为限制

业务代码逻辑很简单,主要有两步:

  1. 依据name查询label表,如果查询到了label信息,则直接返回
  2. 如果没有查询到label信息,则尝试创建label信息

伪代码:

go 复制代码
const (
   // 最大字符长度
   LabelNameLengthLimit = 190
)

func GetOrCreateLabel(ctx context.Context, name string) (label dao.Label, err error) {
   var err error
   // 依据name查询label信息
   label, err = db_reader.GetLabel(name)
   // 没有找到对应的label信息,且字符串长度超过190,则切片后再次查询
   if IsRecordNotFoundError(err) && len(name) > LabelNameLengthLimit {
      label, err = db_reader.GetLabel(name[:LabelNameLengthLimit])
   }
   // 还是报错,则尝试创建label信息
   if err != nil {
      label.Name = name
      err = db_writer.CreateLabel(ctx, &label)
      // 报唯一键冲突错误,可能是由于并发创建导致的问题,再次兜底进行查询
      if IsKeyConflict(err) {
         label, err = db_reader.GetLabel(ctx, name)
         if err != nil {
            return label, err
         }
      }
      if err != nil {
         return label, err
      }
   }
   return label, nil
}

问题

部分case,首次执行业务代码成功,后续执行业务代码一直报错

case1:

go 复制代码
labelName := "© 2015 Charanga Sí o Ké - Chema Muñoz, Perfecto Artola, Pablo Guerrero, Antonio Flores, Los Gipsy King, Chambao, Adele, La Pegatina, El Chaval de la Peca, Los Manolos © 2015 Charanga Sí o Ké - Sones de Rumba"

执行:

  1. 首次执行业务代码,执行成功
  2. 后续执行业务代码,22行稳定复现报错

分析

后续执行业务代码时

  • 依据name,一直查询不到对应的label信息,err报错RecordNotFoundError
  • 依据name[:LabelNameLengthLimit],一直查询不到对应的label信息,err报错RecordNotFoundError
scss 复制代码
var err error
// 依据name查询label信息
label, err = db_reader.GetLabel(name)
// 没有找到对应的label信息,且字符串长度超过190,则切片后再次查询
if IsRecordNotFoundError(err) && len(name) > LabelNameLengthLimit {
   label, err = db_reader.GetLabel(name[:LabelNameLengthLimit])
}

err != nil时,尝试创建label信息,此时报唯一键冲突错误

线上可能是并发创建导致的唯一键冲突,兜底查询一次,此时查询还是报错RecordNotFoundError

scss 复制代码
err = db_writer.CreateLabel(ctx, &label)
// 报唯一键冲突错误,可能是由于并发创建导致的问题,再次兜底进行查询
if IsKeyConflict(err) {
   label, err = db_reader.GetLabel(ctx, name)
   if err != nil {
      return label, err
   }
}

由于字符长度超过了190,定位到主要的问题是:依据切片后name[:LabelNameLengthLimit]查询时,没有查询到结果,但是依据name去创建label信息时,报唯一键冲突,说明查询的值和实际存储的值不一致

golang string底层实现go/src/reflect/value.go

go 复制代码
// StringHeader is the runtime representation of a string.
// It cannot be used safely or portably and its representation may
// change in a later release.
// Moreover, the Data field is not sufficient to guarantee the data
// it references will not be garbage collected, so programs must keep
// a separate, correctly typed pointer to the underlying data.
type StringHeader struct {
   Data uintptr
   Len  int
}

其中:

  • Data 指向底层的[]byte的首地址,string底层其实是[]byte
  • Len 代表字节切片的长度,避免多次获取字符串长度时,重复计算
  • 内置函数len(string),获取的是字符串字节长度
  • 对字符串进行切片labelName[:LabelNameLengthLimit],是按照字节数进行切片

所以问题就是:查询和存储时,截取字符串的标准不一样

  • 当字符串字符长度超过190时,查询时是按照字节进行截取
  • 当字符串字符长度超过190时,存储时是按照字符进行截取

测试代码:

css 复制代码
labelName := "© 2015 Charanga Sí o Ké - Chema Muñoz, Perfecto Artola, Pablo Guerrero, Antonio Flores, Los Gipsy King, Chambao, Adele, La Pegatina, El Chaval de la Peca, Los Manolos © 2015 Charanga Sí o Ké - Sones de Rumba"
fmt.Println("原字符串内容:", labelName)
fmt.Println("字节长度:", len(labelName))
fmt.Println("按照字节截取内容:", labelName[:LabelNameLengthLimit])
fmt.Println("字符长度:", len([]rune(labelName)))
fmt.Println("按照字符截取内容:", string([]rune(labelName)[:LabelNameLengthLimit]))

输出:

yaml 复制代码
原字符串内容: © 2015 Charanga Sí o Ké - Chema Muñoz, Perfecto Artola, Pablo Guerrero, Antonio Flores, Los Gipsy King, Chambao, Adele, La Pegatina, El Chaval de la Peca, Los Manolos © 2015 Charanga Sí o Ké - Sones de Rumba
字节长度: 214
按照字节截取内容: © 2015 Charanga Sí o Ké - Chema Muñoz, Perfecto Artola, Pablo Guerrero, Antonio Flores, Los Gipsy King, Chambao, Adele, La Pegatina, El Chaval de la Peca, Los Manolos © 2015 Charanga S�
字符长度: 207
按照字符截取内容: © 2015 Charanga Sí o Ké - Chema Muñoz, Perfecto Artola, Pablo Guerrero, Antonio Flores, Los Gipsy King, Chambao, Adele, La Pegatina, El Chaval de la Peca, Los Manolos © 2015 Charanga Sí o Ké

解决

解决方案:

  1. 先把string转rune切片,使用字符切片来表示字符串
  2. 判断rune切片长度是否超过限制,超过则依据字符长度进行切片
go 复制代码
const (
   // 最大字符长度
   LabelNameLengthLimit = 190
)

func GetOrCreateLabel(ctx context.Context, name string) (label dao.Label, err error) {
   if rs := []rune(name); len(rs) > LabelNameLengthLimit {
      name = string(rs[:LabelNameLengthLimit])
   }
   
   var err error
   // 依据name查询label信息
   label, err = db_reader.GetLabel(name)
   // 还是报错,则尝试创建label信息
   if err != nil {
      label.Name = name
      err = db_writer.CreateLabel(ctx, &label)
      // 报唯一键冲突错误,可能是由于并发创建导致的问题,再次兜底进行查询
      if IsKeyConflict(err) {
         label, err = db_reader.GetLabel(ctx, name)
         if err != nil {
            return label, err
         }
      }
      if err != nil {
         return label, err
      }
   }
   return label, nil
}
相关推荐
goTsHgo16 分钟前
在 Spring Boot 的 MVC 框架中 路径匹配的实现 详解
spring boot·后端·mvc
waicsdn_haha27 分钟前
Java/JDK下载、安装及环境配置超详细教程【Windows10、macOS和Linux图文详解】
java·运维·服务器·开发语言·windows·后端·jdk
Q_192849990638 分钟前
基于Spring Boot的摄影器材租赁回收系统
java·spring boot·后端
良许Linux42 分钟前
0.96寸OLED显示屏详解
linux·服务器·后端·互联网
求知若饥1 小时前
NestJS 项目实战-权限管理系统开发(六)
后端·node.js·nestjs
左羊1 小时前
【代码备忘录】复杂SQL写法案例(一)
后端
gb42152872 小时前
springboot中Jackson库和jsonpath库的区别和联系。
java·spring boot·后端
程序猿进阶2 小时前
深入解析 Spring WebFlux:原理与应用
java·开发语言·后端·spring·面试·架构·springboot
颜淡慕潇2 小时前
【K8S问题系列 |19 】如何解决 Pod 无法挂载 PVC问题
后端·云原生·容器·kubernetes