31.3 XOR压缩和相关的prometheus源码解读

本节重点介绍 :

  • xor 压缩value原理
  • xor压缩过程讲解
  • xor压缩prometheus源码解读
  • xor 压缩效果

xor 压缩value原理

  • 原理:时序数据库相邻点变化不大,采用异或压缩float64的前缀和后缀0个数

xor压缩过程讲解

  • 第一个值使用原始点存储
  • 计算和前面的值的xor
    • 如果XOR值为0,即两个Value相同,那么存为'0',只占用一个bit。
    • 如果XOR为非0,首先计算XOR中位于前端的和后端的0的个数,即Leading Zeros与Trailing Zeros。
      • 第一个bit值存为'1'。
      • 如果Leading Zeros与Trailing Zeros与前一个XOR值相同,则第2个bit值存为'0',而后,紧跟着去掉Leading Zeros与Trailing Zeros以后的有效XOR值部分。
      • 如果Leading Zeros与Trailing Zeros与前一个XOR值不同,则第2个bit值存为'1',而后,紧跟着5个bits用来描述Leading Zeros的值,再用6个bits来描述有效XOR值的长度,最后再存储有效XOR值部分(这种情形下,至少产生了13个bits的冗余信息)

xor压缩prometheus源码解读

  • xorAppender.Append 中调用的writeVDelta ,位置 D:\go_path\src\github.com\prometheus\prometheus\tsdb\chunkenc\xor.go
  • vDelta代表xor的结果值,然后进行判断
go 复制代码
func (a *xorAppender) writeVDelta(v float64) {
	vDelta := math.Float64bits(v) ^ math.Float64bits(a.v)

	if vDelta == 0 {
		a.b.writeBit(zero)
		return
	}
	a.b.writeBit(one)

	leading := uint8(bits.LeadingZeros64(vDelta))
	trailing := uint8(bits.TrailingZeros64(vDelta))

	// Clamp number of leading zeros to avoid overflow when encoding.
	if leading >= 32 {
		leading = 31
	}

	if a.leading != 0xff && leading >= a.leading && trailing >= a.trailing {
		a.b.writeBit(zero)
		a.b.writeBits(vDelta>>a.trailing, 64-int(a.leading)-int(a.trailing))
	} else {
		a.leading, a.trailing = leading, trailing

		a.b.writeBit(one)
		a.b.writeBits(uint64(leading), 5)

		// Note that if leading == trailing == 0, then sigbits == 64.  But that value doesn't actually fit into the 6 bits we have.
		// Luckily, we never need to encode 0 significant bits, since that would put us in the other case (vdelta == 0).
		// So instead we write out a 0 and adjust it back to 64 on unpacking.
		sigbits := 64 - leading - trailing
		a.b.writeBits(uint64(sigbits), 6)
		a.b.writeBits(vDelta>>trailing, int(sigbits))
	}
}

xor 压缩效果

  • 从结果来看:
  • 只占用1个bit的Value比例高达59.06%,这说明约一半以上的Point Value较之上一个Value并未发生变化。
  • 30%比例的Value平均占用26.6 bits,即上面的情形2.1。
  • 余下的12.64%的Value平均占用39.6 bits,即上面的情形2.2。
  • 我认为xor压缩效果取决于series曲线波动情况,越剧烈压缩效果越差,越平滑压缩效果越好

本节重点总结 :

  • xor 压缩value原理
  • xor压缩过程讲解
  • xor压缩prometheus源码解读
  • xor 压缩效果
相关推荐
企鹅侠客2 天前
Prometheus operator怎么添加targets和告警规则
运维·云原生·kubernetes·prometheus·pod
木二3 天前
附042.Kubernetes_v1.32.3生成环境高可用部署
云原生·kubernetes·prometheus·ingress·longhorn
yunson_Liu4 天前
kubernet在prometheus+alertmanager+grafana框架下新增部署loki模块
grafana·prometheus·loki
树下一少年4 天前
docker-compose部署prometheus+grafana+node_exporter
docker·json·grafana·prometheus·node_exporter
云上艺旅10 天前
K8S学习之基础四十一:Prometheus基于Pushgateway采集数据
学习·云原生·容器·kubernetes·prometheus
云上艺旅11 天前
K8S学习之基础三十八:Kube-static-metrics监控
学习·云原生·容器·kubernetes·prometheus
sj116373940313 天前
Prometheus Exporter系列-Mysql_Exporter一键部署
prometheus
云上艺旅14 天前
K8S学习之基础三十六:node-exporter部署
学习·云原生·贪心算法·kubernetes·prometheus
云上艺旅14 天前
K8S学习之基础四十:K8S配置altermanager发送告警到钉钉群
学习·云原生·容器·kubernetes·钉钉·prometheus
云上艺旅15 天前
K8S学习之基础三十五:k8s之Prometheus部署模式
学习·云原生·容器·kubernetes·prometheus