31.3 XOR压缩和相关的prometheus源码解读

本节重点介绍 :

  • xor 压缩value原理
  • xor压缩过程讲解
  • xor压缩prometheus源码解读
  • xor 压缩效果

xor 压缩value原理

  • 原理:时序数据库相邻点变化不大,采用异或压缩float64的前缀和后缀0个数

xor压缩过程讲解

  • 第一个值使用原始点存储
  • 计算和前面的值的xor
    • 如果XOR值为0,即两个Value相同,那么存为'0',只占用一个bit。
    • 如果XOR为非0,首先计算XOR中位于前端的和后端的0的个数,即Leading Zeros与Trailing Zeros。
      • 第一个bit值存为'1'。
      • 如果Leading Zeros与Trailing Zeros与前一个XOR值相同,则第2个bit值存为'0',而后,紧跟着去掉Leading Zeros与Trailing Zeros以后的有效XOR值部分。
      • 如果Leading Zeros与Trailing Zeros与前一个XOR值不同,则第2个bit值存为'1',而后,紧跟着5个bits用来描述Leading Zeros的值,再用6个bits来描述有效XOR值的长度,最后再存储有效XOR值部分(这种情形下,至少产生了13个bits的冗余信息)

xor压缩prometheus源码解读

  • xorAppender.Append 中调用的writeVDelta ,位置 D:\go_path\src\github.com\prometheus\prometheus\tsdb\chunkenc\xor.go
  • vDelta代表xor的结果值,然后进行判断
go 复制代码
func (a *xorAppender) writeVDelta(v float64) {
	vDelta := math.Float64bits(v) ^ math.Float64bits(a.v)

	if vDelta == 0 {
		a.b.writeBit(zero)
		return
	}
	a.b.writeBit(one)

	leading := uint8(bits.LeadingZeros64(vDelta))
	trailing := uint8(bits.TrailingZeros64(vDelta))

	// Clamp number of leading zeros to avoid overflow when encoding.
	if leading >= 32 {
		leading = 31
	}

	if a.leading != 0xff && leading >= a.leading && trailing >= a.trailing {
		a.b.writeBit(zero)
		a.b.writeBits(vDelta>>a.trailing, 64-int(a.leading)-int(a.trailing))
	} else {
		a.leading, a.trailing = leading, trailing

		a.b.writeBit(one)
		a.b.writeBits(uint64(leading), 5)

		// Note that if leading == trailing == 0, then sigbits == 64.  But that value doesn't actually fit into the 6 bits we have.
		// Luckily, we never need to encode 0 significant bits, since that would put us in the other case (vdelta == 0).
		// So instead we write out a 0 and adjust it back to 64 on unpacking.
		sigbits := 64 - leading - trailing
		a.b.writeBits(uint64(sigbits), 6)
		a.b.writeBits(vDelta>>trailing, int(sigbits))
	}
}

xor 压缩效果

  • 从结果来看:
  • 只占用1个bit的Value比例高达59.06%,这说明约一半以上的Point Value较之上一个Value并未发生变化。
  • 30%比例的Value平均占用26.6 bits,即上面的情形2.1。
  • 余下的12.64%的Value平均占用39.6 bits,即上面的情形2.2。
  • 我认为xor压缩效果取决于series曲线波动情况,越剧烈压缩效果越差,越平滑压缩效果越好

本节重点总结 :

  • xor 压缩value原理
  • xor压缩过程讲解
  • xor压缩prometheus源码解读
  • xor 压缩效果
相关推荐
云游5 小时前
大模型性能指标的监控系统(prometheus3.5.0)和可视化工具(grafana12.1.0)基础篇
grafana·prometheus·可视化·监控
qq_232045571 天前
非容器方式安装Prometheus和Grafana,以及nginx配置访问Grafana
nginx·grafana·prometheus
夜莺云原生监控1 天前
Prometheus 监控 Kubernetes Cluster 最新极简教程
容器·kubernetes·prometheus
SRETalk2 天前
Prometheus 监控 Kubernetes Cluster 最新极简教程
kubernetes·prometheus
川石课堂软件测试2 天前
JMeter并发测试与多进程测试
功能测试·jmeter·docker·容器·kubernetes·单元测试·prometheus
SRETalk3 天前
夜莺监控的几种架构模式详解
prometheus·victoriametrics·nightingale·夜莺监控
Ditglu.4 天前
使用Prometheus + Grafana + node_exporter实现Linux服务器性能监控
服务器·grafana·prometheus
SRETalk4 天前
监控系统如何选型:Zabbix vs Prometheus
zabbix·prometheus
睡觉z4 天前
云原生环境Prometheus企业级监控
云原生·prometheus
归梧谣4 天前
云原生环境 Prometheus 企业级监控实战
云原生·prometheus