【OceanBase 系列】—— 什么是冻结和转储

文章出处:OceanBase分布式数据库-海量数据 笔笔算数

本文主要介绍什么是冻结和转储。

适用版本

OceanBase 数据库所有版本。

冻结

冻结是指将 Active MEMTable 转化为 Frozen MEMTable 的过程。

冻结的触发方式

  • 手动触发:alter system minor freeze;

  • 某个租户的占用内存超过阈值(freeze_trigger_percentage)后,会自动触发这个租户下所有 MEMTable 的冻结。

如何看 MEMTable 有没有冻结

复制代码
select * from __all_virtual_table_mgr where table_id = xxx and table_type = 0;​

​如果没有指定的 table_id,可以先查看所有冻结的 MEMTable。

复制代码
select * from __all_virtual_table_mgr where table_type = 0 and is_active = 0 limit 10;

​查看 METable 的情况:

  • 当 MEMTable 的 is_active 字段为 1,表示是 Active MEMTable。
  • 当 MEMTable 的 is_active 字段为 0,表示是 Frozen MEMTable,表示正在等待转储和释放。

当内存占用过高时,如果 MEMTable 没有发生冻结,请联系 OceanBase 技术支持进行问题排查。

如果 MEMTable 发生了冻结,但是一直没有转储,日志中有 MEMTable cannot be minor merged now 的 WARN 报错,说明冻结的 MEMTable 不满足转储条件,需要联系 OceanBase 技术支持进行问题排查。

如何看一个租户冻结了多少次

复制代码
select * from __all_server_event_history where event like "%freeze%"; 

转储

转储是将内存中 Frozen MEMTable 持久化到磁盘上生成 mini sstable 的过程,在生成 mini sstable 后会释放掉 Frozen MEMTable,是系统释放内存的重要手段。

如何判断转储结束

通过 SQL 查询当前系统中是否有冻结的 MEMTable。

复制代码
select count(*) from __all_virtual_table_mgr where table_type = 0 and is_active=0; 

MEMTable 需要满足的转储条件

  • 在 V2.2.x,要求 MEMTable 上没有活跃事务。
  • 在 V3.x,需要检查冻结的状态,事务状态的回填,日志提交等状态。

如果 MEMTable 发生了冻结,通过 select * from __all_virtual_sys_task_status; 查看正在执行中的任务,可能转储正在执行中。

冻结和转储是什么关系

  • 冻结:当 Active MEMTable 占用内存达到阈值(freeze_trigger_percentage)的时候或执行了 alter system minor freeze; 命令,Active MEMTable 会冻结,变成一个 Frozen MEMTable,后续的写入会写到新创建的 Active MEMTable 上。
  • 转储:Frozen MEMTable 转储后会变成磁盘上的 SSTable;可能会同时拿到多个冻结 MEMTable 一起执行转储操作。所以冻结和转储不是 1:1 的关系,并不是一次冻结后,一定对应一次转储。另外,冻结和转储是独立的,如果有冻结生成了 Frozen MEMTable,才会创建转储任务。
相关推荐
weelinking5 小时前
【产品】00_产品经理用Claude实现产品系列介绍
数据库·人工智能·sql·数据挖掘·github·产品经理
2301_803934615 小时前
Go语言如何做网络爬虫_Go语言爬虫开发教程【指南】
jvm·数据库·python
秋96 小时前
windows中安装redis
数据库·redis·缓存
Cosolar6 小时前
万字详解:RAG 向量索引算法与向量数据库架构及实战
数据库·人工智能·算法·数据库架构·milvus
想唱rap6 小时前
IO多路转接之poll
服务器·开发语言·数据库·c++
SeaTunnel7 小时前
AI 让 SeaTunnel 读源码和调试过时了吗?
大数据·数据库·人工智能·apache·seatunnel·数据同步
凯瑟琳.奥古斯特7 小时前
数据冗余与规范化的本质[数据库原理]
开发语言·数据库·职场和发展
_ku_ku_8 小时前
数据库系统原理 · SQL 数据定义、更新及数据库编程 · 自学总结
数据库·oracle
Mortalbreeze8 小时前
深度理解文件系统 ---- 从磁盘存储到内核存储
大数据·linux·数据库
2301_803934618 小时前
MySQL 字段类型选择规范指南
jvm·数据库·python