432trino 内存相关配置

reservedBytes 预定的内存;Reservations 预定、预约;Revocable 可废止的,可撤回的;allocations 分配

/ui/api/worker/yj-datanode1-0460/status

返回worker 的 heap 和Processors(既cpu 数)

LocalMemoryManager 管理 MemoryPool,MemoryPool=heap - (memory.heap-headroom-per-node,默认=heap*0.3)

trino_memory_MemoryPool_MaxBytes{subcluster="subcluster",instance=\~"datanode"}

trino_memory_MemoryPool_FreeBytes{subcluster="subcluster",instance=\~"datanode"}

trino_memory_MemoryPool_ReservedBytes{subcluster="subcluster",instance=\~"datanode"}

worker 内存

maxBytes=heap - (memory.heap-headroom-per-node,默认=heap*0.3)

FreeBytes = maxBytes - reservedBytes - reservedRevocableBytes

cluster 内存

ClusterMemoryPool

blockedNodes 可以用于监控某个机器有没有空闲资源 FreeBytes() + ReservedRevocableBytes() <=0

totalDistributedBytes=sum_node(MaxBytes)

reservedDistributedBytes=sum_node(ReservedBytes)

reservedRevocableDistributedBytes=sume_node(ReservedRevocableBytes)

clusterMemorymanager

clusterMemoryBytes=sum_node(MaxBytes)

totalAvailableProcessors=sum_node(AvailableProcessors)

clusterUserMemoryReservation=sum_query(UserMemoryReservation)

clusterTotalMemoryReservation=sum_query(TotalMemoryReservation)

trino 查询模型

node 可以运行多个task, task 处理多个split

query-stage-task-split(driver)

task 配置

task.concurrency 并行运算符(例如连接和聚合)的默认本地并发性,默认值:节点的物理CPU数量,最小值为2,最大值为32

task.max-drivers-per-task 控制task同时运行的最大driver数量,默认值: max_int

task.max-worker-threads 设置task处理分片时使用的线程数。如果工作器 CPU 利用率较低且所有线程都在使用中,则增加此数字可以提高吞吐量,但这会导致堆空间使用量增加,默认值: cpu*2

node 配置

node-scheduler.max-splits-per-node 增加此值可以改善查询延迟 默认值:256

node-scheduler.min-pending-splits-per-task 默认值:16

node-scheduler.max-adjusted-pending-splits-per-task 默认值:2000

相关推荐
Xzaveir_7771 小时前
企业号码负面标记治理:认证、申诉与合规事件的三轨模型
大数据·网络·人工智能·科技·产品经理
hnsoyon1 小时前
智慧管廊综合管理平台赋能排水管网监测精细化管理
大数据·人工智能·智慧管廊综合管理平台·排水管网监测
数智化管理手记2 小时前
预算控制手工核对效率低?预算控制数字化落地实操如何做?
大数据·网络·数据库·人工智能·数据挖掘
千桐科技2 小时前
DataX 执行引擎正式加入:qData 开源版 v1.6.0 新增 Quartz + DataX 轻量运行模式!
java·大数据·开源·数据治理·数据中台·qdata
lupai2 小时前
汽车维保记录精准版 API 快速接入指南
大数据·人工智能·汽车
王同学的AI学习日记2 小时前
Qwen-Image-3.0技术实测:文字渲染、长上下文与多场景能力深度评测
大数据·人工智能·ai·开源
AI行业说3 小时前
美国布艺市场全品类生产解析——誉财YC-18-M8045四轴模板机的多品种柔性制造方案
大数据·人工智能·自动化·智能家居·自动化缝纫
晓子文集3 小时前
Tushare接口文档:现金流量表(cashflow)
大数据·数据库·大模型·金融数据·量化投资·tushare
威联通安全存储3 小时前
TS-h1677AXU-RP在工程机械机器人弧焊中的部署
大数据·人工智能·python·机器人
科技之门3 小时前
存量破局・价值新生 高格办公探寻办公资产全新增长曲线
大数据·人工智能