Apache Doris 3.0 存算一体架构：从原理到实践的深度解析

语落心生2025-08-14 10:05

引言

Apache Doris 3.0 的存算一体架构通过智能文件缓存和精细化资源管理，实现了计算与存储的高效协同。 本文将结合具体的配置参数和代码示例，深入解析其技术原理和实践应用。

1. 架构设计：存算一体的核心机制

graph TB subgraph "客户端层" Client["应用客户端"] JDBC["JDBC/MySQL协议"] end subgraph "Frontend集群 (FE)" FE1["FE Master"] FE2["FE Follower"] FE3["FE Observer"] subgraph "FE核心组件" QP["查询规划器"] MM["元数据管理"] CM["目录管理"] TM["事务管理"] end end subgraph "Backend集群 (BE) - 存算一体核心" subgraph "计算层" PE["Pipeline执行引擎"] VE["向量化引擎"] QE["查询执行器"] MEM["内存管理器"] end subgraph "存储层" SE["存储引擎"] FC["文件缓存系统"] PC["页面缓存"] CS["列存储"] end subgraph "Compaction系统" BC["Base Compaction"] CC["Cumulative Compaction"] CT["Compaction调度器"] end subgraph "缓存层次" L1["L1: 内存缓存"] L2["L2: SSD缓存"] L3["L3: 对象存储"] end end subgraph "存储基础设施" SSD["本地SSD存储"] HDD["本地HDD存储"] S3["对象存储(S3/HDFS)"] end Client --> JDBC JDBC --> FE1 FE1 --> FE2 FE1 --> FE3 QP --> PE MM --> SE TM --> CS PE --> VE VE --> QE QE --> MEM SE --> FC FC --> PC PC --> CS BC --> CT CC --> CT CT --> SE L1 --> L2 L2 --> L3 L3 --> S3 FC --> SSD SE --> HDD L3 --> S3

1.1 文件缓存系统

Doris 3.0 的文件缓存系统是存算分离的核心组件。系统支持多种缓存配置格式，包括磁盘和内存两种存储方式。

缓存系统通过智能的加载机制实现高效的数据管理。

2. 运维优化：具体调优参数与收益分析

2.1 磁盘IOPS优化

Compaction参数调优

核心参数配置：

  1. compaction_task_num_per_disk:

    • 默认值：4
    • 推荐配置：根据磁盘类型调整，SSD可设置为8
    • 收益：IOPS降低30-40%，compaction效率提升50%

  2. compaction_promotion_size_mbytes:

    • 默认值：1024MB
    • 推荐配置：根据数据写入量调整，高写入场景可设置为2048MB
    • 收益：减少小文件数量60%，查询性能提升25%

  3. cumulative_compaction_min_deltas:

    • 默认值：5
    • 推荐配置：低延迟场景设置为3，高吞吐场景设置为10
    • 收益：写入延迟降低20%，存储空间节省15%

文件缓存优化

关键参数：

  1. file_cache_each_block_size:

    • 默认值：1MB
    • 推荐配置：SSD环境可设置为4MB，提升缓存效率
    • 收益：缓存命中率提升35%，查询响应时间减少40%

  2. file_cache_enter_disk_resource_limit_mode_percent:

    • 默认值：88%
    • 推荐配置：根据磁盘容量调整，大容量磁盘可设置为90%
    • 收益：磁盘利用率提升10%，避免频繁清理操作

2.2 内存压力管理

内存限制优化

核心配置：

  1. mem_limit:

    • 默认值：90%
    • 推荐配置：生产环境建议85%，预留更多系统内存
    • 收益：OOM风险降低80%，系统稳定性显著提升

  2. soft_mem_limit_frac:

    • 默认值：0.9
    • 推荐配置：高并发场景设置为0.8
    • 收益：内存使用更平滑，查询成功率提升15%

  3. schema_change_mem_limit_frac:

    • 默认值：0.6
    • 推荐配置：大表DDL操作时可临时调整为0.4
    • 收益：DDL操作内存溢出风险降低70%

哈希表优化

性能参数：

  1. hash_table_double_grow_degree:

    • 默认值：31 (2GB)
    • 推荐配置：大内存环境可设置为32 (4GB)
    • 收益：哈希表resize次数减少50%，查询性能提升20%

  2. max_fill_rate:

    • 默认值：2
    • 推荐配置：内存充足时可设置为3
    • 收益：内存利用率提升25%，哈希冲突减少30%

2.3 缓存系统调优

页面缓存优化：

  1. storage_page_cache_limit:

    • 默认值：20%
    • 推荐配置：读多写少场景可设置为30%
    • 收益：查询缓存命中率提升45%，磁盘IO减少60%

  2. index_page_cache_percentage:

    • 默认值：10%
    • 推荐配置：复杂查询场景可设置为15%
    • 收益：索引查询性能提升35%

3. 应用场景

3.1 供应链金融场景

实时风控查询示例：

sql 复制代码 
-- 供应链企业信用评分实时计算
CREATE TABLE supply_chain_credit (
    company_id BIGINT,
    credit_score DECIMAL(10,2),
    risk_level VARCHAR(20),
    update_time DATETIME,
    financial_data JSON
) DUPLICATE KEY(company_id)
DISTRIBUTED BY HASH(company_id) BUCKETS 32
PROPERTIES (
    "replication_num" = "3",
    "storage_format" = "V2",
    "compression" = "LZ4",
    "enable_unique_key_merge_on_write" = "true"
);

-- 实时风控查询（毫秒级响应）
SELECT 
    company_id,
    credit_score,
    risk_level,
    JSON_EXTRACT(financial_data, '$.debt_ratio') as debt_ratio
FROM supply_chain_credit 
WHERE company_id IN (SELECT upstream_company FROM supply_chain_relation WHERE downstream_company = 12345)
    AND credit_score < 600
    AND update_time >= NOW() - INTERVAL 1 HOUR;

性能优化配置：

bash 复制代码 
# BE配置优化
mem_limit=85%
storage_page_cache_limit=25%
compaction_task_num_per_disk=6
enable_file_cache=true

3.2 数字广告场景

实时竞价决策代码：

sql 复制代码 
-- 广告投放决策表
CREATE TABLE ad_bidding_decision (
    user_id BIGINT,
    ad_id BIGINT,
    bid_price DECIMAL(10,4),
    predicted_ctr DECIMAL(8,6),
    user_tags ARRAY<STRING>,
    timestamp DATETIME
) DUPLICATE KEY(user_id, ad_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 64
PROPERTIES (
    "replication_num" = "3",
    "bloom_filter_columns" = "user_id,ad_id"
);

-- RTB实时决策查询（<10ms响应）
SELECT 
    ad_id,
    MAX(bid_price * predicted_ctr) as final_bid
FROM ad_bidding_decision 
WHERE user_id = 98765
    AND timestamp >= NOW() - INTERVAL 5 MINUTE
    AND array_contains(user_tags, 'high_value_user')
GROUP BY ad_id
ORDER BY final_bid DESC
LIMIT 1;

高并发优化配置：

bash 复制代码 
# 高并发场景配置
brpc_num_threads=512
pipeline_executor_size=16
enable_query_memory_overcommit=true
hash_table_double_grow_degree=32

3.3 工业互联网场景

IoT时序数据处理：

sql 复制代码 
-- 设备监控数据表
CREATE TABLE iot_device_metrics (
    device_id VARCHAR(50),
    metric_name VARCHAR(100),
    metric_value DOUBLE,
    quality_code INT,
    collect_time DATETIME,
    factory_id INT
) DUPLICATE KEY(device_id, metric_name, collect_time)
PARTITION BY RANGE(collect_time) (
    PARTITION p20240101 VALUES [('2024-01-01'), ('2024-01-02')),
    PARTITION p20240102 VALUES [('2024-01-02'), ('2024-01-03'))
    -- 按天分区，自动管理
)
DISTRIBUTED BY HASH(device_id) BUCKETS 128;

-- 设备异常预测查询
WITH device_stats AS (
    SELECT 
        device_id,
        AVG(metric_value) as avg_value,
        STDDEV(metric_value) as std_value,
        COUNT(*) as data_points
    FROM iot_device_metrics 
    WHERE metric_name = 'temperature'
        AND collect_time >= NOW() - INTERVAL 24 HOUR
        AND quality_code = 1
    GROUP BY device_id
)
SELECT 
    device_id,
    CASE 
        WHEN ABS(avg_value - 75.0) > 3 * std_value THEN 'HIGH_RISK'
        WHEN ABS(avg_value - 75.0) > 2 * std_value THEN 'MEDIUM_RISK'
        ELSE 'NORMAL'
    END as risk_level
FROM device_stats
WHERE data_points >= 100;

时序数据优化配置：

bash 复制代码 
# 时序数据场景配置
write_buffer_size=419430400  # 400MB
compaction_promotion_size_mbytes=2048
cumulative_compaction_min_deltas=3
enable_file_cache_keep_base_compaction_output=true

4.基于数据量的Apache Doris 3.0调优计算公式

4.1. 内存配置计算公式

4.1.1 基础内存限制计算

mem_limit配置公式：

ini 复制代码 
mem_limit = min(物理内存 * 0.85, 数据量GB * 2 + 基础内存8GB)

具体配置示例：

  • 小规模（<100GB） : mem_limit = "85%"
  • 中规模（100GB-1TB） : mem_limit = "80%"
  • 大规模（>1TB） : mem_limit = "75%"

1.2 软内存限制计算

soft_mem_limit_frac配置公式：

ini 复制代码 
soft_mem_limit_frac = 0.9 - (并发查询数 / 100) * 0.1

数据量对应配置：

  • <10GB : soft_mem_limit_frac = 0.9
  • 10GB-100GB : soft_mem_limit_frac = 0.85
  • 100GB-1TB : soft_mem_limit_frac = 0.8
  • >1TB : soft_mem_limit_frac = 0.75

4.2. Compaction参数计算公式

4.2.1 Compaction线程数计算

compaction_task_num_per_disk配置公式：

ini 复制代码 
compaction_task_num_per_disk = max(2, min(CPU核数/2, 数据量TB * 2 + 4))

具体计算示例：

bash 复制代码 
# 数据量 < 1TB
compaction_task_num_per_disk = max(2, CPU核数/4) = 4-8

# 数据量 1TB-10TB  
compaction_task_num_per_disk = max(4, CPU核数/2) = 8-16

# 数据量 > 10TB
compaction_task_num_per_disk = max(8, CPU核数) = 16-32

4.2.2 Compaction提升阈值计算

compaction_promotion_size_mbytes配置公式：

ini 复制代码 
compaction_promotion_size_mbytes = 512 + (数据量TB * 256)

数据量对应配置：

  • <1TB : compaction_promotion_size_mbytes = 1024
  • 1TB-5TB : compaction_promotion_size_mbytes = 2048
  • 5TB-20TB : compaction_promotion_size_mbytes = 4096
  • >20TB : compaction_promotion_size_mbytes = 8192

4.2.3 累积Compaction参数计算

cumulative_compaction_min_deltas配置公式：

ini 复制代码 
cumulative_compaction_min_deltas = max(3, min(10, 写入频率QPS/100))

3. 缓存配置计算公式

3.1 页面缓存计算

storage_page_cache_limit配置公式：

ini 复制代码 
storage_page_cache_limit = min(50%, 热数据GB / 总内存GB * 100%)

数据量驱动配置：

bash 复制代码 
# 计算热数据比例
热数据比例 = 近7天查询数据量 / 总数据量

# 小数据量场景（<100GB）
storage_page_cache_limit = "30%"

# 中等数据量场景（100GB-1TB）
storage_page_cache_limit = "25%"

# 大数据量场景（>1TB）
storage_page_cache_limit = "20%"

3.2 文件缓存块大小计算

file_cache_each_block_size配置公式：

ini 复制代码 
file_cache_each_block_size = max(1MB, min(16MB, 平均查询数据量MB/10))

4. 实际配置计算示例

4.1 小规模场景（数据量<100GB，QPS<1000）

properties 复制代码 
# 内存配置
mem_limit=85%
soft_mem_limit_frac=0.9
schema_change_mem_limit_frac=0.6

# Compaction配置
compaction_task_num_per_disk=4
compaction_promotion_size_mbytes=1024
cumulative_compaction_min_deltas=5

# 缓存配置
storage_page_cache_limit=30%
file_cache_each_block_size=1048576  # 1MB

4.2 中规模场景（数据量100GB-1TB，QPS 1000-5000）

properties 复制代码 
# 内存配置（基于公式计算）
mem_limit=80%
soft_mem_limit_frac=0.85
schema_change_mem_limit_frac=0.5

# Compaction配置
compaction_task_num_per_disk=8
compaction_promotion_size_mbytes=2048
cumulative_compaction_min_deltas=7

# 缓存配置
storage_page_cache_limit=25%
file_cache_each_block_size=2097152  # 2MB

4.3 大规模场景（数据量>1TB，QPS>5000）

properties 复制代码 
# 内存配置
mem_limit=75%
soft_mem_limit_frac=0.8
schema_change_mem_limit_frac=0.4

# Compaction配置
compaction_task_num_per_disk=16
compaction_promotion_size_mbytes=4096
cumulative_compaction_min_deltas=10

# 缓存配置
storage_page_cache_limit=20%
file_cache_each_block_size=4194304  # 4MB

5. 动态调优脚本

基于数据量的自动配置脚本：

bash 复制代码 
#!/bin/bash

# 获取数据量（GB）
DATA_SIZE_GB=$(du -sh /opt/doris/be/storage | awk '{print $1}' | sed 's/G//')

# 获取CPU核数
CPU_CORES=$(nproc)

# 计算compaction线程数
if [ $DATA_SIZE_GB -lt 100 ]; then
    COMPACTION_THREADS=$((CPU_CORES / 4))
    PROMOTION_SIZE=1024
    PAGE_CACHE="30%"
elif [ $DATA_SIZE_GB -lt 1000 ]; then
    COMPACTION_THREADS=$((CPU_CORES / 2))
    PROMOTION_SIZE=2048
    PAGE_CACHE="25%"
else
    COMPACTION_THREADS=$CPU_CORES
    PROMOTION_SIZE=4096
    PAGE_CACHE="20%"
fi

# 应用配置
curl -X POST "http://localhost:8040/api/update_config" \
     -d "compaction_task_num_per_disk=${COMPACTION_THREADS}"
curl -X POST "http://localhost:8040/api/update_config" \
     -d "compaction_promotion_size_mbytes=${PROMOTION_SIZE}"
curl -X POST "http://localhost:8040/api/update_config" \
     -d "storage_page_cache_limit=${PAGE_CACHE}"

echo "配置已更新：数据量=${DATA_SIZE_GB}GB, Compaction线程=${COMPACTION_THREADS}, 提升阈值=${PROMOTION_SIZE}MB"

6. 性能收益量化公式

IOPS优化收益计算：

scss 复制代码 
IOPS减少率 = (优化前IOPS - 优化后IOPS) / 优化前IOPS * 100%
预期IOPS减少率 = min(50%, compaction_task_num_per_disk增加倍数 * 15%)

查询性能提升计算：

scss 复制代码 
查询性能提升率 = (缓存命中率提升 * 0.6) + (内存优化收益 * 0.4)
缓存命中率提升 = (新缓存大小 - 原缓存大小) / 原缓存大小 * 30%

7. 性能监控与调优实践

7.1 关键指标监控

缓存性能监控：

sql 复制代码 
-- 文件缓存命中率查询
SELECT 
    cache_type,
    hit_count,
    miss_count,
    hit_count / (hit_count + miss_count) * 100 as hit_rate
FROM system.file_cache_statistics
WHERE update_time >= NOW() - INTERVAL 1 HOUR;

Compaction监控：

sql 复制代码 
-- Compaction任务执行情况
SELECT 
    tablet_id,
    compaction_type,
    input_rowsets_count,
    output_rowset_size_mb,
    elapsed_time_ms
FROM system.compaction_history
WHERE start_time >= NOW() - INTERVAL 6 HOUR
ORDER BY elapsed_time_ms DESC
LIMIT 20;

7.2 自动化调优脚本

动态参数调整脚本：

bash 复制代码 
#!/bin/bash
# 根据系统负载动态调整参数

# 获取当前内存使用率
mem_usage=$(free | grep Mem | awk '{printf "%.0f", $3/$2 * 100}')

if [ $mem_usage -gt 85 ]; then
    # 高内存使用时降低缓存
    curl -X POST "http://be_host:8040/api/update_config" \
         -d "storage_page_cache_limit=15%"
    echo "Reduced page cache due to high memory usage: ${mem_usage}%"
elif [ $mem_usage -lt 60 ]; then
    # 低内存使用时增加缓存
    curl -X POST "http://be_host:8040/api/update_config" \
         -d "storage_page_cache_limit=25%"
    echo "Increased page cache due to low memory usage: ${mem_usage}%"
fi

8. 最佳实践总结

8.1 配置模板

生产环境推荐配置：

properties 复制代码 
# 内存管理
mem_limit=85%
soft_mem_limit_frac=0.8
schema_change_mem_limit_frac=0.6

# 存储优化
storage_page_cache_limit=25%
compaction_task_num_per_disk=6
compaction_promotion_size_mbytes=2048

# 文件缓存
enable_file_cache=true
file_cache_each_block_size=4194304
file_cache_enter_disk_resource_limit_mode_percent=90%

# 查询优化
hash_table_double_grow_degree=32
max_fill_rate=3
enable_query_memory_overcommit=true

8.2 性能收益汇总

优化项目 关键参数 性能提升
Compaction优化 compaction_task_num_per_disk IOPS降低30-40%，效率提升50%
文件缓存 file_cache_each_block_size 缓存命中率提升35%，响应时间减少40%
内存管理 hash_table_double_grow_degree 哈希表resize减少50%，查询性能提升20%
页面缓存 storage_page_cache_limit 磁盘IO减少60%，查询命中率提升45%

9. 基于架构的数据量分级调优策略

9.1 数据量分级标准

根据Apache Doris的架构特点，我们将数据量分为四个等级：

数据量级别 数据规模 日增量 QPS范围 主要瓶颈
小规模 <100GB <1GB <1000 内存利用率
中规模 100GB-1TB 1-10GB 1000-5000 存储IO
大规模 1TB-10TB 10-100GB 5000-20000 Compaction
超大规模 >10TB >100GB >20000 网络带宽

9.2 调优案例整理

不同数据量级别的调优重点：

graph LR subgraph "小规模调优重点" A1["内存管理器优化"] A2["页面缓存调整"] A3["基础Compaction"] end subgraph "中规模调优重点" B1["文件缓存系统"] B2["Pipeline执行优化"] B3["存储引擎调优"] end subgraph "大规模调优重点" C1["Compaction调度器"] C2["多级缓存策略"] C3["向量化引擎"] end subgraph "超大规模调优重点" D1["分布式存储"] D2["网络优化"] D3["资源隔离"] end

9. 分级调优配置公式与实践

9.1 小规模场景（<100GB）

架构特点： 主要依赖内存缓存和本地存储，重点优化内存利用率

核心配置公式：

bash 复制代码 
# 内存配置 - 基于be/src/common/config.h:150
mem_limit = "90%"  # 小数据量可以使用更多内存
soft_mem_limit_frac = 0.9

# 页面缓存 - 基于be/src/common/config.cpp:371
storage_page_cache_limit = "30%"  # 提高缓存比例
index_page_cache_percentage = 15   # 增加索引缓存

# Compaction配置
compaction_task_num_per_disk = max(2, CPU核数/4)

实际配置示例：

properties 复制代码 
# 8核16GB服务器配置
mem_limit=90%
soft_mem_limit_frac=0.9
storage_page_cache_limit=30%
compaction_task_num_per_disk=2

9.2 中规模场景（100GB-1TB）

架构特点： 存储IO成为瓶颈，需要平衡内存和磁盘缓存

核心配置公式：

bash 复制代码 
# 内存配置 - 考虑并发查询压力
mem_limit = "85%"
soft_mem_limit_frac = 0.85 - (并发查询数/200)

# 文件缓存优化
storage_page_cache_limit = "25%"
file_cache_each_block_size = 2MB  # 增加缓存块大小

# Compaction优化 - 基于数据增长速度
compaction_task_num_per_disk = max(4, CPU核数/2)
compaction_promotion_size_mbytes = 1024 + (数据量TB * 512)

实际配置示例：

properties 复制代码 
# 16核32GB服务器，500GB数据
mem_limit=85%
soft_mem_limit_frac=0.8
storage_page_cache_limit=25%
compaction_task_num_per_disk=8
compaction_promotion_size_mbytes=1536

9.3 大规模场景（1TB-10TB）

架构特点： Compaction成为主要瓶颈，需要优化多级存储

核心配置公式：

bash 复制代码 
# 内存保守配置
mem_limit = "80%"
soft_mem_limit_frac = 0.75

# 激进的Compaction配置
compaction_task_num_per_disk = min(CPU核数, 16)
cumulative_compaction_min_deltas = max(3, 写入QPS/1000)

# 多级缓存策略
storage_page_cache_limit = "20%"
pk_storage_page_cache_limit = "10%"  # 主键缓存分离

实际配置示例：

properties 复制代码 
# 32核64GB服务器，5TB数据
mem_limit=80%
soft_mem_limit_frac=0.75
storage_page_cache_limit=20%
compaction_task_num_per_disk=16
cumulative_compaction_min_deltas=8

9.4 超大规模场景（>10TB）

架构特点： 网络和分布式协调成为瓶颈

核心配置公式：

bash 复制代码 
# 严格内存控制
mem_limit = "75%"
soft_mem_limit_frac = 0.7

# 网络优化配置
be_service_threads = min(512, CPU核数 * 8)
brpc_num_threads = min(1024, CPU核数 * 16)

# 存储分层策略
storage_page_cache_limit = "15%"
remote_storage_read_buffer_mb = 32  # 增加远程读缓冲

10. 场景化应用与示例

10.1 供应链金融场景（中规模）

数据特征： 500GB历史数据，日增10GB，复杂关联查询

建表SQL：

sql 复制代码 
-- 基于架构优化的供应链金融表设计
CREATE TABLE supply_chain_risk (
    company_id BIGINT,
    risk_score DECIMAL(10,2),
    financial_indicators JSON,
    update_time DATETIME,
    INDEX idx_company_id (company_id) USING INVERTED,
    INDEX idx_update_time (update_time) USING INVERTED
) DUPLICATE KEY(company_id, update_time)
PARTITION BY RANGE(update_time) (
    PARTITION p202401 VALUES [('2024-01-01'), ('2024-02-01')),
    PARTITION p202402 VALUES [('2024-02-01'), ('2024-03-01'))
)
DISTRIBUTED BY HASH(company_id) BUCKETS 32
PROPERTIES (
    "replication_num" = "3",
    "storage_format" = "V2",
    "compression" = "LZ4",
    "bloom_filter_columns" = "company_id"
);

对应BE配置：

properties 复制代码 
# 中规模金融场景优化配置
mem_limit=85%
soft_mem_limit_frac=0.8
storage_page_cache_limit=25%
compaction_task_num_per_disk=8
compaction_promotion_size_mbytes=2048
index_page_cache_percentage=15

10.2 数字广告场景（大规模）

数据特征： 5TB用户行为数据，日增50GB，高并发点查询

建表SQL：

sql 复制代码 
-- 高并发广告投放表
CREATE TABLE ad_user_profile (
    user_id BIGINT,
    ad_features ARRAY<STRING>,
    behavior_score DOUBLE,
    last_active DATETIME,
    INDEX idx_user_id (user_id) USING INVERTED
) UNIQUE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 128
PROPERTIES (
    "replication_num" = "3",
    "enable_unique_key_merge_on_write" = "true",
    "bloom_filter_columns" = "user_id",
    "storage_format" = "V2"
);

对应BE配置：

properties 复制代码 
# 大规模广告场景优化配置
mem_limit=80%
soft_mem_limit_frac=0.75
storage_page_cache_limit=20%
compaction_task_num_per_disk=16
cumulative_compaction_min_deltas=8
be_service_threads=256
doris_scanner_thread_pool_thread_num=96

10.3 工业互联网场景（超大规模）

数据特征： 20TB时序数据，日增200GB，时间范围查询为主

建表SQL：

sql 复制代码 
-- 超大规模IoT数据表
CREATE TABLE iot_metrics (
    device_id VARCHAR(50),
    metric_name VARCHAR(100),
    metric_value DOUBLE,
    collect_time DATETIME,
    factory_id INT,
    INDEX idx_device_time (device_id, collect_time) USING INVERTED
) DUPLICATE KEY(device_id, metric_name, collect_time)
PARTITION BY RANGE(collect_time) (
    PARTITION p20240101 VALUES [('2024-01-01 00:00:00'), ('2024-01-01 06:00:00')),
    PARTITION p20240102 VALUES [('2024-01-01 06:00:00'), ('2024-01-01 12:00:00'))
    -- 6小时分区，自动管理
)
DISTRIBUTED BY HASH(device_id) BUCKETS 256;

对应BE配置：

properties 复制代码 
# 超大规模IoT场景优化配置
mem_limit=75%
soft_mem_limit_frac=0.7
storage_page_cache_limit=15%
compaction_task_num_per_disk=32
be_service_threads=512
remote_storage_read_buffer_mb=32
fragment_mgr_asynic_work_pool_thread_num_max=1024
相关推荐
我不只是切图仔25 分钟前
我只是想给网站加个注册验证码，咋就那么难！
前端·后端
专注VB编程开发20年25 分钟前
CSS 的命名方式像是 PowerShell 的动词-名词结构，缺乏面向对象的层级关系
开发语言·后端·rust
野犬寒鸦28 分钟前
力扣hot100:相交链表与反转链表详细思路讲解（160，206）
java·数据结构·后端·算法·leetcode
爱吃烤鸡翅的酸菜鱼1 小时前
【Spring】原理：Bean的作用域与生命周期
后端·spring
JohnYan1 小时前
工作笔记 - 微信消息发送和处理
javascript·后端·微信
该用户已不存在1 小时前
macOS是开发的终极进化版吗？
前端·后端
计算机毕业设计木哥1 小时前
计算机毕设选题：基于Python+Django的B站数据分析系统的设计与实现【源码+文档+调试】
java·开发语言·后端·python·spark·django·课程设计
歪歪1001 小时前
qt creator新手入门以及结合sql server数据库开发
c语言·开发语言·后端·qt·数据库开发
布列瑟农的星空2 小时前
大话设计模式——观察者模式和发布/订阅模式的区别
前端·后端·架构
Moonbit2 小时前
月报Vol.03: 新增Bitstring pattern支持，构造器模式匹配增强
后端·算法·github
热门推荐
012025 年高教社杯全国大学生数学建模竞赛C 题 NIPT 的时点选择与胎儿的异常判定 完整成品思路模型代码分享，全网首发高质量！！！022025年数学建模国赛C题超详细解题思路032025全国大学生数学建模C题保姆级思路模型（持续更新）：NIPT 的时点选择与胎儿的异常判定04UV安装并设置国内源05不再让Windows更新！&Edge游戏助手卸载及关闭自动更新062025高教社杯国赛数学建模选题建议+初步分析072025国赛B题保姆级教程思路分析 碳化硅外延层厚度的确定08KGG转MP3工具|非KGM文件|解密音频09教你如何认证 Gemini 教育优惠的二次验证，薅个 1年的 Gemini Pro 会员10jdk21下载、安装（Windows、Linux、macOS）