亲爱的社区小伙伴们，Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。
官网下载页： doris.apache.org/download/
GitHub 下载： github.com/apache/dori...
行为变更
-
通过 Catalog 查询外部表（如 Hive 数据表）时，系统将忽略不存在的文件： 当从元数据缓存中获取文件列表时，由于缓存更新并非实时，因此可能在实际的文件列表已删除、而元数据缓存中仍存在该文件的情况。为了避免由于尝试访问不存在的文件而导致的查询错误，系统会忽略这些不存在的文件。
-
默认情况下，创建 Bitmap Index 不再默认变更为 Inverted Index。该行为由 FE 配置项
enable_create_bitmap_index_as_inverted_index控制，默认为 false。 -
当使用
--console启动 FE、BE进程时，所有日志将输出到标准输出，并通过前缀区分不同类型的日志。具体文档地址如下： -
如果建表时没有填写表注释，默认注释为空，不再使用表类型作为默认表注释。
-
decimalv3 的默认精度从 (9, 0) 调整为 (38,9) ，以和最初发布此功能的版本保持兼容。
新功能
查询优化器
-
支持 FE 火焰图工 具：在 FE 部署目录
${DORIS_FE_HOME}/bin中会增加profile_fe.sh脚本，可以利用 async-profiler 工具生成 FE 的火焰图，用以发现性能瓶颈点。 -
支持 SELECT DISTINCT 与聚合函数同时使用 ：支持
SELECT DISTINCT与聚合函数同时使用，在一个查询中同时去重和进行聚合操作，如 SUM、MIN/MAX 等。 -
支持无 GROUP BY 的单表查询重写 ：无
GROUP BY的单表查询重写功能允许数据库优化器在不需要分组的情况下，根据查询的复杂性和数据表的结构，自动选择最佳的执行计划来执行查询，这可以提高查询的性能，减少不必要的资源消耗，并简化查询逻辑。 -
查询优化器全面支持高并发点查询功能 ：在 2.1.4 版本之后，查询优化器全面支持高并发点查询功能，所有符合点查询条件的 SQL 语句会自动走短路径查询，无需用户在客户端额外设置
set experimental_enable_nereids_planner = false。
湖仓一体
-
支持 Paimon 的原生读取器来处理 Deletion Vector：Deletion Vector 主要用于标记或追踪哪些数据已被删除或标记为删除，通常应用在需要保留历史数据的场景，基于本优化可以提升大量数据更新或删除时的处理效率。
-
支持在表值函数（TVF）中使用 Resource：TVF 功能为 Apache Doris 提供了直接将对象存储或 HDFS 上的文件作为 Table 进行查询分析的能力。通过在 TVF 中引用 Resource，可以避免重复填写连接信息，提升使用体验。
-
支持通过 Ranger 插件实现数据脱敏：开启 Ranger 鉴权功能后，支持使用 Ranger 中的 Data Mask 功能进行数据脱敏。
异步物化视图
-
构建支持内表触发式更新，如果物化视图使用的是内表，如果内表数据发生变化，可以触发物化视图刷新，需要在创建物化视图时指定
REFRESH ON COMMIT。 -
支持单表透明改写。
-
透明改写支持 agg_state, agg_union 类型的聚合上卷，物化视图可以定义为 agg_state 或者 agg_union，查询使用具体的聚合函数，或者使用 agg_merge
- agg_state 参考文档：doris.apache.org/zh-CN/docs/...
其他
-
新增 replace_empty 函数：将字符串中的子字符串进行替换，当旧字符串为空时，会将新字符串插入到原有字符串的每个字符前以及最后。
-
支持
show storage policy using语句：支持查看所有或指定存储策略关联的表和分区。 -
支持 BE 侧的 JVM 指标： 通过在
be.conf配置文件中设置enable_jvm_monitor=true，可以启用对 BE 节点 JVM 的监控和指标收集，有助于了解 BE JVM 的资源使用情况，以便进行故障排除和性能优化。
功能优化
-
支持为中文列名创建倒排索引。
-
优化 Segment Cache 所消耗内存的估算准确度，以便能够更快地释放未使用的内存。
-
在使用 Export 功能导出数据时，提前过滤空分区以提升导出效率。
-
优化 Routine Load 任务分配算法以平衡 BE 节点之间的负载压力。
-
在设置错误的会话变量名时，自动识别近似变量值并给出更详细的错误提示。
-
支持将 Java UDF Jar 文件放到 FE 的
custom_lib目录中并默认加载。 -
为审计日志导入作业添加超时的全局变量
audit_plugin_load_timeout，以控制在加载审计插件或处理审计日志时允许的最大执行时间。 -
优化了异步物化视图透明改写规划的性能。
-
当
INSERT源数据为空时，BE 将不会执行任何操作。 -
支持分批获取 Hudi 和 Hive 文件列表，当存在大量数据文件时可以提升数据扫描性能。
- 120 万文件场景下，获取文件列表的时间由390秒缩减到46秒。
-
创建异步物化视图时，禁止使用动态分区。
-
支持检测 Hive 外表分区数据是否和异步物化视图同步。
-
允许异步物化视图创建索引。
问题修复
查询优化器
- 修复 SQL Cache 在
truncate paritition后依然返回旧结果的问题。 - 修复从 JSON Cast 到其他类型 Nullable 属性不对的问题。
- 修复偶现的 Datetimev2 Literal 化简错误。
- 修复窗口函数中不能使用
count(*)的问题。 - 修复
UNION ALL下全部是无 FROM 的SELECT时，Nullable 属性可能错误的问题。 - 修复 Bitmap in Join 和子查询解嵌套无法同时使用的问题。
- 修复在特定情况下过滤条件不能下推到 CTE Producer 导致的性能问题。
- 修复聚合 Combinator 为大写时，无法找到函数的问题。
- 修复窗口函数没有被列裁剪正确裁剪导致的性能问题。
- 修复多个同名不同库的表同时出现在查询中时，可能解析错误导致结果错误的问题。
- 修复对于 Schema 表扫描时，由于生成了 Runtime Filter 导致查询报错的问题。
- 修复关联子查询解嵌套，关联条件被折叠为 Null Literal 导致无法执行的问题。
- 修复规划时，偶现的 Decimal Literal 被错误设置精度的问题。
- 修复偶现的多层聚合被合并后规划错误的问题。
- 修复偶现的聚合扩展规划报错输入输出不匹配的问题。
- 修复偶现的 <=> 被错误转换为 = 的问题。
查询执行
- 修复 Pipeline 引擎上达到限定的行数且内存没有释放时查询被挂起的问题。
- 修复当设置
enable_decimal256 =true且查询优化器回退到旧版本时 BE 发生 Core 的问题。
物化视图
- 修复构建异步物化视图指定 store_row_column 属性，be core 的问题。
- 修复构建异步物化视图指定 storage_medium 不生效的问题。
- 修复基表删除后，异步物化视图 show partitions 报错的问题。
- 修复异步物化视图引起备份恢复异常的问题。
- 修复分区改写可能导致错误结果的问题。
半结构化数据分析
- 修复带有空 Key 的 Variant 类型发生 Core 的问题。
- Bitmap 索引和 Bloom Filter 索引不应支持轻量级索引变更。
主键模型
- 修复在有部分列更新导入的情况下发生异常重启，可能会产生重复 Key 的问题。
- 修复在内存紧张时发生 Clone 时 BE 可能会发生 core 的问题。
湖仓一体
- 修复创建 Hive 表时无法使用完全限定名（如 ctl.db.tbl）的问题。
- 修复 Refresh 操作时 Hive Metastore 连接未关闭的问题。
- 修复从 2.0.x 升级到 2.1.x 时可能的元数据回放问题。
- 修复 TVF 表函数无法读取空 Snappy 压缩文件的问题。
- 修复无法读取具有无效最小/最大列统计信息的 Parquet 文件的问题。
- 修复 Parquet/ORC Reader 中无法处理带有 null-aware 函数下推谓词的问题。
- 修复创建 Hive 表时分区列顺序的问题。
- 修复当分区值包含空格时无法将 Hive 表写入 S3 的问题。
- 修复 Doris 写入 Parquet 格式 Hive 表无法被 Hive 读取的问题。
- 修复 Hive 表 Schema 变更后无法读取 ORC 文件的问题。
- 修复了部分情况下，启用 Hive Metastore Listener 后 FE 无法启动的问题。
- 修复由 Hadoop FS 缓存引起的 FE OOM 问题。
- 修复写出 Parquet 格式文件写出 Row Group 过小的问题。
- 修复 Paimon 表 Schema 变更后无法通过 JNI 读取 Paimon 表的问题。
- 修复 Paimon 表 Schema 变更后由于表字段长度判断错误导致无法读取的问题。
- 修复了读取 Iceberg 中的时间戳列类型时的时区问题。
- 修复了 Iceberg 表上的日期时间转换错误和数据路径错误的问题。
- 修复阿里云 OSS Endpoint 不正确的问题。
- 修复了大量文件导致的查询性能下降问题。
- 允许用户定义的属性通过表函数传递给 S3 SDK。
数据导入
- 修复
CANCEL LOAD命令不生效的问题。 - 修复导入事务 Publish 阶段空指针错误导致导入事务无法完成的问题。
- 修复 bRPC 通过 HTTP 发送大数据文件序列化的问题。
数据管控
- 修复了在将 DDL 或 DML 转发到主 FE 后，ConnectionContext 中的资源标签未设置的问题。
- 修复了在启用
lower_case_table_names时，Restore 表名不正确的问题。 - 修复了清理无用数据或文件的管理命令不生效的问题。
- 修复了无法从分区中删除存储策略的问题。
- 修复了向多副本自动分区表导入数据时的数据丢失问题。
- 修复了使用旧优化器查询或插入自动分区表时，表的分区列发生变化的问题。
内存管理
- 修复日志中频繁报错 Cgroup meminfo 获取失败的问题
- 修复使用 Bloom filter 时 Segment 缓存大小不受控制导致进程内存异常增长的问题。
权限
- 修复开启表名大小写不敏感后，权限设置无效的问题。
- 修复通过非Master FE 节点设置 LDAP 密码不生效的问题。
- 修复了无法检查
SELECT COUNT(*)语句授权的问题。
其他
- 修复 MySQL 连接损坏情况下，客户端 JDBC 程序无法关闭连接的问题。
- 修改
SHOW PROCEDURE STATUS语句返回值与 MySQL 协议不兼容的问题。 - libevent 库强制开启 Keepalive 以解决部分情况下连接泄露的问题。