峰会官网已上线，最新议程请关注：doris-summit.org.cn 点击报名
亲爱的社区小伙伴们，Apache Doris 2.0.2 版本已于 2023 年 10 月 6 日正式发布，该版本对多个功能进行了更新优化，旨在更好地满足用户的需求。有 92 位贡献者为 Apache Doris 2.0.2 版本提交了功能优化项以及问题修复，进一步提升了系统的稳定性和性能，欢迎大家下载体验。
GitHub下载 ：https://github.com/apache/doris/releases/tag/2.0.2-rc05
重要更新
- 删除与 lambda 函数语法冲突的 json"->"运算符，可以使用函数 json_extract 代替。#24679
- 将
metadata_failure_recovery从 fe.conf 移动到 start_fe.sh 参数，以避免异常操作。#24308 - 对于普通类型中的 null 值使用 \n 来表示，对于复杂类型或嵌套类型的 null 值，跟 JSON 类型保持一致、采取 null 来表示。#24207
- 优化 BE 节点 priority_network 配置项的绑定策略，如果用户配置了错误的 priority_network 则直接启动失败，以避免用户错误地认为配置是正确的。如果用户没有配置 priority_network，则仅从 IPv4 列表中选择第一个 IP，而不是从所有 IP 中选择，以避免用户的服务器不支持 IPv4。 #23795 #23784
- 支持取消正在重试的导入任务，修复取消加载失败的问题。#17730
功能优化
01 易用性提升
- 某些场景下，用户需要向集群中添加一些自定义的库，如 lzo.jar、orai18n.jar 等。在过去的版本中，这些 lib 文件位于 fe/lib 或 be/lib 中，但在升级集群时，lib 库将被新的 lib 库替换，导致所有自定义的 lib 库都会丢失。在新版本中，为 FE 和 BE 添加了新的自定义目录 custom_lib ，用户可以在其中放置自定义 lib 文件。#23887
- 支持基于用户角色的权限访问控制，实现了行级细粒度的权限控制策略。#23022
02 改进查询优化器 Nereids 统计信息收集
- 在运行 Analysis 任务时禁用 File Cache，Analysis 任务是后台任务，不应影响用户本地 File Cache 数据。#23663
- 在过去版本中，查看列的统计信息时将忽略出现错误的列。在新版本中，当 min 或 max 值未能反序列化时，查看列的统计信息时将使用 N/A 作为 min 或 max 的值并仍显示其余的统计信息，包括 count、null_count、ndv 等。#23703
- 支持 JDBC 外部表的统计信息收集。#23965
- 跳过
__internal_schema和information_schema上未知列的统计信息检查。#24625
03 Multi-Catalog 功能优化
- 支持 Hadoop Viewfs；#24168
- 优化 JDBC Catalog Checksum Replay 和 Range 相关问题； #22369
- 优化了 JDBC Catalog 的 Property 检查和错误消息提示。 #23868
- 修复了 MaxCompute Catalog Decimal 类型解析问题以及使用对象存储地址错误的问题。#24242
- 支持 Hive Metastore Catalog 的 SQL Cache。#23391
- 提高了 Hive Metastore Catalog 的元数据同步性能。#22869
- 添加 metadata_name_ids 以快速获取 Catalogs、DB、Table，在创建或删除 Catalog 和 Table 时无需 Refresh Catalog， 并添加 Profiling 表从而与 MySQL 兼容。#22702
04 倒排索引性能优化
- 增加 bkd 索引的查询缓存，通过缓存可以加速在命中 bkd 索引时的查询性能，在高并发场景中效果更为明显； #23952
- 提升倒排索引在 Count 算子上的查询性能；#24678
- 提升了 Match 算子在未命中索引时的效率，在测试表现中性能最高提升 60 倍；#24751
- 提升了 MATCH 和 MATCH_ALL 在倒排索引上的查询性能；#23871 #24389
05 Array 函数优化
- 优化了老版本查询优化器 Array 函数无法处理 Decimal 类型的问题；#23630
- 优化了
array_union数组函数对多个参数的支持；#24327 - 支持通过 explode 函数来处理数组嵌套复杂类型；#24455
Bug修复
该版本修复了之前版本存在的部分 Bug，使系统整体稳定性表现得到大幅提升，完整 BugFix 列表请参考 GitHub Commits 记录：https://github.com/apache/doris/issues/25011