Apache Doris 4.0 的 AI 功能（LLM 函数 + 向量索引）与 Cloudera CDP 7.3（或类 CDP 的 CMP 7.13 平台，如华为鲲鹏 ARM 版）融合
Apache Doris 4.0 的 AI 功能（LLM 函数 + 向量索引）与 Cloudera CDP 7.3 （或类 CDP 的 CMP 7.13 平台，如华为鲲鹏 ARM 版）本身并无官方集成，但可以通过 架构协同、数据互通、安全对齐 等方式实现功能融合，构建"CMP 负责数据湖治理 + Doris 负责智能实时分析"的混合 AI 数据平台。
以下是两者融合的可行路径、关键技术点和实施建议：
一、整体融合架构
Text：
+---------------------------------------------+
| Cloudera CMP 7 (CMP 7) |
| - HDFS / S3 (Data Lake) |
| - Hive Metastore (统一元数据) |
| - Spark / Flink on YARN (批流计算) |
| - Ranger / Kerberos (安全认证) |
| - Atlas (数据血缘) |
+----------------------+----------------------+
↑↓ (Hive Catalog / Broker Load / Spark Connector)
+---------------------------------------------+
| Apache Doris 4.0 (独立部署) |
| - LLM 函数：SQL 内调用大模型 |
| - 向量索引：支持 ANN 语义检索 |
| - MySQL 协议：BI/应用直连 |
+---------------------------------------------+
✅ 核心原则 ：Doris 不侵入 CMP 集群，作为 外部高性能 AI 分析引擎 存在。
二、关键融合能力与实现方式
1. 元数据互通：Doris 读取 CMP Hive 表（含 Kerberos ）
使用 Doris 2.0+ 的 External Hive Catalog，直接查询 CMP 中的 Hive 表，无需数据移动。
Sql：
-- 在 Doris 中创建 Hive Catalog（支持 Kerberos）
CREATE EXTERNAL CATALOG CMP_hive_krb
PROPERTIES (
"type" = "hive",
"hive.metastore.uris" = "thrift://CMP-hms-host:9083",
"hive.metastore.sasl.enabled" = "true",
"hive.metastore.kerberos.principal" = "hive/_HOST@EXAMPLE.COM",
"doris.hive.catalog.kerberos.principal" = "doris/doris-node1@EXAMPLE.COM",
"doris.hive.catalog.kerberos.keytab" = "/etc/security/keytabs/doris.keytab",
"hadoop.security.authentication" = "kerberos"
);
✅ 应用场景：
- 在 Doris 中对 CMP 的用户行为日志表执行 LLM_SENTIMENT(comment) 实时情感分析；
- 对 Hive 中的商品描述字段进行 LLM_FIXGRAMMAR 清洗后入库 Doris 明细表。
2. 数据写入：CMP Spark/Flink → Doris （带 Kerberos ）
通过 官方 Spark/Flink Doris Connector，将 CMP 中的计算结果写入 Doris。
示例：PySpark 写入（CMP 7.3.1 + Spark 3.2 ）
Python：
df = spark.sql("SELECT user_id, raw_text FROM hive_table WHERE dt = '2025-11-10'")
df.write.format("doris") \
.option("doris.fenodes", "doris-fe:8030") \
.option("doris.table.identifier", "ai_analytics.cleaned_feedback") \
.option("user", "root") \
.option("password", "") \
.mode("append") \
.save()
🔐 安全说明：
- Spark 作业本身已通过 CMP 的 Kerberos 认证；
- Doris 写入走 Stream Load （HTTP ） 或 MySQL 协议，需确保网络可达且 FE 开放 8030/9030 端口；
- 若 Doris 启用 LDAP/Kerberos，需额外配置 connector 的认证参数（目前社区版 Doris 暂不支持 Kerberos for MySQL protocol，建议用 IP 白名单 + 强密码）。
3. AI 能力协同：CMP 提供数据，Doris 提供 AI 推理
| 步骤 | CMP 角色 | Doris 4.0 角色 |
|---|---|---|
| 1. 数据采集 | Flume / Sqoop / Kafka → HDFS/Hive | --- |
| 2. 批处理清洗 | Spark SQL / Data Engineering Jobs | --- |
| 3. 实时特征生成 | Flink → Kafka | --- |
| 4. AI 增强分析 | 提供原始文本/ 向量数据 | 执行 LLM_* 函数 + 向量检索 |
| 5. 结果输出 | --- | Doris 表 → Superset/Tableau/应用 |
✅ 典型场景：
- CMP 中存储千万级用户评论（Hive 表）；
- Doris 通过 Hive Catalog 直接访问，并批量执行：
Sql：
SELECT
id,
LLM_CLASSIFY(comment, '["投诉", "咨询", "表扬"]') AS category,
LLM_SENTIMENT(comment) AS sentiment,
LLM_SUMMARIZE(comment) AS summary
FROM CMP_hive_krb.default.user_comments;
- 结果可写回 Doris 表，供 BI 实时看板使用。
4. 向量数据融合（高级场景）
若 CMP 中已有 Embedding 向量（如通过 Spark MLlib 或自定义 UDF 生成）：
- 将向量列（ARRAY<FLOAT>）写入 Hive ORC/Parquet 表；
- Doris 通过 Hive Catalog 读取该表；
- 在 Doris 中创建 Duplicate Key 表 + 向量索引，实现高效 ANN 检索。
⚠️ 注意：Hive 不原生支持 ARRAY<FLOAT> 的高效向量操作，建议在 Spark 中预处理后写入 Doris 明细表以获得最佳性能。
三、安全与运维对齐（Kerberos 环境）
在 CMP Base 7.3.1 + Kerberos 环境下部署 Doris 4.0：
| 组件 | 配置要点 |
|---|---|
| 操作系统 | RHEL/CentOS 7/8，与 CMP 节点一致 |
| Kerberos 客户端 | 安装 krb5-workstation，复制 /etc/krb5.conf |
| Doris 主体 | 创建 doris/hostname@REALM，生成 keytab |
| Hive 访问 | 在 CREATE CATALOG 中指定 principal 和 keytab 路径 |
| 网络策略 | 开放 CMP ↔ Doris 节点间的 8030（FE）、9060（BE）、9020（BE RPC）等端口 |
四、为什么不推荐将 Doris 打包为 CMP Parcel ？
尽管技术上可手动制作 .parcel 包（见社区实验方案），但存在严重问题：
- ❌ Doris 4.0 的 LLM 函数依赖外部 HTTP 服务，CM 无法管理其生命周期；
- ❌ 向量索引需要特定 JVM 参数和内存配置，与 CDH/CMP 默认环境冲突；
- ❌ 无官方支持，升级维护困难；
- ❌ CMP Public Cloud 完全禁止自定义 Parcel。
✅ 推荐做法：独立部署 Doris，通过标准协议（JDBC/HTTP/Hive）与 CMP 交互。
五、总结：融合价值
| 能力 | CMP 7 | Doris 4.0 | 融合后价值 |
|---|---|---|---|
| 数据湖存储 | ✅ HDFS/S3 | ❌ | 统一可信数据源 |
| 批流计算 | ✅ Spark/Flink | ❌ | 复杂 ETL 与特征工程 |
| 实时分析 | ⚠️ Impala/Kudu 延迟高 | ✅ MPP + 列存 | 亚秒级响应 |
| AI 原生能力 | ❌ 需外接 Python/MLflow | ✅ LLM 函数 + 向量索引 | SQL 内完成智能分析 |
| 安全治理 | ✅ Ranger/Kerberos/Atlas | ⚠️ 基础 RBAC | 元数据血缘贯通（需手动映射） |
🎯 最终目标 ：
CMP 做" 数据底座" ，Doris 4.0 做"AI 分析引擎"，二者通过开放协议协同，构建企业级智能数据平台。