网易数帆EasyData使用Cloudera CDP、CMP(华为鲲鹏版)作为底座的AI功能操作步骤

网易数帆 EasyData 针对 Cloudera CDP 或华为 CMP （Cloud Data AI Platform ，类 CDP 的鲲鹏 ARM 版）的" 一键式 AI 功能集成" 标准操作流程 。但基于其 通用 JDBC/ODBC 数据源接入能力 + 内置 AI 引擎（如 NL2SQL 、智能建模、预测分析） ，可通过定制化配置实现以 CDP/CMP 为底座的 AI 增强型 BI 分析。

以下为可落地的操作步骤指南，适用于企业级混合架构场景（如：数据存于 CDP/CMP，AI 分析由 EasyData 提供）：

✅ 一、整体架构目标

核心原则 ：CDP/CMP 仅作为 高性能数据存储与计算引擎，所有 AI 逻辑由 EasyData 执行（或调用其内置 Spark ML 引擎）。

✅ 二、前置条件检查

项目	要求
CDP / CMP 状态	- 已启用 Impala 或 HiveServer2 - 开放 JDBC 端口（Impala: 21050, Hive: 10000 ） - 允许外部 IP 访问（或打通网络策略）
认证方式	- 无 Kerberos ：直接用户名/密码 - 有 Kerberos：需在 EasyData 服务器配置 krb5.conf + keytab（见下文）
EasyData 版本	≥ v3.5（2025年后版本，支持 ARM64 及外部数据源 AI 建模）
驱动文件	- Impala：ImpalaJDBC42.jar - Hive：hive-jdbc-standalone.jar

✅ 三、详细操作步骤

▶ 步骤 1 ：在 EasyData 中注册 CDP/CMP 为外部数据源

登录 EasyData 管理后台 → 进入「数据源管理」；
点击「新增数据源」→ 选择类型：
- 若使用 Impala ：选 "其他数据库 → 通用 JDBC"；
- 若使用 Hive ：选 "Hive"（推荐，兼容性更好）；
填写连接信息：

🔹 示例（Cloudera CDP / 华为 CMP Impala ）：

驱动类名： com.cloudera.impala.jdbc42.Driver

JDBC URL ： jdbc:impala://<impala-coordinator-host>:21050/default;AuthMech=3;UID=hive;PWD=

用户名： hive （或指定账号）

密码：（按实际填写，若为空则留空）

🔹 示例（Kerberos 认证，CDP 启用安全模式）：

⚠️ EasyData 需部署在 Linux 服务器，并提前配置：

/etc/krb5.conf 已配置 KDC

/opt/finebi/finebi.keytab 存在

在 EasyData 数据源界面：

认证方式：Kerberos
Principal：finebi@YOUR-REALM.COM
上传 krb5.conf 和 finebi.keytab

点击「测试连接」→ 成功后保存。

▶ 步骤 2 ：同步元数据并创建逻辑表

在数据源详情页 → 点击「同步表结构」；
选择业务库（如 ods_sales, dwd_user）；
为字段添加中文别名 和业务口径说明（提升 ChatBI 准确率）；
将表加入「数据资产目录」。

▶ 步骤 3 ：启用 AI 功能（关键步骤）

🌟 场景 1 ：ChatBI （自然语言问数）

进入「智能问答」模块；
选择已注册的 CDP/CMP 数据源；
用户输入："上月销售额最高的省份是？"
EasyData 自动：
- 调用 NL2SQL 引擎（基于垂类大模型）；
- 生成标准 SQL（适配 Impala/Hive 语法）；
- 通过 JDBC 下推至 CDP/CMP 执行；
- 返回结果并自动生成图表 + 解读。

💡 优化建议：在「语义模型」中预定义"时间维度"、"地域层级"，提升意图识别准确率。

🌟 场景 2 ：AI 预测分析（如销量预测）

创建「自助数据集」→ 关联 CDP/CMP 表；
拖入时间字段（如 order_date）和指标（如 sales_amount）；
点击「AI 建模」→ 选择「时序预测」；
EasyData 自动执行以下操作 ：
- 从 CDP/CMP 抽取历史数据到本地 Spark 引擎；
- 自动特征工程（滑动窗口、节假日标记等）；
- 训练 Prophet / LSTM 模型；
- 输出未来 30 天预测值；
结果可嵌入仪表板，支持动态刷新。

⚠️ 注意：训练过程不发生在 CDP/CMP 上，而是在 EasyData 自带的计算节点（需预留 CPU/内存资源）。

🌟 场景 3 ：自动异常检测

在指标卡上开启「智能预警」；
EasyData 定期查询 CDP/CMP 最新数据；
使用统计模型（如 3σ、EWMA）检测突增/突降；
通过钉钉/邮件告警。

✅ 四、华为 CMP （鲲鹏 ARM 版）特殊注意事项

问题	解决方案
JDBC 驱动兼容性	使用 Cloudera 官方 ARM64 版 Impala JDBC 或华为 MRS 提供的 hive-jdbc-standalone.jar
EasyData 架构支持	确保部署 EasyData ARM64 版本（网易数帆 2025Q4 起提供）
性能调优	在 CMP 中为 BI 查询分配独立 YARN 队列，避免与批处理任务争抢资源
中文编码	设置 JDBC URL 参数：;charset=UTF-8

✅ 五、验证与排错清单

现象	排查点
连接失败	- 网络通不通？telnet host 21050 - 主机名能否解析？检查 /etc/hosts
查询超时	- CDP/CMP 资源不足？查看 Impala Query Profile - SQL 是否含 SELECT *？建议只查必要字段
ChatBI 误解问题	- 字段是否标注中文别名？ - 是否在语义模型中定义了业务术语？
Kerberos 失败	- 时间同步？ntpdate kdc-server - keytab 权限？chmod 600 finebi.keytab

✅ 六、总结：是否推荐？

推荐用于以下场景：

企业已投资 CDP/CMP，不愿迁移数据；
需要 国产化、私有化 ChatBI + AI 分析；
IT 团队具备 JDBC 配置与 Kerberos 调试能力。