Flink ML 数据类型:Vector 向量类型入门(DenseVector / SparseVector)

Flink ML 支持:

  1. Flink Table API 支持的全部类型

    例如:BOOLEAN / INT / BIGINT / DOUBLE / STRING / ARRAY / MAP / ROW / TIMESTAMP 等。

  2. Flink ML 在此基础上补充的类型

    最典型就是 Vector(向量),用于表示模型输入的特征。

2. Vector 是什么?

在 Flink ML 中,Vector 表示一个 double 数组形式的向量,并且有两个具体实现:

  • DenseVector(稠密向量)

    • 大部分维度都有值(或你希望用数组直接存储所有维度)
    • 适合维度不算特别高、或者特征不是很稀疏的场景
  • SparseVector(稀疏向量)

    • 只有少量维度有非零值
    • 适合高维稀疏特征(比如 one-hot、词袋、特征哈希等)

无论 Dense 还是 Sparse,Flink ML 的 Vector 都具备这些共同特点:

  • 向量在创建时就固定 size(维度)
  • 支持按 0-based 下标读取 / 设置某一维的 double 值
  • 都用于表达"特征列",常见列名是 features

3. Vectors 工具类:创建向量更方便

Flink ML 提供了 Vectors 工具类,用来快速构造 DenseVector / SparseVector。

4. Java 示例:构造 SparseVector

你给的示例含义是:

  • 向量维度 n = 4(即下标范围 0~3)
  • 只有下标 0,2,3 是非零维度
  • 对应值分别是 0.1, 0.3, 0.4
java 复制代码
int n = 4;
int[] indices = new int[] {0, 2, 3};
double[] values = new double[] {0.1, 0.3, 0.4};

SparseVector vector = Vectors.sparse(n, indices, values);

这等价于一个完整的 dense 表达:

text 复制代码
[0.1, 0.0, 0.3, 0.4]

5. 你在工程里什么时候用 Dense / Sparse?

用 DenseVector 的典型情况

  • 特征维度较小(比如几十维、几百维)
  • 大多数维度都有值(不稀疏)
  • 特征已经是数值型统计特征(pv/click/avg_duration 等)

用 SparseVector 的典型情况

  • 特征维度很高(几千、几万甚至更高)

  • 绝大多数维度都是 0(稀疏)

  • 常见于:

    • one-hot 编码后的离散特征
    • 文本特征(词袋/TF-IDF)
    • 特征哈希

6. 实用小提示:SparseVector 的注意事项

在构造稀疏向量时,建议保证:

  • indices.length == values.length
  • indices 取值范围必须在 [0, n-1]
  • indices 最好是严格递增且不重复(很多实现会假设这一点,或性能更好)
相关推荐
WL_Aurora27 分钟前
HDFS底层原理深度解析 | 读写流程、NameNode工作机制、DataNode心跳与数据完整性
大数据·hadoop·hdfs
面向Google编程2 小时前
从零学习Kafka:生产者压缩
大数据·kafka
workflower2 小时前
企业酝酿数智化内驱力
大数据·人工智能·设计模式·机器人·动态规划
Pushkin.2 小时前
新数仓建设方法论与实践指南-分层解耦驱动的数据仓库
大数据·数据仓库
Elastic 中国社区官方博客3 小时前
Elasticsearch:为 AI Agent builder 创建 skill plugin
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
Data_Journal3 小时前
2026年十大数据集网站
大数据·开发语言·数据库·人工智能·python
珠海西格电力3 小时前
如何实现零碳园区管理系统“云-边-端”架构的协同
大数据·数据库·人工智能·架构·能源
精益数智工坊3 小时前
拆解设备维护管理系统的工单功能,解决设备维护管理派单慢难题
大数据·运维·网络·人工智能·精益工程
CryptoPP3 小时前
解锁股票数据可视化新姿势:轻量级数据接口与动态图表实践
大数据·开发语言·人工智能·信息可视化·金融·区块链
BlockWay3 小时前
WEEX与西甲联赛达成2026赛季区域合作
大数据·人工智能