Flink ML 数据类型:Vector 向量类型入门(DenseVector / SparseVector)

Flink ML 支持:

  1. Flink Table API 支持的全部类型

    例如:BOOLEAN / INT / BIGINT / DOUBLE / STRING / ARRAY / MAP / ROW / TIMESTAMP 等。

  2. Flink ML 在此基础上补充的类型

    最典型就是 Vector(向量),用于表示模型输入的特征。

2. Vector 是什么?

在 Flink ML 中,Vector 表示一个 double 数组形式的向量,并且有两个具体实现:

  • DenseVector(稠密向量)

    • 大部分维度都有值(或你希望用数组直接存储所有维度)
    • 适合维度不算特别高、或者特征不是很稀疏的场景
  • SparseVector(稀疏向量)

    • 只有少量维度有非零值
    • 适合高维稀疏特征(比如 one-hot、词袋、特征哈希等)

无论 Dense 还是 Sparse,Flink ML 的 Vector 都具备这些共同特点:

  • 向量在创建时就固定 size(维度)
  • 支持按 0-based 下标读取 / 设置某一维的 double 值
  • 都用于表达"特征列",常见列名是 features

3. Vectors 工具类:创建向量更方便

Flink ML 提供了 Vectors 工具类,用来快速构造 DenseVector / SparseVector。

4. Java 示例:构造 SparseVector

你给的示例含义是:

  • 向量维度 n = 4(即下标范围 0~3)
  • 只有下标 0,2,3 是非零维度
  • 对应值分别是 0.1, 0.3, 0.4
java 复制代码
int n = 4;
int[] indices = new int[] {0, 2, 3};
double[] values = new double[] {0.1, 0.3, 0.4};

SparseVector vector = Vectors.sparse(n, indices, values);

这等价于一个完整的 dense 表达:

text 复制代码
[0.1, 0.0, 0.3, 0.4]

5. 你在工程里什么时候用 Dense / Sparse?

用 DenseVector 的典型情况

  • 特征维度较小(比如几十维、几百维)
  • 大多数维度都有值(不稀疏)
  • 特征已经是数值型统计特征(pv/click/avg_duration 等)

用 SparseVector 的典型情况

  • 特征维度很高(几千、几万甚至更高)

  • 绝大多数维度都是 0(稀疏)

  • 常见于:

    • one-hot 编码后的离散特征
    • 文本特征(词袋/TF-IDF)
    • 特征哈希

6. 实用小提示:SparseVector 的注意事项

在构造稀疏向量时,建议保证:

  • indices.length == values.length
  • indices 取值范围必须在 [0, n-1]
  • indices 最好是严格递增且不重复(很多实现会假设这一点,或性能更好)
相关推荐
SelectDB1 天前
秒级弹性、最高降本 70%:SelectDB Serverless 如何重塑云数仓资源效率
大数据·后端·云原生
WhoAmI1 天前
MapReduce框架原理解析一:InputFormat
大数据·hadoop
WhoAmI1 天前
MapReduce框架原理解析三:OutputFormat
大数据·hadoop
WhoAmI1 天前
MapReduce框架原理解析二:Shuffle
大数据·hadoop
大大大大晴天2 天前
Hudi技术内幕:Key Generation原理与实践
大数据
得物技术5 天前
从埋点需求到规则资产:Hermes Agent 重构得物数仓工作流
大数据·llm·ai编程
久美子5 天前
AI驱动数仓建设的Harness工程实践——本体建模、知识分层与上下文工程
大数据
大树886 天前
金刚石散热越强,管路越先见顶
大数据·运维·服务器·人工智能·ai
大志哥1236 天前
ES和Logstash日志链路系统上线后遭遇切片爆炸(解决)
大数据·elasticsearch
果丁智能6 天前
物联网智能锁赋能集中式住宿:身份核验与远程权限管控的全链路技术实践
大数据·人工智能·物联网·智能家居