【深度学习 | 输入数据】张量

Tensor

    • 在喂给模型前,必须将输入数据转为`NumPy数组`!
      • [为什么喂给深度学习框架的数据集,在最后一步必须转为 np.array(NumPy数组)?](#为什么喂给深度学习框架的数据集,在最后一步必须转为 np.array(NumPy数组)?)
      • [:"Python 中使用 list 列表来表示数组的" ------ 这句话在科学计算的语境下是错误的。](#:“Python 中使用 list 列表来表示数组的” —— 这句话在科学计算的语境下是错误的。)
      • [数据 | 数据类型流转全流程解析(从 DataFrame 到最终模型输入)](#数据 | 数据类型流转全流程解析(从 DataFrame 到最终模型输入))
  • ============
    • [最终生成的特征数据 X 的形状是 (样本数, 时间步长, 特征数)shape,我们怎么推理/晓得的?](#最终生成的特征数据 X 的形状是 (样本数, 时间步长, 特征数)shape,我们怎么推理/晓得的?)

在喂给模型前,必须将输入数据转为NumPy数组!

为什么喂给深度学习框架的数据集,在最后一步必须转为 np.array(NumPy数组)?

  1. 框架
  2. 内存 计算
  3. 维度属性

:"Python 中使用 list 列表来表示数组的" ------ 这句话在科学计算的语境下是错误的。

  • \[\] 定义的是 列表(List) 动态增删,且什么都能装
  • () 定义的是 元组(Tuple) 它是不可变的(只读)

在这里插入图片描述

总结区分:在整个预处理代码中,list(列表)扮演的是**"临时收集用的塑料袋",而 NumPy Array 扮演的是"最终送入产线的标准集装箱"**。

数据 | 数据类型流转全流程解析(从 DataFrame 到最终模型输入)

数据类型流转全流程解析(从 DataFrame 到最终模型输入)

  1. 最初数据读取:df = pd.read_csv(...) 二维表

二维表。适合看,适合数据筛选,不能做矩阵计算。

  1. 读取后提取特征**&临时**收集数据记录 列表

seqs = \[\] # 或者写成 seqs = list()

for col in cols:

seq = dfcol.values.reshape(-1, 1)

seqs.append(seq)
列表

dfcol.values,此时我们是纯粹提取数值,我们不需要多数值也不能对数值(记录中的任何数据)做修改,且list列表恰好有这个特性(只可读性)。而且,Python 的 List 的 .append() 方法执行速度极快

总之,在中间处理数据时,用list列表做好不过了

  1. 压制成完整大矩阵 dataset = np.hstack((seqs)) 当前类型:NumPy 2D Array(完整的二维大矩阵)。

收集工作结束了。我们把装满 9 个独立列向量的"塑料袋(List)"倒出来,用 np.hstack 将它们横向焊死成一个完整、连续的矩阵内存块。此时数据不再是零散的了。

  1. 最终数据处理结束后,输入到模型前需要保存成/定型为return np.array(X), np.array(y) 当前类型:NumPy 3D Array (X) 和 NumPy 1D/2D Array (y)。

整个流程的底层逻辑是:"需要频繁动态增加元素时,使用 Python List (\[\] 或 list());需要执行数学组合操作或最终交付给模型时,转化为 NumPy Array。"

复制代码
数据的类型确实在**随着处理目的的不同而不断切换**。

============

最终生成的特征数据 X 的形状是 (样本数, 时间步长, 特征数)shape,我们怎么推理/晓得的?

  • 特征数: 所有列?
相关推荐
Elastic 中国社区官方博客5 小时前
搜索倍增器:推动收入、生产力和 AI 实现规模化
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
wjkjpcba5 小时前
机器人控制板PCBA怎么加工?从SMT贴片到BGA焊接解析机器人电子制造工艺
大数据·人工智能
青 春 记 忆5 小时前
Dify Docker Compose 通用无损升级指南:从备份、双版本预演到切换与回滚
运维·人工智能·python·docker·容器
小猪妈咪爱学法5 小时前
欧盟最新发布《AI数字综合法案(Digital Omnibus‑on‑AI,AI综合修订法案)
人工智能·网络安全
ZGIAI5 小时前
ZGI Workflow 变量池:接住节点输出
人工智能·架构
梵构广告5 小时前
提升品牌识别度有哪些方法?
人工智能
ZGIAI5 小时前
ZGI 记忆隔离:多人共用不串号
人工智能·架构
星栈独行6 小时前
决定 Agent 交付下限的「操作系统」:Harness 六层架构拆解
人工智能·架构
AKAMAI7 小时前
实时可观测性:Akamai Cloud Pulse 警报功能正式发布
人工智能·云计算
Capricorn19887 小时前
解决全网抄 Karpathy 导致的 LLM Wiki 污染?基于知芽 Notebook Skill 的 raw/ 笔记法排障指南
大数据·论文阅读·人工智能·笔记·论文笔记