spark内置数据类型

在用scala编写spark的时候,假如我现在需要将我spark读的数据源的字段,做一个类型转换,因

为需求中要拼接出sql的create table语句,需要每个字段的sql中的类型,那么就需要去和sparksql

中的内置数据类型去比对。

写spark的时候,创建df后用schema算子得到了structField类,查看了源码以后,发现

这个样例类的三个参数:name、dataType、nullable、(metadata)

发现第二个参数是这个包下的

于是查阅资料 发现一共有这些参数:

复制代码
整数类型:

IntegerType 或 IntType: 32 位有符号整数。
LongType: 64 位有符号整数。
ShortType: 16 位有符号整数。
ByteType: 8 位有符号整数。
浮点数类型:

FloatType: 单精度浮点数。
DoubleType: 双精度浮点数。
十进制类型:

DecimalType: 固定精度和固定规模的十进制数。
布尔类型:

BooleanType: 用于表示布尔值(true 或 false)。
字符串类型:

StringType: 用于表示字符串。
二进制类型:

BinaryType: 用于表示二进制数据。
日期和时间类型:

DateType: 用于表示日期。
TimestampType: 用于表示日期和时间。
数组类型:

ArrayType: 用于表示数组。
映射类型:

MapType: 用于表示键值对的映射。
结构类型:

StructType: 用于表示结构化的数据,可以包含多个字段。
空类型:

NullType: 用于表示空值。

这些数据类型都属于 org.apache.spark.sql.types 包,并在 Spark SQL 中提供用于构建 DataFrame 模式的工具。在创建 DataFrame 时,你可以使用这些数据类型来定义每列的数据类型。例如:

复制代码
import org.apache.spark.sql.types._

val schema = StructType(Seq(
  StructField("name", StringType, true),
  StructField("age", IntegerType, false),
  StructField("salary", DoubleType, true)
))

val df = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema)
相关推荐
数字新视界12 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术13 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
武子康15 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
软件技术NINI16 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
wuyk55519 小时前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
墨林陌20 小时前
AI 热点日报(2026-11-16):黄仁勋或重返英伟达,华为发具身世界模型,ChatGPT Wallet打通支付
大数据
starzy199020 小时前
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表
大数据·spark
wuyk55521 小时前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
筑梦之人21 小时前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
筑梦之人21 小时前
Elasticsearch 9.x 从入门到精通(4/7):聚合分析与文本分析
大数据·elasticsearch·jenkins