【SparkML系列2】DataSource读取图片数据

DataSource(数据源)

在本节中,我们将介绍如何在机器学习中使用数据源加载数据。除了一些通用的数据源,如 Parquet、CSV、JSON 和 JDBC 外,我们还提供了一些专门用于机器学习的数据源。

###Image data source(图像数据源)

该图像数据源用于从目录加载图像文件,它可以通过 Java 库中的 ImageIO 加载压缩图像(jpeg、png 等)到原始图像表示。加载的 DataFrame 有一个 StructType 列:"image",包含存储为图像模式的图像数据。图像列的模式是:

origin:StringType(表示图像的文件路径)

height:IntegerType(图像的高度)

width:IntegerType(图像的宽度)

nChannels:IntegerType(图像通道的数量)

mode:IntegerType(与 OpenCV 兼容的类型)

data:BinaryType(以 OpenCV 兼容的顺序排列的图像字节:在大多数情况下为逐行 BGR)

scala 复制代码
import org.apache.spark.sql.SparkSession

/**
 * @description TODO
 * @date 2024/1/31 15:30
 * @author by fangwen1
 */
object ImageDataSource {

  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder
      .master("local[*]")
      .appName("ImageDataSource")
      .getOrCreate()
    //.format("image") 告诉 Spark 读取器数据是以图像格式存储的,而 .option("dropInvalid", true) 设置了一个选项,指示读取器在加载过程中丢弃任何无效的图像文件。
    val df = spark.read.format("image").option("dropInvalid", true).load("data/mllib/images/origin/kittens")

    df.select("image.origin", "image.width", "image.height", "image.nChannels", "image.mode").show(truncate=false)


    //.format("libsvm") 告诉 Spark 读取器数据是以 LIBSVM 格式存储的,而 .option("numFeatures", "780") 设置了一个选项,指定特征向量的数量为 780。
    val df1 = spark.read.format("libsvm").option("numFeatures", "780").load("data/mllib/sample_libsvm_data.txt")
    df1.show()
  }
}
相关推荐
努力的搬砖人.12 天前
Spark相关面试题
java·面试·spark-ml·spark
一条测试老狗14 天前
【机器学习】使用Python Spark MLlib进行预测模型训练
spark-ml
eso19831 个月前
Spark MLlib使用流程简介
python·算法·spark-ml·推荐算法
程序猿阿伟3 个月前
《探索 Apache Spark MLlib 与 Java 结合的卓越之道》
java·spark-ml·apache
pblh1234 个月前
PySpark3.4.4_基于StreamingContext实现网络字节流中英文分词词频累加统计结果保存到数据库中
数据库·python·spark-ml·spark·中文分词
pblh1234 个月前
spark 3.4.4 利用Spark ML中的交叉验证、管道流实现鸢尾花分类预测案例选取最优模型
分类·数据挖掘·spark-ml
跟着大数据和AI去旅行7 个月前
Spark2.x 入门:高斯混合模型(GMM)聚类算法
算法·数据挖掘·spark-ml·聚类
跟着大数据和AI去旅行7 个月前
Spark2.x 入门: KMeans 聚类算法
机器学习·spark-ml·kmeans·聚类
跟着大数据和AI去旅行7 个月前
libsvm 数据格式简介
机器学习·spark-ml