spark读取普通文件

spark读取普通文件

txt文件

"""
将一行数据当做一个字段，需要自己切割 字段名称为value
表结构 可以从sql中搞
"""
df = spark.read.text("../../data/wordcount/input/data.txt")
df = spark.read.format("text").load("hdfs://shucang:9820/behavior/ads/ads_visit_type")

df.createOrReplaceTempView("wordcount")

json文件

"""
读取json文件
直接就有表结构了
"""

df1 = spark.read.format("json").load("../../resources/person.json").show()
df2 = spark.read.json("../../resources/person.json").show()

csv文件（固定分割符的文件）

"""
,分割符的文件 且含有表头
自动获取结构
"""
df = spark.read.format("csv").option("header",True).load("../../resources/homework1/3.txt")
"""
,分割符的文件 没有表头
获取结构的方式
"""
spark.read.csv("../../resources/homework1/3.txt")

"""
:: 分隔符的文件
"""
df = spark.read.format("csv").option("sep","::").load("../../resources/input/movies.dat")

总结：
spark.read.format("json").load(path)
spark.read.format("csv").load(path)
spark.read.format("parquet").load(path)

spark.read.json(path)
spark.read.csv(path)
spark.read.parquet(path)

这都是一样的

创建表结构的方式

"""
按照"，" 自动分割 列名为 _c0 _c1 _c2 
"""
    # 修改列名
    # 方式一：withColumnRenamed
df = spark.read.csv("../../resources/homework1/3.txt").withColumnRenamed("_c0","id") .withColumnRenamed("_c1","username").show()
    # 方式二：toDF（"",""） 和将RDD转为DF有区别 不加[]
df = spark.read.csv("../../resources/homework1/3.txt").toDF("id","username","math","computer","english")
    # 方式三：toDF的变种
    tupleA = ("id","username","math","computer","english")
df = spark.read.csv("../../resources/homework1/3.txt").toDF(*tupleA)
    # 方式四：这种和 rdd转为df的情况比较相似
    user_schema = StructType([
          StructField(name="emp_id", dataType=StringType(), nullable=False),
          StructField(name="emp_name", dataType=StringType(), nullable=True),
          StructField(name="salary", dataType=DoubleType(), nullable=True),
          StructField(name="comm", dataType=DoubleType(), nullable=True),
          StructField(name="dept_id", dataType=LongType(), nullable=True)
        ])
      # 使用csv 读取了一个 \t 为分隔符的文件，读取的数据字段名很随意，所以可以自定义
df = spark.read.format("csv").option("sep","\t").load("../../datas/emp.tsv",schema=user_schema)
    

# 创建一个表
df.createOrReplaceTempView("t_name")