spark读取普通文件
txt文件
"""
将一行数据当做一个字段，需要自己切割 字段名称为value
表结构 可以从sql中搞
"""
df = spark.read.text("../../data/wordcount/input/data.txt")
df = spark.read.format("text").load("hdfs://shucang:9820/behavior/ads/ads_visit_type")
df.createOrReplaceTempView("wordcount")json文件
"""
读取json文件
直接就有表结构了
"""
df1 = spark.read.format("json").load("../../resources/person.json").show()
df2 = spark.read.json("../../resources/person.json").show()csv文件（固定分割符的文件）
"""
,分割符的文件 且含有表头
自动获取结构
"""
df = spark.read.format("csv").option("header",True).load("../../resources/homework1/3.txt")
"""
,分割符的文件 没有表头
获取结构的方式
"""
spark.read.csv("../../resources/homework1/3.txt")
"""
:: 分隔符的文件
"""
df = spark.read.format("csv").option("sep","::").load("../../resources/input/movies.dat")
总结：
spark.read.format("json").load(path)
spark.read.format("csv").load(path)
spark.read.format("parquet").load(path)
spark.read.json(path)
spark.read.csv(path)
spark.read.parquet(path)
这都是一样的创建表结构的方式
"""
按照"，" 自动分割 列名为 _c0 _c1 _c2
"""
# 修改列名
# 方式一：withColumnRenamed
df = spark.read.csv("../../resources/homework1/3.txt").withColumnRenamed("_c0","id") .withColumnRenamed("_c1","username").show()
# 方式二：toDF（"",""） 和将RDD转为DF有区别 不加[]
df = spark.read.csv("../../resources/homework1/3.txt").toDF("id","username","math","computer","english")
# 方式三：toDF的变种
tupleA = ("id","username","math","computer","english")
df = spark.read.csv("../../resources/homework1/3.txt").toDF(*tupleA)
# 方式四：这种和 rdd转为df的情况比较相似
user_schema = StructType([
StructField(name="emp_id", dataType=StringType(), nullable=False),
StructField(name="emp_name", dataType=StringType(), nullable=True),
StructField(name="salary", dataType=DoubleType(), nullable=True),
StructField(name="comm", dataType=DoubleType(), nullable=True),
StructField(name="dept_id", dataType=LongType(), nullable=True)
])
# 使用csv 读取了一个 \t 为分隔符的文件，读取的数据字段名很随意，所以可以自定义
df = spark.read.format("csv").option("sep","\t").load("../../datas/emp.tsv",schema=user_schema)
# 创建一个表
df.createOrReplaceTempView("t_name")