pySpark乱码

1.现象

python的变量包含中文,用format放入SQL中时,出现乱码

2.原因

python2默认编码是ascii

3.解决办法

使用python3,并且把所有print,改成带括号的

4.在pyspark中加入参数

bash 复制代码
spark.pyspark.driver.python=/usr/bin/python3
spark.pyspark.python=/usr/bin/python3

5.使用用format放入SQL中时,非数字,一定要加单引号,例如:'{name}'

相关推荐
talen_hx29620 小时前
《零基础入门Spark》学习笔记 Day 13
笔记·学习·spark
zml.~1 天前
基于 Spark 的新能源汽车大数据分析全流程实践
数据分析·spark·汽车
zml.~1 天前
Spark 数据分析:从核心原理到企业级实战全解析
大数据·数据挖掘·数据分析·spark
zml.~1 天前
大数据分析实战:基于 Spark 的新能源汽车全链路数据分析指南
大数据·数据分析·spark·汽车
talen_hx2962 天前
《零基础入门Spark》学习笔记 Day 12
笔记·学习·spark
橘子编程3 天前
Spark全栈指南:从入门到精通
大数据·分布式·spark
zxfBdd3 天前
Spark Map算子异常处理方法
大数据·分布式·spark
talen_hx2967 天前
《零基础入门Spark》学习笔记 Day 11
笔记·学习·spark
howard20058 天前
2.2.2.2 使用Spark单机版环境
spark·单机版环境
howard20058 天前
2.2.2.3 Spark实战:词频统计
spark·pyspark·词频统计·spark-shell