pySpark乱码

1.现象

python的变量包含中文,用format放入SQL中时,出现乱码

2.原因

python2默认编码是ascii

3.解决办法

使用python3,并且把所有print,改成带括号的

4.在pyspark中加入参数

bash 复制代码
spark.pyspark.driver.python=/usr/bin/python3
spark.pyspark.python=/usr/bin/python3

5.使用用format放入SQL中时,非数字,一定要加单引号,例如:'{name}'

相关推荐
heiqizero1 小时前
Spark RDD转换算子02
spark
heiqizero21 小时前
Spark RDD转换算子01
spark
武子康4 天前
大数据-278 Spark MLib-GBDT梯度提升决策树详解:从原理到实战案例
大数据·后端·spark
武子康5 天前
大数据-277 Spark MLib-梯度提升树(GBDT)算法原理与工程实现指南
大数据·后端·spark
jerryinwuhan5 天前
Spark SQL 详细讲义
大数据·sql·spark
武子康6 天前
大数据-276 Spark MLib-深入理解Bagging与Boosting:集成学习核心算法对比与GBDT实战
大数据·后端·spark
weixin_307779136 天前
SparkPySetup:基于Python的Windows 11 PySpark环境自动化搭建工具
大数据·开发语言·python·spark
曾阿伦7 天前
Spark flatMapToPair算子卡顿优化
大数据·分布式·spark
阿里云大数据AI技术7 天前
阿里云 EMR Serverless Spark 发布 Agent Skill:让自然语言驱动 Spark 任务与资源管理
spark·agent
亚林瓜子7 天前
AWS Glue PySpark中日志设置
python·spark·日志·aws·pyspark·log·glue