pySpark乱码

1.现象

python的变量包含中文,用format放入SQL中时,出现乱码

2.原因

python2默认编码是ascii

3.解决办法

使用python3,并且把所有print,改成带括号的

4.在pyspark中加入参数

bash 复制代码
spark.pyspark.driver.python=/usr/bin/python3
spark.pyspark.python=/usr/bin/python3

5.使用用format放入SQL中时,非数字,一定要加单引号,例如:'{name}'

相关推荐
Y1nhl12 小时前
Pyspark学习一:概述
数据库·人工智能·深度学习·学习·spark·pyspark·大数据技术
chat2tomorrow2 天前
数据仓库是什么?数据仓库的前世今生 (数据仓库系列一)
大数据·数据库·数据仓库·低代码·华为·spark·sql2api
SmartManWind2 天前
YARN Container与Spark Executor参数优先级详解
大数据·javascript·spark
Freedom℡2 天前
hadoop 集群的常用命令
spark
猪猪果泡酒2 天前
Spark,hadoop的组成
spark
今天我又学废了2 天前
Spark,配置hadoop集群1
大数据·hadoop·spark
Lansonli3 天前
大数据Spark(五十六):Spark生态模块与运行模式
大数据·分布式·spark
hf2000123 天前
技术深度报道:解析云器Lakehouse如何实现超越Spark 10倍性能提升
大数据·分布式·spark
Arbori_262153 天前
Spark 程序的本地模式和集群模式
大数据·分布式·spark
viperrrrrrrrrr74 天前
大数据学习(92)-spark详解
大数据·学习·spark