pySpark乱码

1.现象

python的变量包含中文,用format放入SQL中时,出现乱码

2.原因

python2默认编码是ascii

3.解决办法

使用python3,并且把所有print,改成带括号的

4.在pyspark中加入参数

bash 复制代码
spark.pyspark.driver.python=/usr/bin/python3
spark.pyspark.python=/usr/bin/python3

5.使用用format放入SQL中时,非数字,一定要加单引号,例如:'{name}'

相关推荐
得物技术5 天前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
肌肉娃子8 天前
20260227.spark.Spark 性能刺客:千万别在 for 循环里写 withColumn
spark
B站计算机毕业设计超人9 天前
计算机毕业设计Django+Vue.js音乐推荐系统 音乐可视化 大数据毕业设计 (源码+文档+PPT+讲解)
大数据·vue.js·hadoop·python·spark·django·课程设计
十月南城9 天前
数据湖技术对比——Iceberg、Hudi、Delta的表格格式与维护策略
大数据·数据库·数据仓库·hive·hadoop·spark
Asher050910 天前
Spark核心基础与架构全解析
大数据·架构·spark
FYKJ_201013 天前
springboot大学校园论坛管理系统--附源码42669
java·javascript·spring boot·python·spark·django·php
鸿乃江边鸟16 天前
Spark Datafusion Comet 向量化Rust Native--Native算子ScanExec以及涉及到的Selection Vectors
大数据·rust·spark·arrow
派可数据BI可视化16 天前
一文读懂系列:数据仓库为什么分层,分几层?数仓建模方法有哪些
大数据·数据仓库·信息可视化·spark·商业智能bi
码字的字节16 天前
锚点模型:数据仓库中的高度可扩展建模技术详解
大数据·数据仓库·spark