技术栈

pySpark乱码

青云游子2024-11-14 11:59

1.现象

python的变量包含中文,用format放入SQL中时,出现乱码

2.原因

python2默认编码是ascii

3.解决办法

使用python3,并且把所有print,改成带括号的

4.在pyspark中加入参数

bash 复制代码
spark.pyspark.driver.python=/usr/bin/python3
spark.pyspark.python=/usr/bin/python3

5.使用用format放入SQL中时,非数字,一定要加单引号,例如:'{name}'

上一篇:TortoiseSVN提示服务器凭证检核错误:站点名称不符
下一篇:软间隔支持向量机
相关推荐
簌簌曌
1 小时前
CentOS7 + JDK8 虚拟机安装与 Hadoop + Spark 集群搭建实践
大数据·hadoop·spark
Theodore_1022
3 小时前
大数据(1) 大数据概述
大数据·hadoop·数据分析·spark·hbase
Aurora_NeAr
3 小时前
Apache Spark详解
大数据·后端·spark
qq_40841339
1 天前
spark 执行 hive sql数据丢失
hive·sql·spark
后端码匠
1 天前
Spark 单机模式部署与启动
大数据·分布式·spark
qq_46394486
1 天前
【Spark征服之路-2.3-Spark运行架构】
大数据·架构·spark
yt94832
2 天前
如何在IDE中通过Spark操作Hive
ide·hive·spark
不吃饭的猪
2 天前
记一次spark在docker本地启动报错
大数据·docker·spark
Leo.yuan
2 天前
实时数据仓库是什么?数据仓库设计怎么做?
大数据·数据库·数据仓库·数据分析·spark
£菜鸟也有梦
2 天前
从0到1,带你走进Flink的世界
大数据·hadoop·flink·spark
热门推荐
01海康Visionmaster-常见问题排查方法-启动阶段02KGG转MP3工具|非KGM文件|解密音频03YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】04Coze扣子平台完整体验和实践(附国内和国际版对比)05从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑06【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高,一键全文降!文件格式不变,公式都保留的!07CCF CSP 认证考试历年真题满分题解(所有前四题)08DeepSeek各版本说明与优缺点分析09VMware虚拟机安装Win7专业版保姆级教程(附镜像包)10【图像处理与机器视觉】XJTU期末考点