pySpark乱码

1.现象

python的变量包含中文,用format放入SQL中时,出现乱码

2.原因

python2默认编码是ascii

3.解决办法

使用python3,并且把所有print,改成带括号的

4.在pyspark中加入参数

bash 复制代码
spark.pyspark.driver.python=/usr/bin/python3
spark.pyspark.python=/usr/bin/python3

5.使用用format放入SQL中时,非数字,一定要加单引号,例如:'{name}'

相关推荐
编程彩机2 小时前
互联网大厂Java面试:从分布式架构到大数据场景解析
java·大数据·微服务·spark·kafka·分布式事务·分布式架构
Moshow郑锴11 小时前
Spark在银行系统ETL中的实战应用:TXT文件到PostgreSQL的余额处理全流程
postgresql·spark·etl
petrel201512 小时前
【Spark 核心内参】2026.1:JIRA vs GitHub Issues 治理模式大讨论与 4.2.0 预览版首发
大数据·spark
petrel201513 小时前
【Spark 核心内参】2025.9:预览版常态化与数据类型的重构
大数据·spark
bigdata-rookie13 小时前
Spark shuffle 和 MapReduce shuffle 的区别
大数据·spark·mapreduce
B站计算机毕业设计超人13 小时前
计算机毕业设计hadoop+spark+hive在线教育可视化 课程推荐系统 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·人工智能·hive·hadoop·scrapy·spark·课程设计
B站计算机毕业设计超人13 小时前
计算机毕业设计PySpark+Hive+Django小红书评论情感分析 小红书笔记可视化 小红书舆情分析预测系统 大数据毕业设计(源码+LW+PPT+讲解)
大数据·人工智能·hive·爬虫·python·spark·课程设计
uesowys14 小时前
Apache Spark算法开发指导-Random forest classifier
算法·随机森林·spark
张小凡vip1 天前
数据挖掘(十)---python操作Spark常用命令
python·数据挖掘·spark
uesowys1 天前
Apache Spark算法开发指导-Decision tree classifier
算法·决策树·spark