技术栈

pySpark乱码

青云游子2024-11-14 11:59

1.现象

python的变量包含中文,用format放入SQL中时,出现乱码

2.原因

python2默认编码是ascii

3.解决办法

使用python3,并且把所有print,改成带括号的

4.在pyspark中加入参数

bash 复制代码
spark.pyspark.driver.python=/usr/bin/python3
spark.pyspark.python=/usr/bin/python3

5.使用用format放入SQL中时,非数字,一定要加单引号,例如:'{name}'

上一篇:TortoiseSVN提示服务器凭证检核错误:站点名称不符
下一篇:软间隔支持向量机
相关推荐
L耀早睡
7 小时前
mapreduce打包运行
大数据·前端·spark·mapreduce
元633
9 小时前
Spark处理过程-案例数据清洗
spark
睎zyl
19 小时前
Spark自定义分区器-基础
大数据·分布式·spark
元633
20 小时前
搭建spark-local模式
大数据·spark
元633
1 天前
运行Spark程序-在shell中运行
spark
炒空心菜菜
1 天前
MapReduce 实现 WordCount
java·开发语言·ide·后端·spark·eclipse·mapreduce
lqlj2233
1 天前
Spark SQL 读取 CSV 文件,并将数据写入 MySQL 数据库
数据库·sql·spark
漂流瓶666666
1 天前
运行Spark程序-在shell中运行 --SparkConf 和 SparkContext
大数据·分布式·spark
lqlj2233
1 天前
RDD案例数据清洗
大数据·分布式·spark
心仪悦悦
1 天前
RDD的自定义分区器
大数据·分布式·spark
热门推荐
01KGG转MP3工具|非KGM文件|解密音频02YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】03从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑04【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高,一键全文降!文件格式不变,公式都保留的!05DeepSeek各版本说明与优缺点分析06Coze扣子平台完整体验和实践(附国内和国际版对比)07Ubuntu24.04安装中文输入法08YOLOv5改进 | 添加CA注意力机制 + 增加预测层 + 更换损失函数之GIoU09苍穹外卖面试总结10组基轨迹建模 GBTM的介绍与实现(Stata 或 R)