spark sql 环境安装,java 默认路径和 安装配置!

yum安装java 查看默认路径

update-alternatives --config java

复制代码
# Java 环境变量 

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64/jre

export PATH=$JAVA_HOME/bin:$PATH

# Spark 环境变量 

export SPARK_HOME=/home/vagrant/soft/spark

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

编辑 .bashrc 文件 source

测试使用

文本获取

json获取

参考

Spark Shell | Spark 编程指南简体中文版

Spark基础实验五------Spark SQL编程初级实践 - 伽澄 - 博客园

相关推荐
依年南台4 分钟前
安装Hadoop并运行WordCount程序
大数据·hadoop
TDengine (老段)19 分钟前
基于 TSBS 标准数据集下 TimescaleDB、InfluxDB 与 TDengine 性能对比测试报告
java·大数据·开发语言·数据库·时序数据库·tdengine·iotdb
TDengine (老段)22 分钟前
TDengine 在金融领域的应用
大数据·数据库·物联网·金融·时序数据库·tdengine·涛思数据
懒惰的橘猫1 小时前
RDD-自定义分区器案例
大数据
rylshe13141 小时前
spark sql基本操作
sql·spark
zandy10111 小时前
高并发场景下的BI架构设计:衡石分布式查询引擎与缓存分级策略
分布式·缓存·高并发架构·弹性扩展·分布式查询·缓存分级·mpp引擎
富能量爆棚2 小时前
Spark缓存-cache
大数据·spark
依年南台2 小时前
Spark处理过程-案例数据清洗
大数据·hadoop
猪猪果泡酒2 小时前
Spark,RDD中的转换算子
大数据·分布式·spark
TDengine (老段)2 小时前
TDengine 做为 Spark 数据源
大数据·数据库·物联网·ajax·spark·时序数据库·tdengine