superset连接Apache Spark SQL(hive)过程中的各种报错解决

superset连接数据库官方文档:Installing Database Drivers | Superset

我们用的是Apache Spark SQL,所以首先需要安装下pyhive

bash 复制代码
#命令既下载了pyhive也下载了它所依赖的其他安装包
pip install pyhive

#多个命令也可下载
pip install sasl
pip install thrift
pip install thrift-sasl
pip install pyhs2

Apache Spark SQL连接的格式

python 复制代码
hive://hive@{hostname}:{port}/{database}

安装包下载完成,可以测试是否可以连接hive了。

问题1:Could not load database driver: SparkEngineSpec

因为驱动不匹配导致的,返回重新下载依赖包

问题2:无法连接数据库下面的信息

连接数据库的时候一直报无法连接数据库下面的信息,所以我们此时应该重启superset或者关掉superset、关闭hadoop集群,再开启hadoop、superset、登录superset即可。

**问题3:**连接hive,使用superset进行可视化,一旦超过一分钟,直接可视化报错

需要找到并修改config.py文件。我的config.py文件的路径是:

bash 复制代码
/opt/module/miniconda3/envs/superset/lib/python3.9/site-packages/superset

问题4: 连接SparkSQL时报错,根据官方提示安装pyhive也没用

bash 复制代码
pip install pyhs2

**问题5:**数据库连接成功,添加数据库表选择下拉数据库表无法获取

Apache Spark SQL数据结构决定的,无法直接像其他数据库一样查出表,需要手动查表添加,点击SQL Lab,手动查表保存

按以下步骤

再点击保存

返回Datasets就能看到表了

今天就介绍到这里啦!希望能帮大家避坑!欢迎在评论区交流。如果文章对你有所帮助,**❤️关注+点赞❤️鼓励一下!**博主会持续更新。。。。

我的博客:前端小阳仔_Html,CSS,JavaScript,Vue,React,Angular领域博主

往期回顾

css实现元素居中的6种方法

Angular8升级至Angular13遇到的问题

前端vscode必备插件(强烈推荐)

Webpack性能优化

vite构建如何兼容低版本浏览器

前端性能优化9大策略(面试一网打尽)!

vue3.x使用prerender-spa-plugin预渲染达到SEO优化

vite构建打包性能优化

vue3.x使用prerender-spa-plugin预渲染达到SEO优化

ES6实用的技巧和方法有哪些?

css超出部分显示省略号

vue3使用i18n 实现国际化

vue3中使用prismjs或者highlight.js实现代码高亮

什么是 XSS 攻击?什么是 CSRF?什么是点击劫持?如何防御

相关推荐
程序员阿鹏1 小时前
为什么MySQL InnoDB选择B+树?
数据结构·数据库·b树·sql·mysql·算法·缓存
瀚高PG实验室2 小时前
使用pg_stat_statements抓取数据库TOP SQL
数据库·sql·postgresql·瀚高数据库
企业数字化笔记4 小时前
固定资产财务账与实物账怎么对账?折旧快照、差异检测与SQL核对
android·数据库·sql
IT毕设梦工厂5 小时前
计算机毕业设计选题推荐:基于大数据的印度上市公司财务指标数据可视化分析|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·python·信息可视化·spark·课程设计·大数据毕设项目
TDengine (老段)10 小时前
TDgpt 使用 — 部署、SQL、算法
大数据·数据库·sql·算法·时序数据库·tdengine·涛思数据
BYSJMG12 小时前
计算机毕业设计选题推荐:基于大数据的水质多指标关联分析与可视化的设计与实现,Spark 加 K-Means 做水质分群
大数据·hadoop·信息可视化·数据分析·spark·kmeans·课程设计
2501_9336707912 小时前
内部审计校招的数据化趋势:SQL、Excel、Power BI和证书选择
数据库·sql·excel
计算机源码社13 小时前
【大数据项目实战】基于Python数据挖掘的新能源车充电行为关联风险分析研究-基于Hadoop+Spark的电动汽车故障多维数据可视化
大数据·hadoop·python·数据挖掘·spark·毕业设计·课程设计
HanhahnaH13 小时前
Spark 任务如何实现幂等?
大数据·分布式·spark
小袁拒绝摆烂1 天前
一条 SQL 从 30 秒到 300 毫秒:聊聊 MySQL 的 Hash Join
sql·mysql·哈希算法