spark的jdbc接口,类似于hiveserver2

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-server

Spark SQL可以作为一个分布式查询引擎,通过其JDBC/ODBC或命令行接口进行操作。通过JDBC/ODBC接口,用户可以使用常见的数据库工具或BI工具来连接和查询Spark SQL,这使得Spark SQL可以与现有的数据分析工具和报表工具集成,为用户提供了更加灵活和便捷的数据分析和查询方式。

这里实现的Thrift JDBC/ODBC服务器对应于Hive 1.2.1中的HiveServer2。您可以使用Spark或Hive 1.2.1附带的beeline脚本测试JDBC服务器。

这个脚本接受所有bin/spark-submit命令行选项,还可以使用--hiveconf选项来指定Hive属性。您可以运行./sbin/start-thriftserver.sh --help来获取所有可用选项的完整列表。默认情况下,服务器监听localhost:10000。您可以通过环境变量来覆盖这种行为,例如:

Thrift 接口的缺点

https://baijiahao.baidu.com/s?id=1695268888248206405&wfr=spider&for=pc

相关推荐
liuliuqiqirr1 小时前
2026最新两款AI编程工具深度对比实测
大数据·ai编程
cspttty1 小时前
数字经济没有项目经验,怎么补就业短板
大数据·人工智能
数智化管理手记1 小时前
应收应付资金占用过高怎么办?应收应付搭配账龄分析怎么做
大数据·网络·数据库·人工智能·数据挖掘
大大大大晴天2 小时前
Hudi技术内幕:Compaction原理与实践
大数据
zyplayer-doc2 小时前
研发接口文档怎么长期维护:zyplayer-doc把API、Markdown和变更记录放进同一个知识库
大数据·数据库·人工智能·笔记·pdf·ocr
霸道流氓气质2 小时前
Kiro 中配置 RabbitMQ MCP Server 指南
分布式·rabbitmq·ruby
奥莱维2 小时前
经济型酒店智能客控轻量化方案
大数据·网络·人工智能
国科安芯3 小时前
AS32S601型抗辐射MCU在分布式太空算力架构中的技术演进与应用前景
人工智能·分布式·单片机·嵌入式硬件·架构·边缘计算
新芒3 小时前
【无标题】
大数据·人工智能
BOTTLE_平3 小时前
工具篇:用什么AI与选型避坑指南
大数据·人工智能