spark的jdbc接口,类似于hiveserver2

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-server

Spark SQL可以作为一个分布式查询引擎,通过其JDBC/ODBC或命令行接口进行操作。通过JDBC/ODBC接口,用户可以使用常见的数据库工具或BI工具来连接和查询Spark SQL,这使得Spark SQL可以与现有的数据分析工具和报表工具集成,为用户提供了更加灵活和便捷的数据分析和查询方式。

这里实现的Thrift JDBC/ODBC服务器对应于Hive 1.2.1中的HiveServer2。您可以使用Spark或Hive 1.2.1附带的beeline脚本测试JDBC服务器。

这个脚本接受所有bin/spark-submit命令行选项,还可以使用--hiveconf选项来指定Hive属性。您可以运行./sbin/start-thriftserver.sh --help来获取所有可用选项的完整列表。默认情况下,服务器监听localhost:10000。您可以通过环境变量来覆盖这种行为,例如:

Thrift 接口的缺点

https://baijiahao.baidu.com/s?id=1695268888248206405&wfr=spider&for=pc

相关推荐
Theodore_102211 分钟前
大数据(1) 大数据概述
大数据·hadoop·数据分析·spark·hbase
Aurora_NeAr20 分钟前
Apache Spark详解
大数据·后端·spark
IvanCodes2 小时前
六、Sqoop 导出
大数据·hadoop·sqoop
G探险者2 小时前
《深入理解 Nacos 集群与 Raft 协议》系列五:为什么集群未过半,系统就不可用?从 Raft 的投票机制说起
分布式·后端
G探险者2 小时前
《深入理解 Nacos 集群与 Raft 协议》系列一:为什么 Nacos 集群必须过半节点存活?从 Raft 协议说起
分布式·后端
G探险者2 小时前
《深入理解 Nacos 集群与 Raft 协议》系列四:日志复制机制:Raft 如何确保提交可靠且幂等
分布式·后端
G探险者2 小时前
《深入理解 Nacos 集群与 Raft 协议》系列三:日志对比机制:Raft 如何防止数据丢失与错误选主
分布式·后端
G探险者2 小时前
《深入理解 Nacos 集群与 Raft 协议》系列二:Raft 为什么要“选主”?选主的触发条件与机制详解
分布式·后端
代码匠心3 小时前
从零开始学Flink:揭开实时计算的神秘面纱
java·大数据·后端·flink